データセット生成・前処理のためのLLM推論クラスタの構築と運用 - Preferred Networks Research & Development
はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は、PLaMo 2シリーズの開発を進めており、その成果の一部としてPLaMo 2 1BおよびPLaMo 2 8Bの事前学習済みモデルを先日公開しました。モデルの詳細は以下の記事をご覧ください。 大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み 大規模言語モデルの次期バージョン PLaMo 2 8Bによる検証 PLaMo 2の開発は、高品質データセットをどれだけ構築できるかが重要なポイントと考えています。実際、高品質データセットを使用したPLaMo 2 8Bは、8BというサイズでPLaMo-100Bに相当する性能をJMMLUやJHumanEvalで獲得しています。 事前学習チームでは、その源泉となった高品
「DeepSeek関連の論文解説」松尾研 LLM コミュニティ "Paper & Hacks Vol.38"
概要: 毎週火曜日20時から、松尾・岩澤研究室が主催するLLMに関する輪読会 & 実装のオンラインイベントです。 レベル: ★★★★☆ (Expert) 対象: 普段から論文を読んでいる/普段からLLMの実装を行なっている方々 発表者: 松尾研LLMコミュニティメンバー 鈴木知行 テーマ: DeepSeekのLLMsで適用・開発された様々な技術～DeepSeek R1を含む一連の論文解説 00:00 - 本編 43:38 - 質疑応答 発表スライドのダウンロード方法: 下記のリンクから「松尾研LLMコミュニティ」 Slackに入り、# event_paper_and_hacks チャンネルよりダウンロードいただけます。 https://linktr.ee/matsuolab_community ----- その他 - 次回 Paper & Hacks 視聴申し込み - 今後
MCPで広がるLLM 〜Clineでの動作原理〜
この記事『Clineに全部賭ける前に 〜Clineの動作原理を深掘り〜』では、Clineの内部構造について解説しました。今回は、その中でも最近、特に注目されている機能の一つ、MCPについての概要、ならびにCline内部での実装方法について詳しく掘り下げていきます。 そもそもMCPとは MCP（Model Context Protocol）はClineやCursorなどといった、LLMを使用しているクライアントがMCPサーバーと連携するためのプロトコルです。広義的に、MCPとはそのプロトコルを使用したサービスのことを指します。 MCPサーバーとはクラウド上のサービスやローカルで立ち上げているサーバーなどのことです。LLMがこのサーバーと連携することで、Notionのファイル編集やSupabaseのデータベースクエリ、Cloudflareのステータスチェック、ローカルのファイル編集などが可能に
AIコーディングのプラクティス
・Claude Sonnet 3.7を使え ・Project Rules（.cursor/rules）を使え ・ビルド、lint、テストなどで高速にフィードバックさせろ ・1セッションあたりで依頼することはできるだけ少なくしろ ・よく使うコマンドやライブラリはチートシート作れ Yamada 補足 2025/03/06現在 Roo-Code は .cursor/rules を自動で参照しない。.clinerules, .cursorrules, .windsurfrules は自動で見ておりすべてを結合してコンテキストに入れる。Roo-Codeを使う人は .cursorrules を設定しておくのがよい。
LLMチューニングのための強化学習：GRPO（Group Relative Policy Optimization） - どこから見てもメンダコ
DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法：TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①： アドバンテージAの算出方法 REINFORCE： 価値関数近似なし方策勾配法 PPO（Actor-Critic）： 価値関数近似あり方策勾配法 GRPO： スケーリングされたREINFORCE 変更点 ②： 参照モデル（SFTモデル）からのKL距離制約 従来は参照モデル制約は
OpenAIの蒸留機能(Model Distillation)を使って運用中のLLMのコストを削減する取り組み
私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正（アノテーション）して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 また、今回の発表の肝は、この蒸留をOpenAIのDashboad上で簡単に行えるようになったことです。 ですが、他社さんでも実際に蒸留を使っているというお話はあまり聞ないので、蒸留の基本とModel Distillationの使い方をご紹介しつつ、使い所と注意点をシェアしたいと思います。 o1-previewとo1-miniが同時に発表されたことを見ても、今後も"高性能で高価なモデル"と"少し性能は劣るが安価なモデル"は（多少の時期の違いがあっても）セットでリリース
New LLM optimization technique slashes memory costs up to 75%
Join our daily and weekly newsletters for the latest updates and exclusive content on industry-leading AI coverage. Learn More Researchers at the Tokyo-based startup Sakana AI have developed a new technique that enables language models to use memory more efficiently, helping enterprises cut the costs of building applications on top of large language models (LLMs) and other Transformer-based models
為替予測モデルの構築に挑戦したい人にむけての基礎知識
こんにちは、マケデコを運営しているtomoです。 本記事はマケデコAdvent Calendar 2024の記事として執筆させていただきました。 以前、以下のようなツイートをしたところ結構反応があったので、為替モデルについて興味がある人のために最初の一歩を踏み出せる記事を書いてみたいと思います。 最近、yoshisoくんが手元でとんでもない勝率を叩き出してbotter界隈を騒がしており、僕は最近は依頼を受けたときだけ為替のモデリングを手伝っていますが、最新技術(当時は新規論文のネタを片っ端からチームで為替のモデルに活用するというのを5年近くやってました)にはキャッチアップできていないので、昔話を交えて為替の話(若干妄想も入ります)をしたいと思います。 まず、為替とは何か？ FXを触ったり、ニュースをみていると「ドル円」という言葉を聞いてドル円というアセットがあたかも存在しているように感じる
「Agentless」という最新手法。LLMの新しい使い方。
本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法
令和トラベル Dify講座（社内イベント資料） | ドクセル
スライド概要 社内で実施したDify講座の資料です。 Dify初級者から中級者向けに参考になる内容もあるかもなので、外部公開してみます。
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ
Creating a LLM-as-a-Judge That Drives Business Results –
A step-by-step guide with my learnings from 30+ AI implementations. Earlier this year, I wrote Your AI product needs evals. Many of you asked, “How do I get started with LLM-as-a-judge?” This guide shares what I’ve learned after helping over 30 companies set up their evaluation systems. The Problem: AI Teams Are Drowning in Data Ever spend weeks building an AI system, only to realize you have no i
0から作るLLMーLlama
本記事の対象読者： LLM（大規模言語モデル）の複雑な構造や階層を理解しているが、それをどのように組み合わせるかが分からない人 LlaMaモデルに関するすべてのオペレータとアーキテクチャ（RMSNorm、ROPE、SwiGLUの実装を含む）を一行ずつ分解します。 本記事ではhuggingfaceのライブラリを使用しておらず、すべてpytorchで実装しています。また、事前学習済みモデルも使用していません。 スタート地点は『源氏物語』の原文であり、ゴール地点はあなた自身がトレーニングした大規模モデルです。 pytorchを準備してください。GPUがなくても大丈夫です。重要なのはLLMの原理を学ぶことであり、この文章を読んだだけで新しい大規模モデルのアーキテクチャを作れるわけではありません。 本記事では、できる限り平易な言葉を使って原理を解説していきます。 序文 本記事のすべてのコードはGoo
Ollamaで体験する国産LLM入門
近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな
GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs
bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels, that support fast and lossless inference of 1.58-bit models on CPU (with NPU and GPU support coming next). The first release of bitnet.cpp is to support inference on CPUs. bitnet.cpp achieves speedups of 1.37x to 5.07x on ARM CPUs, with larger models experiencing greater perf
RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIプログラミング雑キャッチアップ
GitHub - NirDiamant/RAG_Techniques: This repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. RAG systems combine information retrieval with generative models to provide accurate and contextually rich response
Gemini 2.0 Flashで実現する高コスパAI開発 〜実践的プロンプトエンジニアリングと文書管理システムの実装例〜/gemini-2.0-flash-prompt-engineering
大規模言語モデル入門 / LLM introduction (SES2023)
