LLMチューニングのための強化学習：GRPO（Group Relative Policy Optimization） - どこから見てもメンダコ
DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法：TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①： アドバンテージAの算出方法 REINFORCE： 価値関数近似なし方策勾配法 PPO（Actor-Critic）： 価値関数近似あり方策勾配法 GRPO： スケーリングされたREINFORCE 変更点 ②： 参照モデル（SFTモデル）からのKL距離制約 従来は参照モデル制約は
OpenAIの蒸留機能(Model Distillation)を使って運用中のLLMのコストを削減する取り組み
私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正（アノテーション）して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 また、今回の発表の肝は、この蒸留をOpenAIのDashboad上で簡単に行えるようになったことです。 ですが、他社さんでも実際に蒸留を使っているというお話はあまり聞ないので、蒸留の基本とModel Distillationの使い方をご紹介しつつ、使い所と注意点をシェアしたいと思います。 o1-previewとo1-miniが同時に発表されたことを見ても、今後も"高性能で高価なモデル"と"少し性能は劣るが安価なモデル"は（多少の時期の違いがあっても）セットでリリース
New LLM optimization technique slashes memory costs up to 75%
Join our daily and weekly newsletters for the latest updates and exclusive content on industry-leading AI coverage. Learn More Researchers at the Tokyo-based startup Sakana AI have developed a new technique that enables language models to use memory more efficiently, helping enterprises cut the costs of building applications on top of large language models (LLMs) and other Transformer-based models
為替予測モデルの構築に挑戦したい人にむけての基礎知識
こんにちは、マケデコを運営しているtomoです。 本記事はマケデコAdvent Calendar 2024の記事として執筆させていただきました。 以前、以下のようなツイートをしたところ結構反応があったので、為替モデルについて興味がある人のために最初の一歩を踏み出せる記事を書いてみたいと思います。 最近、yoshisoくんが手元でとんでもない勝率を叩き出してbotter界隈を騒がしており、僕は最近は依頼を受けたときだけ為替のモデリングを手伝っていますが、最新技術(当時は新規論文のネタを片っ端からチームで為替のモデルに活用するというのを5年近くやってました)にはキャッチアップできていないので、昔話を交えて為替の話(若干妄想も入ります)をしたいと思います。 まず、為替とは何か？ FXを触ったり、ニュースをみていると「ドル円」という言葉を聞いてドル円というアセットがあたかも存在しているように感じる
「Agentless」という最新手法。LLMの新しい使い方。
本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法
令和トラベル Dify講座（社内イベント資料） | ドクセル
スライド概要 社内で実施したDify講座の資料です。 Dify初級者から中級者向けに参考になる内容もあるかもなので、外部公開してみます。
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ
Creating a LLM-as-a-Judge That Drives Business Results –
A step-by-step guide with my learnings from 30+ AI implementations. Earlier this year, I wrote Your AI product needs evals. Many of you asked, “How do I get started with LLM-as-a-judge?” This guide shares what I’ve learned after helping over 30 companies set up their evaluation systems. The Problem: AI Teams Are Drowning in Data Ever spend weeks building an AI system, only to realize you have no i
0から作るLLMーLlama
本記事の対象読者： LLM（大規模言語モデル）の複雑な構造や階層を理解しているが、それをどのように組み合わせるかが分からない人 LlaMaモデルに関するすべてのオペレータとアーキテクチャ（RMSNorm、ROPE、SwiGLUの実装を含む）を一行ずつ分解します。 本記事ではhuggingfaceのライブラリを使用しておらず、すべてpytorchで実装しています。また、事前学習済みモデルも使用していません。 スタート地点は『源氏物語』の原文であり、ゴール地点はあなた自身がトレーニングした大規模モデルです。 pytorchを準備してください。GPUがなくても大丈夫です。重要なのはLLMの原理を学ぶことであり、この文章を読んだだけで新しい大規模モデルのアーキテクチャを作れるわけではありません。 本記事では、できる限り平易な言葉を使って原理を解説していきます。 序文 本記事のすべてのコードはGoo
Ollamaで体験する国産LLM入門
近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな
GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs
bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels, that support fast and lossless inference of 1.58-bit models on CPU (with NPU and GPU support coming next). The first release of bitnet.cpp is to support inference on CPUs. bitnet.cpp achieves speedups of 1.37x to 5.07x on ARM CPUs, with larger models experiencing greater perf
RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
大規模言語モデルの基礎 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 本記事では、昨今話題になっている大規模言語モデルの基礎的な内容として、モデルの内部構造や学習の手続き、その応用について紹介します。 2. 大規模言語モデルとは 大規模言語モデル（LLM: Large Language Model）は、機械学習の枠組みで日本語や英語などの言語を数理的に取り扱う生成モデルの一種です。言語を統計的に取り扱う言語モデルの登場は1990年にまで遡り、その後2000年代のニューラル言語モデルや、2017年のTransformerに端を発する学習済言語モデルの登場など、数多くの発展を遂げてきました。こ
チャットAI「Claude」すごい新機能「Artifacts」の使い方、全部教えます (1/6)
Anthropicは6月21日、同社の開発する大規模言語モデル「Claude」シリーズの最新版となる「Claude 3.5 Sonnet」を発表。利用制限はあるものの同社のチャット型AIサービス「Claude.ai」で無料で利用可能になった。 同時にユーザーがClaudeとやり取りしながらコンテンツを作成できる新機能「Artifacts」が、さらに25日にはプロジェクトごとに資料やプロンプトを集約できる「Project」が実装された。この記事では、新機能Artifactsを使うときに知っておきたいことをメインに紹介する。 なお、Claude 3.5 Sonnetの前の世代である大規模言語モデル「Claude 3」シリーズおよび「Claude.ai」については、こちらの記事に。Claude 3.5 Sonnetについての基本的なスペックなどはこちらの記事に詳しい。 Artifactsのキモは
複数LLMの統合による会議動画要約の精度向上 - enechain Tech Blog
はじめに 背景と課題 システム概要 ワークフローの詳細 動画文字起こし (Gemini, GPT-4o) 文字起こしの議題単位の分割 (Claude 3.5 Sonnet) 議題単位での要約作成 (Claude 3.5 Sonnet, GPT-4o) 出力 実装上の工夫と課題 結果と今後の展望 おわりに はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 近年、GoogleのGeminiなど生成AIの発展が目覚ましく、多くの企業がこれらの技術を業務に取り入れようとしています。 私たちenechainも例外ではなく、積極的にLLMの活用を進めています。 今回はその活用例の1つとして、複数のLLMを使い分けて構築した「会議動画の要約作成ワークフロー」についてご紹介します。 このワークフローでは会
1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development
Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業に採択され、計算資源の提供支援を受けて実施しました。 超巨大モデル学習の目的 今回の取り組みは、超巨大な (1Tクラスの) DNNモデルを学習できるかを確認することを目的としています。そもそもなぜこの検証をしたのかについての説明から始めようと思います。 LLMの事前学習では、学習に利用したデ
Gemma2 2Bをファインチューニング（QLoRA）でキャラクター化（ずんだもん、つくよみちゃん）
はじめに 今回はGoogle社の「Gemma 2 2B」に対してQLoRAでのファインチューニングを試しました。 試した経緯としては以下になります。 Gemma 2 2Bを使ってみたら驚くほど性能が高かった（同クラスのパラメータを持つモデルと比較した場合） ↓ パラメータが小さいので自宅のPCでもファインチューニング（QLoRA）できそう ↓ すでに公開されている「ずんだもん」や「つくよみちゃん」に変えるためのデータセットで学習して会話してみよう となりました。 今回、QLoRAで作成したアダプターをマージするところまで一通り行えたため、マージしたモデルで会話するところまでを手順として記載しています。 ファインチューニング（Instructionトレーニング）について 今回行うのはInstructionトレーニングです。 Instructionトレーニングとは特定の指示（Instructi
(日本語訳) Vector databases (Part 2): Understanding their internals
日本語訳： ベクトルデータベース(パート2): 内部を理解する 訳者前書き ベクトルデータベースについていろいろと調査・検証していたところ、以下の記事を見つけて、内容が非常によくまとまっており、多くの人にとっても有用な記事ではないか感じました。もはや翻訳などはDeepLやChatGPTで簡単にできる時代になりつつありますが、まだまだ検索エンジンで検索されることも多いと思いますし、少しでも参照しやすくなればと考えて、作者であるPrashanth Rao氏に許可を頂いた上で日本語に翻訳したものとなっています。 全4回の記事の第2回目となります。 元記事 Prashanth Rao氏のGitHubアカウント Prashanth Rao氏のTwitterアカウント 第1回目の日本語訳はこちら 背景 この記事はベクトルデータベースに関するシリーズの第2回目である。このシリーズの第1回目（元記事/日本
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデル入門 / LLM introduction (SES2023)
