RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/daiti_m/status/1878290227028193460?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/abe_tetsu/status/1820000795972280757?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/fuyu_quant/status/1799039350023520459?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/ai_database/status/1751414199673291092?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/ai_database/status/1747553215753978170?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/masa_kazama/status/1747151010475483237?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/mlbear2/status/1744290626903126125?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
JavaScript is not available.
JavaScript is not available.
https://x.com/npaka123/status/1698825938874905019?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/npaka123/status/1699611174860636161?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/bilzrd/status/1699676115030450259?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
はかせチャン on X: "大規模言語モデルについての岡崎先生のチュートリアルがとても良かった，という話を何人からも聞きました．参加者（オフライン，オンライン）もたいへん多く，ありがとうございました．"
https://x.com/chokkanorg/status/1698559663267254439?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
いもす on X: "文章が悪かったので補足。追加学習を全体に十分なデータですれば知識は獲得しえます（が事前学習の知識を忘却するリスクは高い）。巷でよくファインチューニングと呼ばれるものは、知識を司るらしいMLP部を触らず自己注意機構部のみを更新するので、そもそも知識を増やすのは難しいという認識です。"
https://twitter.com/sei_shinagawa/status/1687781866290700288?s=12&t=suYC6B2IhN7jv0qU5zDxmQ