RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/fuyu_quant/status/1799039350023520459?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/ai_database/status/1751414199673291092?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/ai_database/status/1747553215753978170?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/masa_kazama/status/1747151010475483237?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
JavaScript is not available.
JavaScript is not available.
https://x.com/npaka123/status/1698825938874905019?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/npaka123/status/1699611174860636161?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/bilzrd/status/1699676115030450259?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
はかせチャン on X: "大規模言語モデルについての岡崎先生のチュートリアルがとても良かった，という話を何人からも聞きました．参加者（オフライン，オンライン）もたいへん多く，ありがとうございました．"
https://x.com/chokkanorg/status/1698559663267254439?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
いもす on X: "文章が悪かったので補足。追加学習を全体に十分なデータですれば知識は獲得しえます（が事前学習の知識を忘却するリスクは高い）。巷でよくファインチューニングと呼ばれるものは、知識を司るらしいMLP部を触らず自己注意機構部のみを更新するので、そもそも知識を増やすのは難しいという認識です。"
https://twitter.com/sei_shinagawa/status/1687781866290700288?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
アイブン🎨AI論文データベース on Twitter: "金融分野特化の大規模言語モデル開発フレームワーク「FinGPT」 論文：https://t.co/t7CQC0tM3x 高品質な金融データへのアクセスを民主化することを目指し、コロンビア大学とニューヨーク大学の研究者らが新フレームワーク「FinGPT」をオープンソースで公開しました。… https://t.co/6ih0enhT4Q"
https://twitter.com/hillbig/status/1660409936264970240?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/icoxfog417/status/1660511535721222145?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/shu65/status/1659338697844879360?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/upura0/status/1640662900103843840?s=12&t=suYC6B2IhN7jv0qU5zDxmQ