大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ

こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt

[misshiki]

“言語モデルの知識を補完するために関連する文書を外部の文書集合から検索してきて言語モデルに入力として与えるような技術を、Retrieval-augmented Language Model (LM) と言います。”

[shunkeen]

なるほど。学習時に意味を獲得できてない語彙はノイズになってセマンティック検索が不発に終わるのか。大規模言語モデルに独身のレトリバー（知識という獲物を回収する猟犬）を付けたら、確かに強そう。

[goodnasubi_it]

LLM

[wate_wate]

メモ