大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
新・平沢進は無害か｜Pharmakon
注意！本稿の文字数は2万字を超えています。時間に余裕がない方は気になる箇所だけ読むことを推奨します。 まえがき 平沢進有害無害論争 2024年4月、とあるインフルエンサーのポスト[1]を契機に、X上の馬骨（平沢進のファンの名称）界隈で平沢進有害無害論争が起きた。ファンの間では、平沢進[2]の独自の音楽センスに中毒性がありネタ的に有害であると発言した者もいたが、一部の者は「平沢進は陰謀論者（conspiracy theorist）である。」から有害であると主張した者もいた。 「平沢進は陰謀論者である。」という言説はここ数年でずいぶん浸透したような気がする。平沢氏の過去の発言には、反ワクチン、Qアノン、9.11陰謀説など、一般に「陰謀論（conspiracy）」とされるものを匂わせるものも多い。陰謀論は公衆衛生を害する恐れや、排外主義の蔓延や民主主義への懐疑といった悪い方向にミスリーディングす
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳