タグ

2024年8月12日のブックマーク (1件)

  • RAGの前処理の有無を徹底比較!精度の変化や開発事例も詳しく紹介 | WEEL

    WEELメディア事業部AIライターの2scです。 みなさん、各種文書の引用機能「RAG」を備えた生成AIチャットボットにはNGがあります。 それは……「文書をそのまま読み込ませる」ということです。実はRAGの場合、読み込ませる文書に「前処理」を施す必要があります。前処理なしだと、正しく引用が行われなかったり、ハルシネーションが生じたりしてしまうんです。 ということで今回は、RAGの前処理について、その効果や手法をお伝えします。さらに、RAGの精度を高めるTipsも紹介!完読いただくと「かしこいチャットボット」が作れるかも……です。 ぜひ、最後までお読みください。 RAGにおける「前処理」とは? LLM(大規模言語モデル)に学習範囲外の知識・事実を示す手法「RAG / Retrieval Augmented Generation」は、企業用チャットボットの開発に不可欠。そのしくみは下図のとお