RAG精度向上を目指したCRAGコンペ上位解法の紹介 - ENGINEERING BLOG ドコモ開発者ブログ

TL;DR RAGの精度を競うCRAG Comprehensive RAG Benchmark Challenge(CRAGコンペ)がKDDCUP 2024にて開催されました。 CRAGコンペの上位1-3位チームの解法を紹介します。 はじめに NTTドコモ クロステック開発部 鈴木明作です！ 大規模言語モデル(Large Language Model:LLM)は目覚ましい進歩を遂げましたが、依然としてLLMが事実に基づかない回答を生成する、いわゆるハルシネーション(幻覚)は大きな課題となっています。 ここで、RAG(Retrieval Augmented Generation)は、LLMに外部情報を与えることで、ハルシネーションを軽減するアプローチです。 この記事では、KDDCUP 2024 (2024年3月20日~ 2024 年 6 月 20 日)として開催されたRAG精度向上を目指した

[sh19910711]

"CRAG: Metaが考案したRAGシステム評価のためのベンチマーク + RAGシステムにおける多様な質問応答にどの程度正確に対応できるか"