J-RAGBench：日本企業でRAGするときの落とし穴とは

はじめに はじめまして。株式会社neoAIの研究開発組織 (neoAI Research) の山本勇太です。 昨今、RAG（Retrieval-Augmented Generation）の実用化が急速に進展しています。RAGは、入力クエリをもとに検索器（Retriever）が文書データから関連文書群を取得し、それに基づき大規模言語モデル（LLM）などの生成器（Generator）が回答を作成する手法です。 LLMは多様な組織から頻繁に新しいモデルが公開されており、RAGの実用上優れているモデル選定のニーズは高いです。したがって、RAGにおけるGenerator選定のための、実用上の能力評価は重要な課題であると言えます。 RAGを実際の現場で使う際は、Genaratorには、Retrieverが取得した関連文書から根拠を正確に抽出する能力だけでなく、複数の関連文書からの根拠の取得及び統合・多

[yossy_etf]

LLMは日進月歩なんだから、評価せずにまず業務で使わせてほしいけど、やっぱり上の人に説明する為に、こういうのが必要だからとてもありがたい。

[lenore]

NotebookLMをRAG代わりにしたときの正答率の低さに納得

[misshiki]

“J-RAGBenchでは、実用上でGeneratorが求めれられる能力を情報統合・推論・論理条件の解釈・表形式の解釈・回答拒否という5つの評価カテゴリに体系化し、それらの組み合わせを網羅した114問のデータセットを構築した。”

[TakayukiN627]

LLMは多様な組織から頻繁に新しいモデルが公開されており、RAGの実用上優れているモデル選定のニーズは高いです。したがって、RAGにおけるGenerator選定のための、実用上の能力評価は重要な課題であると言えます。

[narukami]

Qwen3 235B A22B Instruct優秀だな　Gemini2.5はFlashの方がProより上になっちゃうんだ

[khtno73]

重要

[touhousintyaku]

2.5 pro...

[kojikoji75]

“実用上でGeneratorが求めれられる能力を情報統合・推論・論理条件の解釈・表形式の解釈・回答拒否という5つの評価カテゴリに体系化し、それらの組み合わせを網羅した114問のデータセットを構築”

[coziro]

“ 図”