RAGAs: Retrieval Augmented Generationパイプラインを評価するためのフレームワーク - Qiita

はじめに 一番上の論文を落合フォーマットにまとめたものになります。 どんなもの？ 検索拡張生成システムの自動評価のフレームワークを作成 先行研究と比べてどこがすごい？ 検索拡張システムの自動評価が最も重要です。 参照コーパス(retriver)のパープレキシティを測定することによって評価されることがよくあります。 ただし、そのような評価は常にdownstreamのパフォーマンスを予測できるわけではありません[]。ChatGPT や GPT4 などではアクセスできない。RAGAsは、RAG（Retrieval Augmented Generation）パイプラインを参照なしで評価できる。 詳しく GPTScore []は、考慮される側面 (流暢さなど) を指定するプロンプトを使用し、指定された自己回帰 LM に従って、生成されたトークンの平均確率に基づいてパッセージをスコア付けします。プロン