はてなブックマーク

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日は母の日でした。母の日って海外が発祥のイベントなんですよね。世界ではどんな風に母の日をお祝いしているのか、一度調べてみたいな、と思いました。 Large Language Model(LLM)が学習していない情報について回答させるテクニックとして、Retrieval Augmented Generation(RAG)があります。RAGが必要になるケースは結構あるのですが、RAGによってどれだけ質問に正しく回答出来ているのかという定量的な評価が出来ていないな、という課題感を持っています。 RAGはベースのプロンプトの作り方や関連情報の格納の仕方などに結構工夫出来るポイントがあるのですが、それらの工夫を施すことによってRAGの性能がどれだけ良くなったのかをこれまで人の感覚に基づいて評価してきました。この方法だと評価が人によっ