LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog

こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます

[qinmu]

《LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）》

[napsucks]

LLM A「こいつは無能です」LLM B「いえ、こいつの方が無能ですポンコツです」「なんだと！」「なにを！」→終末戦争へ

[stealthinu]

「LLM-as-a-judge」GPT4などの強力なLLMにLLMの性能を評価させる仕組み。Rakudaベンチなどがこれにあたる。評価問題どうしたらいいんだろう？と思ってたらまさに今ホットな分野なんだな。

[misshiki]

“LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ”

[Shinwiki]

もう英語3文字つけるのやめれ。

[t-wada]

強力なLLM（例: GPT-4）にLLMの評価そのものをやらせるLLM-as-a-judge の解説と実践 "実際に運用する上では、単に出力の優劣を決めるだけではなく、さまざまな観点から出力を評価できるようなプロンプトを設計する必要がある"