自動化するLLMシステムの品質管理: LLM-as-a-judge の作り方 - Gaudiy Tech Blog

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 LLM-as-a-Judge、名前の通り何かしらの評価にLLMを使う手法です。 LLMは非構造化データでもうまいこと解釈してくれる優れものなため、通常のプログラミングでは判断することが難しいことでも、それらしき判断やスコアをつけてくれます。 本記事ではそんなLLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介していきます。 なぜLLMでJudgeしたいのか？ はじめに「なぜLLMでの評価がしたいのか」、その目的を整理したいと思います。 まず大上段の目的として、LLMシステムが改善しているか、または劣化(デグレ)してないかを検知したいというのがあります。 LLMを使っ

[Nunocky]

「目視による確認」をどう機械化していくか

[poad1010]

この記事をおすすめしました

[misshiki]

“LLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介”

[hiroomi]

"「なぜLLMでの評価がしたいのか」システムが改善しているか、または劣化(デグレ)してないかを検知したい"このノリ、そして実装してた人、花本に居そう。