プロンプト改善が何倍も楽になる、プロンプト改善の自動化も行える評価ツール「Opik」を試す

TL;DR AIの出力を採点するツール（LLM評価ツール）はいくつもありますが、Opikというツールは採点に加えて、GEPA というしくみでプロンプトを自動で良くするところまで含んでいます。 この記事では、文章を意味で分類する処理を題材に、Opik での採点のやり方と、プロンプトの自動改善のやり方を紹介します。 プロンプトの評価ツールにはいろいろある プロンプト評価ツールとは、AIに何かを処理させたとき、その出力が決めたルールを満たしているかを自動で点数や合否にして残しておく道具です。 ※代表的なのは、Langfuseなどがありますね。 これらのツールは主に、モデルやプロンプトを変えたあとに「前より良くなったか」を比べるために使います。 多くのツールは「採点する」ところまでが中心です。 点数や合否は出ますが、悪かったプロンプトを直すのは人が1個ずつ手で書き換える形になります。 Opikは自

[simplememofast]

プロンプト評価を手管理からツールに移して効いたのは自動化より『採点方法の選択』。文字数をLLM採点に投げると横ばい、コードで数えれば一発で上がった