DSPy + LangSmithでプロンプトを全自動で育ててみた

はじめに 「システムに組み込むプロンプトって、どうやって修繕・管理すればいいんだ…？」 LLM関係のプロダクトを作っていて、この悩みにぶつかった人は多いんじゃないでしょうか。私もその一人でした。 最初は手動でプロンプトを書いて、結果を目視で確認して、ちょっとずつ修正して…を繰り返します。数パターンなら何とかなりますが、テストケースが増えてくるとすぐに破綻します。「あのプロンプト変更でこっちのケースが壊れた」「前のバージョンの方がよかった気がする…」といった状況、経験ありませんか？ この記事では、評価×改善のループを自動化して、プロンプトが勝手に進化していく環境を、AIプロダクト開発チームの新米エンジニアが作ってみたので紹介します。タイトルにある通り、主役はDSPyとLangSmithの2つです。 DSPy: プロンプトを自動最適化するフレームワーク LangSmith: LLMアプリの実行