Prompt Flowでプロンプトを定量的に評価する - Qiita

このフローに対して、何らかの評価指標を用いて良し悪しを数値で表すことがゴールです。 また次回の記事では、評価指標を基にextract_target_dataのプロンプトエンジニアリングを実施していきたいと思います。 評価をするにあたりフローを少し変更します。具体的にはoutputを変更します。 今回評価したいのは「 PDFファイルから期待通りのデータを抽出できているか？ 」といった内容のため、extract_data_function_callingの出力であるオブジェクトを評価に使用します。 フローを編集した結果は以下の通りです。 評価方法について 今回の評価方法では、「 入力と期待する出力 」の組み合わせを基に精度を算出します。 精度算出には評価用のフローを使用します。 そのため、評価対象フローと評価用フローの2つのフローを作成することになります。 評価対象フローの作成 評価対象フロー