LLMの自由度を設計する：本番AIエージェントのコスト・再現性・観測性

初めまして！ナウキャストのよーたです。 データ&AIソリューション事業部にてAI Full-Cycle Engineerという職種でAIエージェントの開発やデータ基盤の整備を行っています。 はじめに PoCで動くエージェントと、数千件・数万件の業務データを安定して処理し、観測可能にするエージェントは別物です。 例えば、企業サイトをクロールして会社概要や事業内容を抽出するワークフローでは、LLMに「必要なページを探して読んでください」と任せるだけでもPoCは動きます。しかし大量実行すると、Reasoningや高性能モデルの利用によるコスト増が発生します。 実際、企業サイトから会社概要や住所を抽出するタスクで、LLM主導型とコード主導型を比較したところ、処理を分割し適材適所でモデルを配置するコード主導型では、必須要件を満たしたままワークフロー全体のコストを約1/4にまで落とすことができました。

[simplememofast]

『呼び出し回数を減らす』が効くと思いきや、コード主導は回数も出力も増える。効いたのは文脈丸投げを断つ入力削減と安いモデルの適材適所