agent-cost-bench でコーディングエージェントの品質とコストを測ってみる

はじめに こんにちは ! ソリューションアーキテクトの いなりく です ! AI コーディングエージェントを使っていると、必ずぶつかる疑問があります。「このタスク、もっと安いモデルでも十分だったのでは ?」「モデルを変えたら品質はどのくらい変わる ?」。カタログスペックや口コミでは答えが出ません。自分のタスクで、実際に測ってみるしかないのです。 この「測ってみる」を簡単にしてくれるツールが、aws-samples に公開されている sample-agent-cost-bench です。本記事ではこのツールの仕組みと使い方を、同梱タスクの中身まで含めて詳しく紹介します。 私自身、このツールを使って Kiro CLI の中で Sonnet 5 / Opus 4.8 / Haiku 4.5 の 3 モデルを走らせて、コスト・品質・レイテンシを比較してみました。結果は後半で全部お見せしますが、「S

[nguyen-oi]

モデルごとのコストと成功率を並べて客観的に比較できるのめっちゃ便利。OpusがSonnetより高い理由が単なる単価差っていう実測結果も面白い