Qwen3の速度とShaberi3ベンチマーク結果

eval rate はそこそこ速いですが、prompt eval rate が遅いのが気になります。 例えばコーディングエージェントとして使うときには、数千トークンの入力は当たり前なのでプロンプトを入力してから生成が開始されるまでにかなり待たされることは必至です。 とはいえ、下記のような用途では有用そうです。 1 ターンの処理 Auto approve でのコーディング 自動バッチ処理 Shaberi3 ベンチマーク結果 注意点 追記時点で、もともと 1 日 1500 回使えていたgemini-2.0-flash-expが、1 日 500 回に制限されていました。 1 日 500 回しか使えないなら、より性能の高いgemini-2.5-flash-preview-04-17で評価した方がより正確な比較ができると判断し、gemini-2.5-flash-preview-04-17で評価するこ