Antigravity Gemini 3.5 FlashとCursor Composer 2.5をHarnessBenchで評価…

こんにちは！逆瀬川ちゃん (@gyakuse) です！ 今日はHarnessBenchでAntigravity / Gemini 3.5 Flash (High) と Cursor / Composer 2.5 fast / normalを追加評価したので、既存のCodex / Claude Code / Cursor条件と合わせて結果を見ていきたいと思います。 何を評価したか 前回はHarnessBenchでCodex CLI、Claude Code、Cursor Agentを同じ27問の実リポジトリデバッグ課題で比較しました。 今回はそこに補助実験として、以下の3条件を追加しました。 Harness Model Effort / mode Antigravity CLI Gemini 3.5 Flash high Cursor Agent Composer 2.5 fast Curso

[devgai]

gemini proなんだけど3倍だってXでアピールしてたから使ったんだが、5時間制限を3回使い切ったあとに次が5日後になった。3倍にしてもcodexと使える量に差があるような気がしない

[door-s-dev]

Gemini 3.5 Flash は速いってふれこみだったけど試したらそうでもなかったから納得の結果

[misshiki]

HarnessBenchでAntigravity/Gemini 3.5 Flash highとCursor/Composer 2.5を追加評価。Composer 2.5 fastは19/27でComposer 2 fastから2問改善、Antigravityは17/27で下位グループ。27問なので細かな差は強く読めない。

[akahmys]

趣味でやってる個人としては、問題は金額なんだよなぁ。

[simplememofast]

HarnessBenchの評価軸はPass@1と人手評価のどっち重みが高い設計？Composer 2.5 fastの位置取りはCodexと比較した時に何が決定打になるか気になる

[mkusaka]

HarnessBenchの27問でAntigravity Gemini 3.5 Flash high(17/27)とComposer 2.5 fast/normal(19/27・18/27)を追加評価