タグ

Claudeに関するjay-esのブックマーク (1)

  • Claude Fable 5のReact習熟度ベンチマークをeffort=maxで回したぞ!!!!!

    effort=max同士の比較では、5つのカテゴリでほぼ横並びになった中、アクセシビリティだけが大きく差をつけました。 また、後述の生レポートでは個別スペックごとのスコア表も見ることができますが、スペック004で1回だけ満点が記録されたようです。これはFable 5 effort=maxが初めて達成しました。 考察 effort=maxにするとコンポーネント設計力が伸びるという定説が今回も補強される結果となりました。また、Fable 5はアクセシビリティ観点をOpus 4.8よりも得意としており、ここもeffort=maxでさらに強みが補強されて高スコアに繋がったと考えられます。 個別スコアでは、スペック012で3回連続98点が記録されるなど、ベンチマークのほうも限界を迎えているようです。ここまでモデルの進化をしっかりと捉え続けてきたベンチマークですが、そろそろV2が必要かもしれません。

    Claude Fable 5のReact習熟度ベンチマークをeffort=maxで回したぞ!!!!!
  • 1