Jevはどれだけ優秀なif文か？軽量モデルを分類器用途で比較してみた | Supa Journal

こんにちは、supa Lab（スパラボ）のリサーチャーです。supa Lab は、supa 株式会社で最新の LLM 推論基盤やモデル、CLI ツール、SaaS プロダクトなどを研究・利用検証する R&D 組織です。 先日、TypeSafe AI から Jev というモデルが早期アクセスとして公開されました。まさに彗星のごとく現れた新顔という感じで、話題をさらっていますね。文章を一切生成せず、選択肢と確率だけを返すモデルです。 https://typesafe.ai/ LLM をルーターや判定器として使っていると、欲しいのは文章ではなく構造化出力の結果だけ、という場面が多いのではないでしょうか。Jev はそのようなユースケースに向けて、型安全な分類に特化しています。 この記事では同じタスクを Jev と軽量 LLM に解かせて、精度・レイテンシ・コスト・確信度という評価軸に沿ってパフォーマ