モデルルーティングをTypeSafe(Jev)に置き換えたら、どれくらい速く・安くなるか試してみた | DevelopersIO

つまり、reasoningを許すLLMを使えば速いがコストが跳ね上がり、reasoningを止められるLLMに変えるとコストは下がるがレイテンシが大きく悪化する、という「同じLLMの中での二択」から抜け出せていませんでした。classifierはあくまで「4択のどれかを当てる」だけの軽いタスクのはずなのに、LLM本来のテキスト生成・reasoningの仕組みに引きずられてしまっているのが根本原因です。 TypeSafeとは何か TypeSafe は、構造化された意思決定に特化したAIプラットフォームです。旗艦モデルの「Jev」は「最初のSystem One Model」と位置づけられており、公式ドキュメントでは "unstructured state in, typed probabilistic decisions out"（構造化されていない状態を入力すると、型付きの確率的な判定が出力

[star_123]

Hermes Agentに組み込みたい

[misshiki]

LLMルーターの分類器をJevで検証。40回すべて期待ティアに一致し、中央値0.643〜0.674秒、約$0.000025/回。Gemini比約3倍、DeepSeek比10〜11倍高速。ただしSwitchyard未統合・精度検証は限定的。