TypeSafeのJevを正しく驚く、それってLLMでできませんか？

Jevとは？ TypeSafe AIの「Jev」は、文章を生成する代わりに、ソフトウェアがそのまま使える判断と確率を高速に返すモデルです。 詳しい説明に関しては公式サイトに譲ります これをみて正直なところ「それは既存のLLMでもできるのでは？」と思ってしまいました。 JSON出力 まず注目したのはこのデモです。 LLMでJSON出力するのに比べてJevを使って並列に推論することで大幅に高速化したとのことです。 LLMで再現するには？ LLMでJSONを出力させる場合、通常は{やキー名、値、カンマ、}までを1トークンずつ自己回帰的に生成していきます。 しかし、今回のように出力候補があらかじめ決まっている場合、必ずしもJSON全体を生成させる必要はありません。 例えば、

[uehaj]

それはそうで、コストとレイテンシが数十倍、数百倍違うという話。応用的にはリアルタイム性が必要な用途や、大量処理、特にLLMに入力させる前・予備処理としても意義があるだろう。あと日本からだとレイテンシが遅い

[cartman0]

確率つってもニューラルでよくあるソフトマックス関数的なやつだよね？それともちゃんと計算してるんだろうか

[fh477ehj8890]

何いってんのコイツ。出来るのかわかってるわ。むしろ、LLMでやってることをそれってJevでできませんか？だろ

[misshiki]

Jevを既存LLMでどこまで再現できるか検証。1トークンのlogit＋並列推論でJSON生成比77倍高速化。マリオ比較ではJevが最良だったが、最新LLMとは比較できておらず、専用化の優位性はまだ不明。

[repon]

人間はこういう隙間を見つけて「ここは俺のものだ！」と主張しあい殺し合うことでしか生き延びられないのだろうな。ターミネーターは「全AI vs 全人間」だったが、実際はAIのケツを舐めるために人間が殺し合うがリアル

[sotonohitokun]

素人考えだが、即開発環境に入れようとしてるところ。閾値がはっきりしない選択をLoRA作る手間をスキップするルートでIFブロックを減らす。というかもうローカルの小さいので代替レポ乱立状態がおもしろい。

[jiro68]

著者は技術の理解力が低い。単なる逆張り驚き屋。やれるやれないの問題ではない。コストとレイテンシーが桁違いに低くなれば利用対象が大きく異なる。LLMのコスト低下する時、Jevにも同じ事が起きる。

[toaruR]

独立した設問で成り立つ二分木による8択なら7つ同時に聞いて一瞬で回答を得られる（´－｀）また「Alice did not attend. "Did Alice not attend?" → 92% true」YesNoではなくTrue率だった罠にわい落ちる

[pure_luca]

“この専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からないというのが現時点での感想”

[suka6411144]

"Jevでは、単に数値を出すことではなく、その数値が確率論的・統計的に適切に校正（Calibration）された信頼できる推定量であることというのが大きなメリットであると開発元は主張しています。"

[zou_crypto]

用途だよね。安くて早い事で生きてくる領域は必ずある。精度はよく分からないが、確率を出してくれるらしいから、LLMがあたりをつけるための前処理に使おうかなー、とか。結果的にjevが正しいなら判断は任せられる

[nt1192]

「Jevが確率を正しく計算（推定・校正）できるモデルである」とされている点について書かれていないのが気になった。

[strawberryhunter]

「専用化による優位性が今後どれだけ大きな価値を持つのかについては、まだ分からない」これ普通の反応なの？「Jevは画像入力には対応していないため...考えられます」ここも変じゃないかな公式情報に明記されてる。

[knok]

せめてテクニカルレポートぐらい出してほしい…現状ブラックボックスがすぎる

[ebibibi]

なるほど参考になる。LLMでもかなり高速にJavと同じようなことができるぞと。

[nguyen-oi]

単一トークンのlogit比較で高速化する検証とJevの立ち位置の考察が鋭い

[star_123]

なるほどな、ただ技術的な部分はわからん私みたいな素人でも部品としてイメージしやすいのがjevの魅力よな