LLM の 23 秒を 0.3 秒にした — decision-only モデル Jev を日本語校正プラグインに実測投入した話

概要 結論から書きます。LLM が 23〜24 秒かけていた文脈判断 20 問を、Jev は約 300ms で返しました。中央値の比較で約 77 倍です。 方式 文脈判断 20 問の所要時間 生の一致率 この記事は、自作の日本語明晰化プラグイン meiseki に Jev を組み込み、速度と精度を測った記録です。測定の対象データと生データはすべてリポジトリに置いたので、誰でも同じ条件で再現できます。 先に重要な注意(データの取り扱い)。 Jev を有効にすると、判定対象のテキストが TypeSafe のサーバーへ送信されます。meiseki が送るのは指摘箇所の抜粋だけです。一方、yorisoi(やさしい日本語化)の文書レベル判定は、文書の先頭 48,000 文字(実質ほぼ全文)を送ります。そのため後者は、キーがあっても既定では動かず、明示的に指定したときだけ実行されます。同社は顧客データ