LLMが構造的な出力を行う方法を調べてみた — デコーディング手法とその最適化 - iimon TECH BLOG

こんにちは、iimonでエンジニアをしている須藤です。 最近、アプリケーションでLLMを利用していて、JSON出力がどの程度安定しているのか気になっていました。 また、ClaudeやOpenAIが「100%のスキーマ準拠」を謳っていて、その裏側の仕組みも面白そうだったので、今回調べてみることにしました。 特にデコーディングの段階でどのように制約をかけるか、そしてその仕組みがどう最適化されているかを中心に見ていきます。 ※ 本記事で主に扱うのは「文法的に正しい JSON をどう保証するか」です。型や minimum, pattern, format などの意味制約は本記事では触れません。 LLMが文法に従うことで得られるメリット 従来の方法で構造（文法）に従わせるのが難しい理由 トークン生成プロセスを見る 概略図 マスクを作る方法 有限状態機械を使った、事前計算 構文仕様（制約）の記述 文法

[takayamaki]

LLMにjson validな出力をさせたいとき、次に出力しようとしているtoken確率分布のうち、json validでない物の確率を0にフィルタすればjson validな出力が実現できる。その実用速度実現のために事前計算状態機械などを使う