Progress on provable inference for large language models

Roy Rinberg (Anthropic), Alex Allain (Anthropic); Alessandro Chiesa (EPFL, StarkWare), Miranda Christ (MIT, RESI), Rahul Dalal (Anthropic STEM Fellows Program, Succinct), Giacomo Fenzi (EPFL), Ben Mayer (Anthropic Fellows Program, MIT), Guy Weissenberg (EPFL) Executive summaryWhen you talk to a friend in person, you have many ways to know it is really them: you can see them, hear them, shake their

[syu-m-5151]

FlashProveは「正しい回答」の証明ではない。指定の重みを使った整数モデルの貪欲復号を確かめる仕組みだ。現状は文脈1024トークン。安心という一語で買わず、何を証明し、何を証明しないのかを読む。

[toritaro]

AnthropicがAI応答を出したモデルを暗号で証明する試作FlashProveを公開。中継業者のすり替え検知を狙うが、証明コストはモデル実行の約70〜95倍。

[wktk_msum]

やたらクリプト界隈が色めき立っているな。検証可能なAI、zkSNARKで推論を保証する(本当に正しいモデルからの出力かを確認する)用途での応用が広がる

[mkusaka]

AnthropicはzkSNARK採用のFlashProveを公開し、400Bモデルの推論を重み非公開のまま検証する仕組みと、毎秒約110トークンの性能を示します。