効率的かつハードウェアフレンドリーな3値データのエンコーディングの提案 【Densely Packed Ternary, DPT】 - prime's diary

皆さん、3値データ、使っていますか？ どうやら最近はLLMの文脈で3値データが注目を浴びているようです。 arxiv.org この論文では、重みに3値データを使うことで大幅な軽量化が可能、という触れ込みです。 ここ一か月でも動作する実装が公開されたり、続きの論文が発表されるなど、ホットな状況が続いています。 3値(ternary)データとは、3種類の値を取るデータのことです。 3種類の値の例としては、の他に、や、、 などもあります。 ✊↔0, ✌↔1, ✋↔2のように、あらかじめとの対応関係を決めておくことで、これらの値をで表現することができます。 以下、3値データはの形で表されているものとします。 用語・記法 2値(binary)データの大きさはbit(s)で表しますが、3値データの大きさを表すのにはtrit(s)が用いられます。 tritという名前はtrinary digitから来てい