自作GPTにKVキャッシュを実装し、プロンプトキャッシュの仕組みを学んだ - $shibayu36->blog;

『つくりながら学ぶ！LLM自作入門』を理解するために、1層1ヘッドの最小構成のGPTから少しずつ発展させながら実装を進めている。前回の記事で、自作GPTに日本語GPT-2モデルを読み込み生成まで出来た。 『つくりながら学ぶ！LLM自作入門』を1層1ヘッドの最小構成から始めてみている 1層1ヘッドのGPTを4層に発展させ、生成結果とモデル可視化をやってみた 4層1ヘッドのGPTを4ヘッドに発展させ、学習結果の比較とヘッドごとのAttention可視化をやってみた 自作GPTに学習済みの日本語GPT-2のモデルを読み込み、生成と可視化を試してみた 次のステップとして、プロンプトキャッシュを学ぶため、土台となっているKVキャッシュを実装し、生成速度やキャッシュの大きさを測ってみた。この結果、先頭からの一致でしか効かない理由・effortを変えると壊れる理由・有効期限がある理由など、プロンプトキャ

[misshiki]

日本語GPT-2を使った自作GPTにKVキャッシュを実装。CPUで300文字の生成が17.01秒から4.62秒へ、約3.7倍高速化。キャッシュは約22MB。先頭一致など、プロンプトキャッシュの挙動を仕組みから考察する。

[ledsun]

キャッシュの仕組みはいまいちピンときてないのて、自分でつくって理解するの、良さそう

[nguyen-oi]

自作でKVキャッシュ実装して挙動学ぶのアツいな。仕組みを理解するとプロンプトキャッシュの制約もすんなり腑に落ちる