225行のコードでGPTの仕組みを理解する

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo

[secondlife]

めちゃ短くpytorchでMAH実装して、簡易GPTを作る

[ledsun]

毎回、学習してから推測してるのか。それでRAGとファインチューニングで差がでないのか。すると、ファインチューニングはプロンプトに固定の前文がつくのをイメージすればいいのかな？

[gengohouse]

“225行のコードでGPTの仕組みを理解する”

[ite]

おお、面白そう。Transformerの図からしてよくわからなかったけど、コード見ながらの方が分かりやすそうだ

[pwatermark]

コードを読んでも何を使ってるかは分かるけど、「何故そうしてるか」は論文でも当たらんと分からんと思う

[akibare]

“バッチ内の入力データと正解データをフラット化してクロスエントロピーで損失を計算します。 Block.forward”

[yarumato]

“論文の数式を見ているとかなり難しく感じますが、Pythonコードで見ると意外と読めるんだなと。transformerを学ぶに辺り、以下の動画も参考になり”

[nori-tech]

I

[hasiduki]

ほーん！！！！

[tattyu]

こう言うの凄く良いね。後で読もう。