Transformers from scratch | peterbloem.nl

18 Aug 2019 code on github video lecture I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. A working knowledge of Pytorch is required to understand the programming examples, but these can also be sa

[zak3]

Transformer from scratch

[showyou]

Transformerの解説＋PyTorchでの実装を行っている記事。数式・数式を理解するための図・実装の3点がきちんとそろっていて、理論的な理解にも実装の理解にも役立つ記事。

[stealthinu]

transformerを自分で実装するために理論の説明や図、そしてコードがすごい丁寧に書かれてる。本１冊とまでは言わないけど１章分くらいはしっかりある。