はじめに 論文やその解説記事を読んでdeep learnigのアーキテクチャに関しての概要は理解できたけど、その実装コードは読んでも複雑でよくわからないという場面も多いかと思われます。 そこで、論文の実装コードを題材としてpytorchの実装力を磨くための問題をまとめることが本記事の目的としています。 題材 今回は画像認識で有名な「Vision Transformer」に注目してその中でもAttention処理を行うクラスの実装を題材に紹介していきたいと思います。 また、今回は実装コードの紹介がメインとなるためAttentionについて詳細な説明は割愛します。 以下に、参考文献を紹介するので必要に応じてそちらも参照ください。 参考文献 https://github.com/lucidrains/vit-pytorch ← 本記事での実装において参考としたリポジトリ https://deve
