AI界を席巻する「Transformer」を解説するシリーズ1日目です。 原文は、「Attention Is All You Need」で、Google Brain、Google Research、University of Trontoのメンバー達が2017年に公開したものです。論文は分かりにくいタイトルが多い中で、このタイトルは秀逸ですね。 入れ替わりが激しいAI技術ですが、Transformerは、2021年5月時点でむしろその勢いを増してる技術で、今回はその土台となった論文です。 Attention Is All You Needの論文PDFはこちら 1日目: Abstract 2日目: Introduction / Background 3日目: Model Architecture 1 4日目: Model Architecture 2 5日目: Model Architect
![AI界を席巻する「Transformer」をゆっくり解説(1日目) ~Abstract編~](https://cdn-ak-scissors.b.st-hatena.com/image/square/3cb9fcf6b70e4828070935cb1e3ef274a89ebd1b/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--NvcNUB3N--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AAI%2525E7%252595%25258C%2525E3%252582%252592%2525E5%2525B8%2525AD%2525E5%2525B7%2525BB%2525E3%252581%252599%2525E3%252582%25258B%2525E3%252580%25258CTransformer%2525E3%252580%25258D%2525E3%252582%252592%2525E3%252582%252586%2525E3%252581%2525A3%2525E3%252581%25258F%2525E3%252582%25258A%2525E8%2525A7%2525A3%2525E8%2525AA%2525AC%2525281%2525E6%252597%2525A5%2525E7%25259B%2525AE%252529%252520%2525EF%2525BD%25259EAbstract%2525E7%2525B7%2525A8%2525EF%2525BD%25259E%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252583%25258B%2525E3%252583%252584%2525E3%252582%2525AA%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2NhYjAxYTU3NzguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)