ChatGPTの心臓部『Transformer』って何がすごいの？ #マンガでわかるAIの仕組み 第1話

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

[raitu]

“今ではさまざまなAIのベースになっているTransformerですが、元々この論文は「機械翻訳」の精度を上げるために発表されたものでした”

[misshiki]

Transformerは文章を順番に読むRNNの弱点を超え、文全体を並列処理しSelf-Attentionで単語同士の関係を計算。ChatGPTなどLLMの土台となり、画像認識やAlphaFold2にも応用。

[versatile]

なるほど

[Dursan]

いやあ、サイバトロンで安心したわ

[migurin]

“Attention Is All You Need”