30分で完全理解するTransformerの世界

はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま

[aktkro]

大切なモノ守りつづけて戦い暮らすサイバトロン。メタルボディは冷たいけれどファイトは熱いデストロン。

[a357159wo]

オプティマスもバンブルビーもメガトロンも、もちろんコンボイも出てこなかった、、

[ducky19999]

完全理解まであと30分の人向けでは

[jssei]

30分だと読めない。会社で読む。

[cpw]

「Transformerは学習データ量が増大するほど際限なく性能向上する可能性が示唆されており」これだな。

[nemoba]

AIAI言われるけど実はTransformerが使えた自然言語と画像しか目立って進化してなくて、両方とも既に強化学習でお茶を濁し始めてたのに、学習量の閾値超えたら急に汎用的になって戸惑ってるがこの界隈の現状

[takeishi]

コンボイ司令官の話だと思ったのに！（あっちはTransformer”s”、だっけ）

[T-norf]

こっちの清水さんは凄いな。Transformerの基礎と、Transformerに加えられた各種改良の系譜。GPT3+αが強い理由、巨大＋学習量の他に何があるのか知りたいけど、工夫のバリエーションも多いし、私にはむりぽなのが分かる

[qpci32siekqd]

内容を理解しても、計算コスト高すぎて自分で試せないのがな…。

[kagehiens]

面白いけど30分は無理やろ。

[cider_kondo]

https://deeplearning.hatenablog.com/entry/unsupervised_machine_translation が2018-04-28か。論文間の参照関係どうなってるんだろ?(Attention Is All You Needが2017.6、Unsupervised Neural Machine Translationが2017.10か

[nibo-c]

ｵﾚ ｸﾞﾘﾑﾛｯｸ

[shunkeen]

"文章量 約56,100字"。約56,100字を30分で読もうとすると、1秒で31文字くらい読むことになるわけで。つまり、この記事の想定読者は人間ではないということなんですね。お前もTransformしろってこと？

[ototsuki]

30分で理解できる訳ないだろうと思ったら、超ロボット生命体の話じゃないのか…（ギゴガゴ）

[stealthinu]

Transformer自体の説明はあっさりで最近の研究サーベイになってる。MLPやMetaFormerが出てきた流れや、Scaling Lawと創発性やCoTの流れなども把握できて大変勉強になった。

[misshiki]

“Transformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらい”

[mas-higa]

思ってた世界と違う

[kkobayashi]

結局コンボイの謎ってなんなの

[gorodoku]

アニメ版の「てーれれーれれー」のターンチェンジでサイバトロンからデストロン(もしくはその逆)と見せかけてサイバトロンからサイバトロン、デストロンからデストロンて時々あったよね？30分番組ゆえの進行。

[zzteralin]

日本でお馴染みのサイバトロンとかデストロンって用語はローカルな名称であちらでは使わないんだっけ。マクシマルとかプレダゴンまで行くと本当にややこしくなって来る

[kenzy_n]

ギゴガガ

[chess-news]

コンボイの謎

[kotesaki]

chatGPT や Bing AIなどを理解するためにはこんなのがすらすらわからんとあかんのやろうなぁ。さぱーりわからん。

[sionsou]

あーなるほどね完全に理解した。コンボイの謎が解けた。

[sskjz]

数式ってwebで実装できるのか

[honeybe]

かんぺきにりかいした。ぼくはスタースクリームがすきです！(ぇ

[vndn]

デデデデーン(クルッ)

[wildhog]

上手いこと軽くできたら今のところ最強なんだよ

[carbon00]

みんなコンボイの謎だと思ってた。検索しづらい事この上ないので、こういう技術系の名前は既存の有名な名前とは被らないでほしいのだけど、公式読めマンには関係ないのかな。つらみしかないと思うのだが…

[poponponpon]

期待したtransformerと違った。

[kakaku01]

金色の眠りから覚めて　誰の心も MISTERIOUS MIND　命の色はひとつなのに　BREAK UP BREAK UP 荒廃んだ惑星(ﾌﾟﾗﾈｯﾄ)←1mmも意味わからなくて好き

[mr_yamada]

最近予告編見て、ハリウッドのトランスフォーマーはよくわからんな、と思ってたけど、多分この記事を読んでもその疑問は解消しない

[caribou404]

はいオプティマス

[ext3]

なるほどわからん

[kei_1010]

読むのに1時間かかったわw このぐらいのまとめはAI検索でできるようになって欲しいけど、嘘が混じるAIには無理だろうなぁ。コードを食わせると言語モデルの性能が上がるのは面白い。BLOOMに参加して日本語対応ってくれ。

[naggg]

めっちゃ詳しい・・・！ 参考文献、参考資料もたくさんあって、ありがたい・・・！