【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。

[thongirl]

「文系でもわかる」ってタイトルに入れれば文系は読むし、理系も「文系でもわかるのなら素晴らしい理系の自分なら余裕だろ」って読む。「オタクはこのカバンを買え」とか自分に対して話しかけてる印象は大事

[camellow]

理系文系の区別がアレって話は置いておいても"d次元の数値ベクトル化したもの"とか書いちゃうこの人の頭の中の文系の定義とは何なのか気になるわ。

[oisux]

こういう時のために「猫でもわかる」という古来から伝わる表現がある(猫は上位存在のため人間より理解力がある)

[fujiriko59]

いきなりAttentionとか言われてもという感じもするので、RNNからの歴史物語として伝えるのが良さそう

[Peophrun]

〜でも分かるという表現はそろそろ廃止してほしい。もっと他の言い方あるでしょ

[u_1roh]

おお、少し分かった気分になれたので嬉しい。感謝。以前Transformerの図を見たとき、Outputsが入力されてるのが意味不明だったので…。

[masadream]

わかりやす。

[tokyocat]

“なぜ「Attention（=注意）」と呼ぶかというと、文や文章の「意味」をすべて「単語同士の関係」に帰着して表現したデータだからである”

[rakugoman]

英語学習と同じく無言ブクマが増える系のやつ

[ultimatebreak]

なるほどわからん

[nabinno]

この当たりの話はChatGPTに聞くと詳しく教えてくれるよ。

[yamada_k]

「テクノロジー領域に明るくない人」らしい

[kobito19]

"なぜ「Attention（=注意）」と呼ぶかというと、文や文章の「意味」をすべて「単語同士の関係」に帰着して表現したデータだからである" 理系の俺にはさっぱりだけど文系なら理解できるのか…？

[srng]

伝統に従って「猫でもわかる」にするべきではないか

[tourmalinecatseye]

真の文系「使えるならヨシ！！」

[PeterFukuda]

「キモ」は何かドキッとするからやめてよ笑

[hkanemat]

Attention とか言われると「気をつけ」してしまう私でも理解できますか？

[nisisinjuku]

文系が何を指すかはわからんけど、理解できなかった。2回目から四だからかかな。1回目も後で見る。（文系をdisってマウントしてるのは理解した）

[kisiritooru]

つまりオレは理系でも文系でもない・・・？

[bzb05445]

もはや「バカでも分かる」「サルでも分かる」「ねこでも分かる」の言い換えになってしまっている感。俺も文系だからぐぬぬ。記事は良い。

[fossilcat]

後で読んでみますね。

[masahiko_of_joytoy]

Transformerの原理を極力わかりやすく伝えようとしても、これくらいが限界なんだろうなくらいのわかりやすさ

[securecat]

めちゃくちゃ理系的な説明やん（文系理系が何のかは置いといてだ……）

[raitu]

“GPTのキーパーツ（深層学習の部品）の「Transformer」の出自は「翻訳システム」だが、単語の意味や文法構造を解析する能力を持つ画期的な部品なので翻訳以外の用途にも利用が拡がった”

[peketamin]

完全に理解した

[kenzy_n]

垣根を超えて活用していく

[doksensei]

chatGPT