トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ

[ite]

興味深い議論。RNNはそれなりに研究の積み重ねがあるので、その知見が援用できるならかなり研究が進みそう。

[abrahamcow]

ディープニューラルネットワーク

[misshiki]

“本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。”

[quwachy]

常識だろ、利用者は知らなくていいけど

[mr_yamada]

トランスフォーマーONEは呪術廻戦だったよ！

[toaruR]

キカコキ

[K-point]

超ロボット生命体じゃなかった！