【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning
▼テーマ Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。 Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。 今の Deep Learning を語る上では外せない要素！ 要チェック！ ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 (後で追加します。暫くお待ちください)
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsiteが好き、以上。 ・・・ もう少し真面目に書くと、 会社でテキストデータに触れることが多いので、うまく扱えるようになりたい 音声作品はシチ
Bain x OpenAI
Welcome to your Red Folder Bookmark content that interests you and it will be saved here for you to read or share later.
GPT in 60 Lines of NumPy | Jay Mody
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
中国版chatGPTが「言ってはいけないこと」を口にして開始3日で終了 - ナゾロジー
正直すぎるのはAIもダメなようです。 中国の新興企業「Yuanyu Intelligence」社は先日、中国版chatGPTとして会話型AI「ChatYuan」のリリースを行いました。 「ChatYuan」もchatGPTと同じく本物の人間のように言葉をあやつり、人間の問いかけに答えたり、自らの意見のようなものを述べることが可能です。 しかし一般向けの利用開始からわずか3日で「ChatYuan」はサービスを終了してしまいました。 かつての「ChatYuan」ページには「関連する法律、規則、ポリシーへの違反が疑われるためにサービスを停止しました」とのメッセージが表示されています。 何があったのか大体の想像はつくかもしれませんが、これは中国だからと笑っていられない問題かもしれません。 今回は前半でなぜ世界中の大企業が会話型AIの開発に必死になっているかを説明しつつ、会話型AIの登場で浮き彫りと
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
ChatGPTと「ジェネレーティブAI戦争」の知られざる6つの事実 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
Microsoft（マイクロソフト）共同創業者のビル・ゲイツは、最近急激な発展を見せる人工知能（AI）について「2023年の最もホットな話題であると同時に、議論の的にもなる」と語っている。他のAI業界のリーダーたちもゲイツと同意見だ。 こうした状況を最もよく表しているのが、OpenAI（オープンAI）と同社が開発した対話型ロボットの「ChatGPT」だ。フォーブスの推計では、ChatGPTのユーザー数は、リリースから60日足らずで500万人を突破している。 ChatGPTは、ペンシルベニア大学ウォートン校の期末試験で「B」評価を獲得するほどの頭脳を持っており、間もなくマイクロソフトのOfficeをはじめ、数多くのビジネス向けアプリケーションに組み込まれる予定だ。 しかし、OpenAIのCEOのサム・アルトマンと社長のグレッグ・ブロックマンは、ChatGPTのリリースを棚上げすることを検討し
Toolformer: Language Models Can Teach Themselves to Use Tools
Language models (LMs) exhibit remarkable abilities to solve new tasks from just a few examples or textual instructions, especially at scale. They also, paradoxically, struggle with basic functionality, such as arithmetic or factual lookup, where much simpler and smaller models excel. In this paper, we show that LMs can teach themselves to use external tools via simple APIs and achieve the best of
「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文
あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。 [2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models https://arxiv.org/abs/2302.02083 Theory of Mind May Have Spontaneously Emerged in Large Language Models (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理
対話AI「ChatGPT」にそれほどの革新性はない--Metaのチーフサイエンティスト
OpenAIが開発した「ChatGPT」について、大きな可能性を期待する声がこのところ相次いでいる。ChatGPTは、人間の問いかけに応じて自然言語で対話ができる人工知能（AI）プログラムだ。 多くの人がChatGPTプログラムに新しさを感じ、唯一無二のものに違いないとして高い関心を抱いている。 だが、AIの研究者らは、そういう考えに異を唱えている。 「根底にある技術という点で、ChatGPTは特に革新的なものではない」と、MetaでチーフAIサイエンティストを務めるYann LeCun氏は米国時間1月19日、少数の報道関係者や企業幹部が参加した「Zoom」会議で語った。 LeCun氏は次のように述べた。「革新的なところは何もないが、世間ではそのように受け取られている」「まとめ方がうまいというだけであり、その点では見事だ」 同氏によれば、このようなデータ駆動型のAIシステムは、これまでにも
ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
急成長するジェネレーティブAI分野でここ最近、最も注目され、最も議論を呼んでいるスタートアップがサンフランシスコを拠点とする「OpenAI（オープンAI）」だ。フォーブスは、1月中旬に同社の共同創業者でCEOを務めるサム・アルトマンにインタビューを行い、同社の人工知能（AI）チャットボット「ChatGPT」の最新の動向や、AIツールがグーグルの検索ビジネスにもたらす脅威について質問した。 ──ChatGPTの人気ぶりや、収益化の推進、Microsoft（マイクロソフト）との提携などの状況を見ていると、ジェネレーティブAIのカテゴリーは今、転換点に差しかかっているように見えます。あなたの立場から、OpenAIはそのプロセスのどこにいると感じていますか？ 今は確かにエキサイティングな時期だと思いますが、私としてはこれがまだ、きわめて初期の段階にあることを望んでいます。社会に前向きなインパクトを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3): 中山英樹, 二反田篤史, 田村晃裕, 井上中順, 牛久祥孝: 本
Amazon.co.jp: 物体検出とGAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2による発展的・実装ディープラーニング: チーム・カルポ: 本
Amazon.co.jp: Vision Transformer入門 (Computer Vision Library): 山本晋太郎 (著), 徳永匡臣 (著), 箕浦大晃 (著), 邱玥(QIU YUE) (著), 品川政太朗 (著), 片岡裕雄 (監修): 本
Amazon.co.jp: 機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発: Lewis Tunstall (著), Leandro von Werra (著), Thomas Wolf (著), 中山光樹 (翻訳): 本
Index of /class/cs224n/slides