【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
Bain x OpenAI
Welcome to your Red Folder Bookmark content that interests you and it will be saved here for you to read or share later.
ChatGPTと「ジェネレーティブAI戦争」の知られざる6つの事実 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
Microsoft（マイクロソフト）共同創業者のビル・ゲイツは、最近急激な発展を見せる人工知能（AI）について「2023年の最もホットな話題であると同時に、議論の的にもなる」と語っている。他のAI業界のリーダーたちもゲイツと同意見だ。 こうした状況を最もよく表しているのが、OpenAI（オープンAI）と同社が開発した対話型ロボットの「ChatGPT」だ。フォーブスの推計では、ChatGPTのユーザー数は、リリースから60日足らずで500万人を突破している。 ChatGPTは、ペンシルベニア大学ウォートン校の期末試験で「B」評価を獲得するほどの頭脳を持っており、間もなくマイクロソフトのOfficeをはじめ、数多くのビジネス向けアプリケーションに組み込まれる予定だ。 しかし、OpenAIのCEOのサム・アルトマンと社長のグレッグ・ブロックマンは、ChatGPTのリリースを棚上げすることを検討し
対話AI「ChatGPT」にそれほどの革新性はない--Metaのチーフサイエンティスト
OpenAIが開発した「ChatGPT」について、大きな可能性を期待する声がこのところ相次いでいる。ChatGPTは、人間の問いかけに応じて自然言語で対話ができる人工知能（AI）プログラムだ。 多くの人がChatGPTプログラムに新しさを感じ、唯一無二のものに違いないとして高い関心を抱いている。 だが、AIの研究者らは、そういう考えに異を唱えている。 「根底にある技術という点で、ChatGPTは特に革新的なものではない」と、MetaでチーフAIサイエンティストを務めるYann LeCun氏は米国時間1月19日、少数の報道関係者や企業幹部が参加した「Zoom」会議で語った。 LeCun氏は次のように述べた。「革新的なところは何もないが、世間ではそのように受け取られている」「まとめ方がうまいというだけであり、その点では見事だ」 同氏によれば、このようなデータ駆動型のAIシステムは、これまでにも
ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
急成長するジェネレーティブAI分野でここ最近、最も注目され、最も議論を呼んでいるスタートアップがサンフランシスコを拠点とする「OpenAI（オープンAI）」だ。フォーブスは、1月中旬に同社の共同創業者でCEOを務めるサム・アルトマンにインタビューを行い、同社の人工知能（AI）チャットボット「ChatGPT」の最新の動向や、AIツールがグーグルの検索ビジネスにもたらす脅威について質問した。 ──ChatGPTの人気ぶりや、収益化の推進、Microsoft（マイクロソフト）との提携などの状況を見ていると、ジェネレーティブAIのカテゴリーは今、転換点に差しかかっているように見えます。あなたの立場から、OpenAIはそのプロセスのどこにいると感じていますか？ 今は確かにエキサイティングな時期だと思いますが、私としてはこれがまだ、きわめて初期の段階にあることを望んでいます。社会に前向きなインパクトを
絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
2015年にGoogle（グーグル）のCEOに就任したスンダー・ピチャイは、その翌年の開発者会議Google I/Oで、同社が「AIファースト」企業になると宣言したが、その2年前の2014年にAmazon（アマゾン）は音声アシスタント「Alexa（アレクサ）」を発表しグーグルを驚かせた。「世界の情報を整理する」というのがグーグルの使命であり、このようなサービスは本来、同社が行うべきものだった。 それから7年後の現在、グーグルは再び同様の立場に追い込まれているが、今回はさらに分が悪い。挑戦者はOpenAIというサンフランシスコの比較的小さなスタートアップで、アマゾンのような資金力のある巨大企業ではない。ChatGPTと呼ばれる同社の人工知能（AI）チャットボットは、考えうるほぼすべてのテーマについて、まるで人間が書いたかのような文章を生成するが、このボットはグーグルが数年前に開拓した技術的ブ
2022年の深層学習ハイライト - Qiita
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
生成系AIのアナロジー力 - ニューロサイエンスとマーケティングの間 - Between Neuroscience and Marketing
1.4/50 Summilux ASPH, Leica M10P, RAW Midjourney、ChatGPTと立て続けに強烈なアプリケーションが出てきて、Diffusion model（拡散モデル）やtransformer architectureに基づくいわゆるGenerative AI（生成系AI）がそこらで話題だ。ガンガン画像を生み出すことで一気に注目を集めたMidjourneyはクリエーター寄りだけれど、11月末、対話型で答えを返してくれるChatGPT*1が出てきたときに*2、あまりの回答力にDS協会*3のスキル定義委員会でもひとしきり話題になり、僕も自分の研究会の学生たちに「君ら、深く考えずにまずは使い倒したほうがいいよ」と早々にアドバイスした。使わないことには凄さも課題も何もわからないからだ。 すると二週ほど前のゼミで、ある卒業を控えた学生が ChatGPTがないと生きて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
