GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/fuyu_quant/status/1799039350023520459?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/rosarugosabeach/status/1648611759249555456?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/biomedicalhacks/status/1639760571686957059?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/kaisekigakumoyo/status/1629104795989450752?s=12&t=xse6mX7vtqUOO-BBnP2RYQ
u++ on Twitter: "良本の気配がする……！節以下単位の詳細目次も載ってる。 >深層学習をベースとした自然言語処理の基礎が体系的に身につく！ 著：岡﨑 直観、荒瀬 由紀、鈴木 潤、鶴岡 慶雅、宮尾 祐介 IT Text 自然言語処理の基礎 | Oh… https://t.co/12jODIX0P0"
https://twitter.com/icoxfog417/status/1537986649400832000
https://twitter.com/yoshipon0520/status/1529441377725325313
u++ on Twitter: "『Transformers for Natural Language Processing』の訳書として『Transformerによる自然言語処理』が4月に刊行予定らしい。内容はアーキテクチャの紹介、GPT-3によるテキスト生成、… https://t.co/3dyJjKGNBe"
yyama on Twitter: "bert本を読み始め、やっと半分までいった。1週間で90pしか読んでないけど、ドロップアウトしてないだけ、自分を褒めたい。 内容はかなり簡単っぽいけど、transformersだけでなく、pytorch-lightningの入門書にもなっていて良い。"
山本 和英（言語商会 広報部） on Twitter: "“2021年のNLPコンペソリューションの共通戦略から学ぶ - Qiita” https://t.co/TwTpirNheF"
Towards Data Science on Twitter: "Build NLP Pipelines With HuggingFace Datasets by @jamescalam https://t.co/X2CZIrvBpR"
yu4u on Twitter: "最近huggingface使ってみて、CommonLitコンペのソリューションとか反省会資料でお勉強したのだけど、これを先に見れてるとすっごい楽だったなぁという感じに網羅されてる資料！本文とは関係ないけどpooler_output… https://t.co/1sMmeRxDVn"
goto@meta翻訳開発者 on Twitter: "言語モデルにとって語順は重要な要素なのか、を分析している論文。 BERTベースのモデルは、多くの場合、語順を入れ替えてテストしてもGLUEタスクでのスコアはあまり変わらなかったという話。… https://t.co/AmYvULX4ei"
小猫遊りょう（たかにゃし・りょう） on Twitter: "NVIDIA、推論のブレイクスルーによりクラウドからエッジに至るまでの対話型 AI をよりスマートでインタラクティブに https://t.co/hNOfTpXJVn 『Transformerベースのモデルの 1 つであるBERT… https://t.co/L8LwIlw2wc"
goto@meta翻訳開発者 on Twitter: "Googleの実用的すぎる神論文。 言語モデルの学習を効率化する為に、学習データから似たものを排除する手法を提案し、少ない学習ステップで同等以上の精度のモデルを学習できることを示した論文。… https://t.co/tBlGtBFE9l"
akira on Twitter: "https://t.co/acep6sD2KA テーブルデータにおいて、Transformerと自己教師あり学習を導入した研究。自己教師ありで事前学習を行なったのちに、微調整を行う。また、サンプル間でAttentionをとるint… https://t.co/jJEDyuMdL6"
えるエル on Twitter: "最近のTransformer研究について,非常によくまとまっており,Transformerゆるふわ勢（私のこと）でも一気に周辺知識を付けられる良資料でした Transformerとその派生系などのNLPの本流はもちろん, 最近のV… https://t.co/mSiPaYKRTz"
