piqcy on Twitter: "レトリバさんと国立国語研究所との共同研究から、日本語話し言葉BERTが公開されました。Wikipediaで学習した後に日本語話し言葉コーパスで追加学習しています。 https://t.co/w0jTkP6lYG"レトリバさんと国立国語研究所との共同研究から、日本語話し言葉BERTが公開されました。Wikipediaで学習した後に日本語話し言葉コーパスで追加学習しています。 https://t.co/w0jTkP6lYG
深層学習界の大前提Transformerの論文解説！ - Qiita
この例に関する質問への回答を補足の項に記載しましたので、より良い理解のためにご参照ください。 1.3 モデル構造 トランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。 エンコーダ: 入力の文 $(x_1,\ldots,x_n)$ を $\boldsymbol{z}=(z_1,\ldots,z_n)$ へ変換 デコーダ: $\boldsymbol{z}$ から単語 $(y_1,\ldots,y_m)$ を出力。 ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。 Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。 つまり、以下の3つ(+2つ)のことが分かればモデル
論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
超巨大高性能モデルGPT-3の到達点とその限界｜akiraTOSEI
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。 GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた 一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。 この記事の流れは以下の通りです。 1. Transformer, GPT-2の説明 2. GPT-3のコンセプトと技術的な解説 3. GPT-3ので上手くいくタスク 4. GPT-3で上手くいかないタスク 5. 偏見や悪用への見解 ※ 有料設定していますが、投げ銭用の設定なの
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
ざっくり理解する分散表現, Attention, Self Attention, Transformer - Qiita
はじめに 自己紹介 : Pythonでデータ分析とかNLPしてます。 Attention, Self Attention, Transformerを簡単にまとめます。 間違いがあったらぜひコメントお願いします。 モチベーション BERT(Google翻訳で使われてる言語モデル)を理解したい。 BERT : 双方向Transformerを用いた言語モデル。分散表現を獲得でき、様々なタスクに応用可能。 Transformer : Self Attentionを用いたモデル。CNNとRNNの進化系みたいなもの。 Self Attention : Attentionの一種。 Attention : 複数個の入力の内、どこを注目すべきか学習する仕組み。 分散表現 : 文・単語・文字等を、低次元(100〜1000次元くらい)のベクトルで表現したもの。 BERTを理解するためには分散表現, Attent
The Illustrated Transformer
Jay Alammar Visualizing machine learning one concept at a time. @JayAlammar on Twitter. YouTube Channel Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, Vietnamese Watch: MIT’s Deep Learning St
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
すずどら on Twitter: "Transformer比較論文で紹介されてたけど、↓が世界で一番分かりやすいTransformer記事な気がする https://t.co/B259QPhsmG"
akira on Twitter: "https://t.co/3q8NLoVRUA Transformer系の改善手法の再検証を行った結果、ほとんどの提案手法で再現が見られなかったと主張する研究。複数の実装で効果を検証することや、複数回の実験を行うこと、様々なタスクで実験をすべきと提言している。"
べいえりあ🌙🌙🌙 on Twitter: "2021年「Transformerのモデル改善論文のほとんどは意味がない」 2015年「LSTMのモデル改善論文のほとんどは意味がない」 https://t.co/jl9kGtQ2tB https://t.co/5RTwF2blYK"
LiberalArts on Twitter: "Transformer関連の話題が多いようなので、解説テキストの基本理解の部分を無料公開してみました🎉 Graph Neural Networkとして理解するのが一番スムーズですが、処理の詳細の解説が多い印象を受けるため、より直… https://t.co/LDjmlUo0xh"
小猫遊りょう（たかにゃし・りょう） on Twitter: "2020年10月14日、OpenAIを含む様々な研究者たちが集まり、多様なタスクを解ける言語モデル「GPT-3」について議論した。その時の詳細が公開された。読み物として面白かった。 主な議論は ①大規模言語モデルの能力と制限は何か… https://t.co/PX2Dof41Tn"
えるエル on Twitter: "自然言語処理でいつも素晴らしい記事を書いているDeepMindのRuderによる，特に自然言語処理に焦点を当てた2020年の主要な研究まとめ記事です 言語処理に限らず,一般的な機械学習手法や強化学習など別分野についても触れており,… https://t.co/JJLNmXGaYW"
Ryobot | りょぼっとさんのツイート: "Transformer を懇切丁寧に図解してる．すごい https://t.co/7Hyri4RS4m ちなみに PyTorch 実装の解説ならコレが綺麗 https://t.co/IEiyl0Sjfp… "
piqcy on Twitter: "現時点でBERT(Transformer)についてわかっている/いないことをまとめたサーベイ。BERTで学習されている内容の解析やレイヤ解析、学習方法やアーキテクチャー修正など様々な研究がまとめられており、それら解析手法の限界につ… https://t.co/T6S37V9mxM"
Kazunori Sato on Twitter: "これ面白かった。TL;DR: TransformerはMLP以上に汎用性が高く、十分に大きなデータと計算量を投入すれば、特殊性の高いCNNやLSTMより高い精度が得られる。 https://t.co/St0vOOBRj0"
Maxwell! 🌃 🌻 on Twitter: "Transformer 系のモデルの軽量化の開発動向は気になって仕方がない わけですが・・・ 有難いことに，現時点（2020年後半）における transformer の軽量化に関する survey 論文が投稿されている 👇… https://t.co/3XbA4SqGNK"
akira on Twitter: "https://t.co/tBjOhjmnl3 画像系タスクに使われるTransformerのサーベイ。Transformer自体の解説から始まり、タスク毎に解説している。まだ数が少ないせいか解説はわりと丁寧めで、特にViT, D… https://t.co/BPT2fhR6Fa"
Weekly Kaggle News #36