こんにちは Ryobot (りょぼっと) です． Google 翻訳の中身である GNMT (Google's Neural Machine Translation) [Wu, 2016] は良くいえばニューラル機械翻訳の王道を征 (ゆ) く手法であり，悪くいえば既存手法のいいとこ取りである．また，大規模対訳コーパス + モンスター級に巨大なモデル + 大量の GPU が一般化する契機にもなった．2016 年までの NMT を素早く把握するのに最適な教材と言える． WMT'14 の BLEU スコアは英仏: 39.9, 英独: 24.6 で第 5 位 (登場時 1 位) Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation [Yonghui Wu,

Ryobot です． 今週 5 日連続でニューラル機械翻訳の論文解説をやりました． もとは NAIST の第１回ニューラルネットワーク勉強会の発表資料で，大幅に加筆してひとりアドベントカレンダー？ に変貌しました． 今回紹介した論文は大規模な対訳コーパスにおける評価スコア上位 5 手法で，最先端のニューラル機械翻訳を網羅しています． 近年の傾向をまとめると LSTM を使わず CNN 等の並列化が容易な手法を使う 大規模コーパス + 巨大なモデル + 大量の GPU というわけで厳しい世界ですね． 1日目 GNMT Google翻訳の中身 GNMT です． 2016 年までのニューラル機械翻訳を最速で把握できる資料になっています． NMT 初心者におすすめです． 2日目 MoE MoE は最大 13 万のサブネットワーク (パラメータ数 1300 億！) を持つ超巨大ネットワークを条件付き

こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f

こんにちは，Ryobot です． 本稿では ParlAI の基本的な使用法やユーザーが独自に定義できるエージェントの実装方法を解説しました． 以下，PyTorch, Chainer, TensorFlow によるエージェントの実装例を GitHub にて公開したので適宜ご覧ください． ParlAI Agent examples with PyTorch, Chainer and TensorFlow 目次 ParlAI とは？ インストールから example 実行まで ParlAI Agent の実装方法 1. 実装の流れ 2. PyTorch で RNNAgent を実装する 3. Chainer で RNNAgent を実装する 4. TensorFlow で RNNAgent を実装する 5. PyTorch で AttentionAgent (seq2seq with Atten

こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot) 2018年11月15日 毎年開催される機械翻訳の国際会議 WMT18 のシェアードタスク*2にて人手評価の1位を獲得し，機械翻訳のベンチマークでは以前の最高スコアが 29.8 なのに対しこの手法は 35.0 を達成しています． 下図は機械翻訳のベンチマークにおける手法の比較です*3． 昨年登場した翻訳モデル Transformer *4も大きく評価スコアを上げましたが，逆翻訳はそれ以上の上が

メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです．Twitterに投稿したスライドをまとめました． サムネ画像 スライド内のテキスト抽出（検索エンジン用） メンヘラちゃんと学ぶ ディープラーニング最新論文 製作: Ryobot はじめに 作者 • Ryobot (りょぼっと) • NAIST修士2年.RIKEN AIP勤務 (2017/7~) • チャットボットの個性と多様性の研究をしています • Twitter@_Ryobot でお気に入り論文を紹介しています スライドの概要 • メンヘラちゃんが最新論文をバリバリ語ってくれます • 分野は主に自然言語処理 (機械翻訳と言語理解) です • Twitter で投稿したスライドのまとめです メンヘラちゃん • ジョイネット様制作のLINEスタンプです • 作者様がフリー素

つい先週，機械翻訳で驚くべき進展がありました． 教師なし機械翻訳がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？https://t.co/SVQlYYu2Pt 教師なし学習でこのクオリティの機械翻訳できるのまじで感動するし，ちょっと語っていい？ pic.twitter.com/fBllGtTkgb— Ryobot | りょぼっと (@_Ryobot) 2018年4月23日 要約すると教師なし学習でもひと昔前の教師あり学習の機械翻訳に匹敵する性能を獲得できたというのです．この記事では機械翻訳を知らない初心者にもわかるように魔法のような教師なし機械翻訳の仕組みを説明したいと思います． 教師あり学習の限界 機械翻訳はディープラーニングを適用することで急激に進歩した分野の１つだと思います．Google 翻訳はニューラル機械翻訳を導入するこ

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built