TransformerとCloud TPUを使って英語を日本語に翻訳するニューラル翻訳モデルを訓練してみたので紹介します。 前置き 3年前の2016年にTensorFlowとGPUインスタンスで英日翻訳という記事を書きましたが、当時の機械翻訳はLSTMにAttentionを追加したモデルが主流で、ニューラル翻訳のモデルもこれから複雑化の一途を辿るのだろうなと思っていました。 しかし、最近久しぶりにニューラル翻訳のサーベイをしてみて、良い意味で期待を裏切られました。2017年に登場したTransformerでは、LSTMを完全に廃止し、Attentionのみで高精度かつ高速な翻訳を可能にしました。2018年のWMT（機械翻訳のトップ会議）のShared Taskではほぼ全ての参加チームがTransformerベースのモデルに切り替えており、普及のスピードに驚きました。 Attention i

はじめに ディープラーニングにおけるDropoutは単純かつ強力な正則化手法として広く使われていますが、RNNの時間方向に適用するとノイズが蓄積してうまく学習できないため、入出力層にのみ適用するのが常識とされてきました[Zaremba 2014]1。しかし最近の研究でDropoutをベイズ的に解釈することでRNNの時間方向にもDropoutを適用でき、言語モデルのタスクで単一モデルとして最高精度を達成することが示されました[Gal 2016]2 今回は変分Dropoutと呼ばれるこのモデルをTensorFlowで実装したので紹介したいと思います。 Dropoutのベイズ的解釈とRNNへの適用 ニューラルネットワークのパラメータの事後分布を「学習する通常のパラメータ」と「学習しないパラメータ＝０」の2つを中心とする混合ガウス分布で近似することによりDropoutと同様のアルゴリズムが得られる

先週スペインのバルセロナで開催された機械学習のトップ会議NIPS 2016に参加してきました。論文はWebで公開されているので誰でも読むことができますが、口頭発表を聞いたりポスター発表のディスカッションに参加したり休憩時間中の会話などからも学びがあるため、最先端の研究を知るために参加する意義は失われていないように思います。 NIPSの参加者は指数的に増加していると言われており、今年は5000人（！）の参加者がいました。当然論文の査読も厳しく、採択率は20％前後と言われています。分野のトレンドとしてはディープラーニングのブームが続いていますが、認識系はかなり成熟してきたのでGANなどの生成系と強化学習や外部記憶との組み合わせに中心が移ってきているようです。特に強化学習は会議中にシミュレーション環境のOpen AI UniverseとDeepMind Labが公開され、熱気を感じました。 50

Deep Learning bookとは？ Deep Learning bookは2016年末にMIT Pressより発売予定の書籍（英語）で、深層学習御三家の一人Bengio先生や画像生成のGANで有名なGoodfellow先生らによって書かれており、現時点で深層学習の決定版と言える教科書です。太っ腹なことに本の内容はウェブサイトで公開されており無料で読むことができます。 Deep Learning; Ian Goodfellow, Yoshua Bengio and Aaron Courville, MIT Press, 2016. 私は以前の記事に書いた通り自然言語処理の分野で深層学習が浸透してきてから勉強を始めたため、機械学習はもちろん画像や音声が専門の人と比べて基礎的な知識が足りていないように感じたためこの本を読むことにしました。読み始めてみると機械学習の教科書として有名なPRM

以前の記事では海外でソフトウェアエンジニアとして働く利点と欠点について解説し、自分に合っているかどうか知るためにも一度経験してみるといいと書きました。しかしどうすればそれを実現できるのかについてあえて触れなかったため、日本に住んでいる人にとっては縁の遠い話に聞こえてしまったかもしれません。この記事では、海外で働くためにするべきことの中でも特に英語の勉強方法について私自身の体験を振り返りながら考えてみたいと思います。 英語圏で働くには、スピーキング、リスニング、ライティング、リーディングの4つのスキルをバランスよく身につける必要があります。スピーキングとリスニングは英語面接で直接的に必要になりますし、ライティングやリーディングも英文履歴書の作成や英語圏の情報収集に必要となるからです。 TOEICを目安にリスニングとリーディングを独学する 4つのスキルのうちリスニングとリーディングについては受

以前の記事ではTensorFlowを使って英語から日本語に翻訳するニューラル翻訳モデルを訓練しましたが、今回は最近のチャットボットブームに乗っかって（？）、ニューラル会話モデルを訓練してみました。 環境 環境は以前の記事と同じですが、今回はAWSのスポットインスタンスを使うことでコスト削減を図りました。 TensorFlow 0.9 AWS g2.2xlarge spot instance Ubuntu Server 14.04 Python 3.5 データ ニューラル会話モデルを訓練するためには、発言とその発言に対する返信のテキストデータが必要になります。ここではTwitterのリプライを収集スクリプトを書き、1.3Mほどのツイートと返信先のペアを収集しました。ツイートからユーザ名、ハッシュタグ、URLは削除され、例えば次のようなペアが得られます。 返信先ツイート ツイート

誰が書いているの？ この記事は、イギリスのロンドンで4年間ソフトウェアエンジニアとして働いてきたYoh Okunoが書いています。現在の所属はMicrosoftの英国法人で、その前はMicrosoftが買収したSwiftKeyという会社で働いていました。詳しくは以下の記事を参照してください。 MicrosoftがAIで入力予測をするキーボードアプリ「SwiftKey」を2億5000万ドルで買収 海外で働く利点 ここでは主に英語圏の現地企業でソフトウェアエンジニアとして働く場合を想定します。日本企業の駐在員の場合は事情が違うかもしれません。 給料が高い 海外のエンジニアの給料についてはいろいろな記事がすでにあるので、例えばこの記事を参考にしてください。 ITエンジニアの地位とは？国別、職種別の年収比較から見えるもの やはりアメリカのソフトウェアエンジニアは給料が高いです。アメリカにはグーグル

CS224d(自然言語処理のための深層学習)はスタンフォード大のRichard Socherが2015年から教えている講義で、動画やスライドなどの講義資料と演習問題がウェブ上で無料で公開されています。 CS224d: Deep Learning for Natural Language Processing 会社の勉強会で週1回半年程度かけて講義動画と演習を終えたため、勉強したことを簡単にまとめてみたいと思います。 なぜ今なのか？ 深層学習（Deep Learning）は2000年代後半のRBMやauto-encoderなどの教師なし学習から流行が始まりましたが、それらを教師あり学習の事前学習に使うアプローチは徐々に衰退し、2010年代前半には画像認識のための畳み込みネットワークがImageNetコンテストのおかげで爆発的に有名になりました。詳しくありませんが音声認識の分野でも既存の複雑な