G社のNMT論文を読んでみた
1. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 中澤 敏明 2016年 黒橋・河原研 夏の勉強会 http://arxiv.org/abs/1609.08144 2. NMTの問題点 1. トレーニングも翻訳も(PBSMTに比べて)遅い 2. 低頻度語の翻訳が弱い – 既存手法はattentionに頼っているが、attentionは 信頼性が低い • Addressing the Rare Word Problem in Neural Machine Translation • On Using Very Large Target Vocabulary for Neural Machine Translation – 翻字(transl
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016（第五回生命医薬情報学連合大会）での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に，深層生成モデル（VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。Read less
機械学習せずに「機械学習賞」を取って10万円もらった話
Tweet 背景 ENEX 2016 で，「生活デザインアプリコンテスト」なるコンテストが開催された． 主催は神奈川工科大学，企画はソニーコンピュータサイエンス研究所，IIJである． コンテストには以下の二つのカテゴリーがあり，この文書は2に関してである． スマートハウス用Webアプリケーション 電力ログを利用し，直近一日の電力利用予測を行うアルゴリズム やること カテゴリー名そのままで「電力ログを利用し，直近一日の電力利用予測を行うアルゴリズム」を開発する． 資料はPDFとして詳しく与えられている． 入力: 一ヶ月の，30分ごとにスマートメータから取得された累積電力量 (kWh)，30秒ごとの瞬時値 (W) 出力: 次の一日の「30分ごとにスマートメータから取得された累積電力量」 評価: 二乗誤差の和 入力 例えば，以下のようなデータが与えられる．なお，欠損がある場合がある． 1. 30
しましまのKDD2016まとめ
しましま @shima__shima twitter.com/shobeirf/statu… 推薦とか異常検出とかトピックごとにKDD2016の発表をまとめたページを作ったらしい． いきなりKDDにやってきたりして，各トピックがどういう問題・タスクを扱うのかまよっちゃったりする人が増えたのかな？ 2016-07-25 19:03:15 Shobeir Fakhraei @shobeirf #KDD2016 topics section is very cool: kdd.org/kdd2016/topics Saves a lot of time looking for related papers. Great work @kdd_news 2016-07-25 06:56:33
白黒写真に色付けする手法とは？ 人工知能が100年前の情景も自然に再現
研究の背景 従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。 大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしまし
ニューラルネットワークで時系列データの予測を行う - Qiita
Hopfield networkは、一般的なクラス分類以外に最適化問題への応用が可能なモデルです。 Elman/Jordanは、Simple recurrent networksと言われているように一番シンプルな形となっています。RNNを利用したい場合はまずどちらかでやってみて、精度的な問題があるのなら他の手法に切り替えてみる、というのがよいのではないかと思います。 Elman/Jordanの違いは上記のとおりですが(前回データの反映が隠れ層から行われるか、出力層から行われるか)、こちらにも詳しく書かれています。精度的な優劣はありませんが、隠れ層の数によって次に伝播する量を変化させられるElmanの方が柔軟と言えると思います。 Echo state networkは毛色が違ったモデルで、ノードを事前に結合せずReservoir(貯水池などの意味)と呼ばれるプールに貯めておき、入力が与えられ
PTGH：機械学習パラメータチューニングをDeep LearningとMCMCで高速に最適化するフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
苦節2年、とうとう完成しました。機械学習のパラメータチューニングに悩める皆さんのために、コーディングも数学も大の苦手な僕が頑張って作りました。それがPTGH (Parameter Tuning by God's Hand)フレームワークです。RでもPythonでも動きます。 中身としては、代表的な機械学習であるロジスティック回帰・SVM（線形orガウシアンカーネル）・ランダムフォレスト・Xgboost・Deep NN・Convolutional NNのそれぞれのパラメータチューニングを、arXivに上がっている論文に頻出のパターンに絞った上でそのパラメータ構成をRなら{mxnet}で、PythonならChainer / TensorFlowで回す際の記法に合わせてDeep Learningで学習させ、その学習済みモデルに基づいてMCMCで最適なパラメータの組み合わせを適応的に探し出して最適
AlphaGo の論文をざっくり紹介 - technocrat
ある程度機械学習を知ってる人向けです。 わかりやすさ重視でざっくり書くので、詳しいことは本論文をあたって下さい。 ちなみに私は囲碁のルールは知りません。 元ネタはNature論文です。 http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html とても読みやすい論文だと思います。 オープンアクセス版もどっかに転がってたと思います。 構成要素 AlphaGOは主に、教師あり方策ネットワークp_\sigma, 強化学習方策ネットワークp_\rho, 状態評価関数ネットワークv(s), からなっており、これらをうまく組み合わせて、モンテカルロ法による指し手評価を効率的に行っているようです。 教師あり方策ネットワークp_\sigma 状態s(盤面の石配置など)を入力とし、次の手a(どこに石を置くか)を確率としてp(a|
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
Automatic Patch Generation by Learning Correct Code
C o n s i s t ent * Complete * W e l l D o c u m e n t e d * E a s y t o R e u s e * * E v a l u a t e d * P O P L * Artifact * A E C Automatic Patch Generation by Learning Correct Code Fan Long and Martin Rinard MIT CSAIL {fanl, rinard}@csail.mit.edu Abstract We present Prophet, a novel patch generation system that works with a set of successful human patches obtained from open- source software r
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time. At training-time the binary weights and activations are used for computing the parameters gradients. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which is expected to substan
Deep Learning
An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book is now complete and will remain available online for free. The deep learning textbook can now be ordered on Amazon. For up to date an
CNNのチュートリアル
デンソーアイティーラボラトリの佐藤です。 12/3-4にパシフィコ横浜で開催された、ViEW2015（ビジョン技術の実利用ワークショップ）において、CNN (Convolutional Neural Network) のチュートリアル講演を行いました。その時に使用したスライドを掲載します。 国内における画像系のDeep Learningのチュートリアルは、東京大学の中山英樹先生（スライド）や、中部大学の山下隆義先生（スライド）らによるものが有名です。網羅的かつ分かりやすいため、入門者の方々にはとても参考になると思います。 ぼくのチュートリアル講演では、入門者と中級者のあいだくらいの方々をターゲットにしました。誤差逆伝搬法や活性化関数などは一通り知っているけど、バリバリ使いこなしているとは言えないなあ、といった方々に役立つ知見を盛り込んだつもりです。参考になれば幸いです。
Chainerで顔イラストの自動生成 - Qiita
PFNのmattyaです。chainerを使ったイラスト自動生成をやってみました(上の画像もその一例です)。 20日目の@rezoolabさんの記事(Chainerを使ってコンピュータにイラストを描かせる)とネタが被っちゃったので、本記事ではさらに発展的なところを書いていきたいと思います。一緒に読んでいただくとよいかと。 概要 Chainerで画像を生成するニューラルネットであるDCGANを実装した→github safebooruから顔イラストを集めてきて学習させた 学習済みモデルをconvnetjsで読み込ませて、ブラウザ上で動くデモを作成した→こちら(ローディングに20秒程度かかります) アルゴリズム 今回実装したDCGAN(元論文)はGenerative Adversarial Networkというアルゴリズムの発展形です。GANの目標は、学習データセットと見分けがつかないようなデ
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
nico-opendata - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
画風を変換するアルゴリズム - Preferred Networks Research & Development
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
[PDF] 最適化から見たディープラーニングの考え方 得居 誠也
c � 1. 5 2011 10 [1] ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 2 10 [2, 3] 1 [4] [5] 2. x ∈ X y ∈ Y z = (x, y), Z = X × Y Preferred Networks 113–0033 2–40–1 4 tokui@preferred.jp S = {zi}N i=1 ⊂ Z f : X → Y F = {fθ|θ ∈ Θ} fθ ∈ F F zi S f z = (x, y) �(f, z) f(x) y ES(f) = ( � z∈S �(f, z))/N ES(f) f z = (x, y) E(f) = Ez[�(f, z)] E(f) E(f) f f [6] f� F f� F F ˆ fF E(f) E(f� ) E(f
Neural networks and deep learning
Neural Networks and Deep Learning What this book is about On the exercises and problems Using neural nets to recognize handwritten digits How the backpropagation algorithm works Improving the way neural networks learn A visual proof that neural nets can compute any function Why are deep neural networks hard to train? Deep learning Appendix: Is there a simple algorithm for intelligence? Acknowledge
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
