機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由
ソフトウェアエンジニアがFPGA（field-programmable gate array）を使うハードルがさらに下がってきている。クラウドサービスでFPGAを活用できたり、Pythonで記述したニューラルネットワークをFPGAに高位合成できる研究成果が出てきたりしているのだ。 ソフトウェア開発者の立場でFPGAに取り組むイベント「FPGAエクストリーム・コンピューティング」を主宰する佐藤一憲氏、FPGAの高位合成によるディープラーニングについて研究している東京工業大学の中原啓貴氏（中原研究室）、そしてFPGAベンダーであるザイリンクスの神保直弘氏が、急激に常識が変わりつつあるFPGAの動向を語り合った。 本稿では座談会の中から、ソフトウェアエンジニアにFPGAや高位合成が求められる現状、そして、今後どのようなツールを使うべきか、ソフトウェアエンジニアがFPGAに取り組む際の課題などにつ
強化学習による 「Montezuma's Revenge」への挑戦
DeepMind論文(2016/6) 「Unifying Count-Based Exploration and Intrinsic Motivation 」 記載のPseudo-count を用い、Deep Reinforcement Learningでの最難関ゲームであるMontezuma's Revengeを評価。Pseudo-countに加え、報告者の独自機能OHL(On-Hightscore-Learning)を含めて評価したところ、DeepMindの論文を超える探索範囲拡大に成功しました。また、OpenAI Gymで1位を獲得し(2016/10/13～2017/3/17)、サンフランシスコにあるOpenAIの招待を受け、説明に行ってきました。ブログ(http://itsukara.hateblo.jp/)に状況を逐次報告しています。 (注) 実験データ掲載用HTTPサーバを変更
Deep Reinforcement Learning: Pong from Pixels
This is a long overdue blog post on Reinforcement Learning (RL). RL is hot! You may have noticed that computers can now automatically learn to play ATARI games (from raw game pixels!), they are beating world champions at Go, simulated quadrupeds are learning to run and leap, and robots are learning how to perform complex manipulation tasks that defy explicit programming. It turns out that all of t
PowerPoint プレゼンテーション
2016/04/13 @PFI 鶴岡研における ニューラルネット＋ＮＬＰ 橋本和真 (東京大学 鶴岡研) 2016/04/13 @PFI • 橋本 和真 (はしもと かずま) • 東京大学 鶴岡研 博士課程２年 – 2012 4月 – 10月 (卒論生) • 画像中の物体認識 – ちょうどこのころ、GPU + Deep Learningが猛 威を振るい始めていた危険な時期 – 2012 11月 • Richard Socherの講演を聞く (転機) – 2012 12月 – 現在 • NLP + ニューラルネットワーク系の研究に転向 自己紹介 2 / 26 2016/04/13 @PFI • 研究はニューラルネットやEmbedding関連 – C++とEigenで実装 • SocherのMATLABコードのC++への移植から開始 • ２０１４年からRNN翻訳が出現 – 卒論生とRNN翻訳に
新たなRNNと自然言語処理 - こんな夢を見た
先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったりして、スライドの各説明は特に詳しくないです。まだまだ十分に検証されていないことや納得しきれない（論文著者の）言明も多々ありますので、読む際は、ふわふわと話半分に小耳に挟むくらいがちょうどいっか〜と思って読んでください。 新たなRNNと自然言語処理 from hytae 需要と質はさておき英語版もあります。 Recent Progress in RNN and NLP from hytae
TensorFlowでニューラル会話モデル - Qiita
以前の記事ではTensorFlowを使って英語から日本語に翻訳するニューラル翻訳モデルを訓練しましたが、今回は最近のチャットボットブームに乗っかって（？）、ニューラル会話モデルを訓練してみました。 環境 環境は以前の記事と同じですが、今回はAWSのスポットインスタンスを使うことでコスト削減を図りました。 TensorFlow 0.9 AWS g2.2xlarge spot instance Ubuntu Server 14.04 Python 3.5 データ ニューラル会話モデルを訓練するためには、発言とその発言に対する返信のテキストデータが必要になります。ここではTwitterのリプライを収集スクリプトを書き、1.3Mほどのツイートと返信先のペアを収集しました。ツイートからユーザ名、ハッシュタグ、URLは削除され、例えば次のようなペアが得られます。 返信先ツイート ツイート
Understanding LSTM Networks -- colah's blog
Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw everything away and start thinking from scratch again. Your thoughts have persistence. Traditional neural networks can’t do this, and it seems like a major shortcoming. For example, imagine you want to
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
The Brian Simulator
Brian is a free, open source simulator for spiking neural networks. It is written in the Python programming language and is available on almost all platforms. We believe that a simulator should not only save the time of processors, but also the time of scientists. Brian is therefore designed to be easy to learn and use, highly flexible and easily extensible. Easy to use Brian has a powerful, easy
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Recurrent generative auto-encoders and novelty search | ARAYA Inc.
読む機械──自然言語処理の新たな地平
http://www.neurophys.biomedicale.univ-paris5.fr/~brunel/
http://neuralensemble.org/trac/PyNN/
http://www.unic.cnrs-gif.fr/
http://cns.iaf.cnrs-gif.fr/Main.html