Learning to reinforcement learn
In recent years deep reinforcement learning (RL) systems have attained superhuman performance in a number of challenging task domains. However, a major limitation of such applications is their demand for massive amounts of training data. A critical present objective is thus to develop deep RL methods that can adapt rapidly to new tasks. In the present work we introduce a novel approach to this cha
Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
Recently, several models based on deep neural networks have achieved great success in terms of both reconstruction accuracy and computational performance for single image super-resolution. In these methods, the low resolution (LR) input image is upscaled to the high resolution (HR) space using a single filter, commonly bicubic interpolation, before reconstruction. This means that the super-resolut
Out of Einstein’s Lab: Salesforce Research Unveils Breakthroughs in Deep Learning
Artificial intelligence will be at the core of most enterprise products that deal with large amounts of text, structured data and image data. Salesforce Einstein strives to bring AI to use cases in service, sales, marketing and others by embedding it directly into Salesforce products and enabling developers through our platform. AI will empower every company to deliver smarter, more personalized c
Categorical Reparameterization with Gumbel-Softmax [arXiv:1611.01144]
Categorical Reparameterization with Gumbel-Softmax [arXiv:1611.01144] 概要 Categorical Reparameterization with Gumbel-Softmax を読んだ Auxiliary Deep Generative Modelsに組み込んで実験した はじめに Deep Learningなどでクラス分類を行う場合、カテゴリカル分布と呼ばれる分布を用いて属するクラスの確率を求めると思います。 たとえばMNISTであれば10個のクラスを用意し、10次元の出力ベクトルをsoftmax関数に通すことでカテゴリカル分布を作ります。 上の画像はクラス数が6個の場合の分布の例です。 この分布からサンプリングを行うとクラスを得ることができます。 Deep Learningではクラスを表す変数をスカラーではなくone
Deep Learning 入門（１） - Chainerを初学者向けにわかりやすく解説 - - Qiita
はじめに 最近流行りのDeep Learningに関する入門記事です。 Deep Learningは既にオープンソースのライブラリが豊富に出まわっており、今回はその中でも国産で定評があり、とある記事でGPU計算が現状で割と速いと書かれていたchainerを使用します。 ただ、Chainerの入門記事は多くあるのですが、そのほとんどが手書き文字を認識するmnistのサンプルを実行して終わっています。 たしかに、mnistのサンプルを眺めれば、Chainerの使い方はわかってくるのですが、なんとなくわかるのと自分で組めるのは違うなということで、今回はchainerを使ったDeep Learningが自分で組めるというところまでを目標にやっていきます。 開発環境 ・OS: Mac OS X EI Capitan (10.11.5) ・Python 2.7.12: Anaconda 4.1.1 (
Hierarchical Object Detection with Deep Reinforcement Learning by imatge-upc
Summary We present a method for performing hierarchical object detection in images guided by a deep reinforcement learning agent. The key idea is to focus on those parts of the image that contain richer information and zoom on them. We train an intelligent agent that, given an image window, is capable of deciding where to focus the attention among five different predefined region candidates (small
【資料公開】Cloudera World Tokyo 2016で登壇しました - DMM.comラボエンジニアブログ
こんにちは！ DMM.comラボ ビッグデータ部の中野です。 11月8日に開催されたCloudera World Tokyo 2016に ビッグデータ部の中野と領家で登壇してきました。 資料の公開も含めて簡単に報告させていただければと思います！ セッションの概要 セッションタイトルはコチラ。 『Deep Learningを用いた類似画像レコメンドのSQL on Hadoopによる実現』 簡単に申し上げますと・・・ Deep Learningを用いたお手軽類似画像レコメンドのご紹介です！ 画像の特徴抽出から類似度計算までをHiveなどのSQL on Hadoopで実現しました。 Deep Learningによる画像解析ではアニメや漫画などのイラスト画像から髪型や服装、表情などの特徴を抽出しています。 この特徴を用いて、商品のパッケージ画像による類似画像レコメンドの実現に関して説明しました。
Neural Taylor Approximations: Convergence and Exploration in Rectifier Networks
Modern convolutional networks, incorporating rectifiers and max-pooling, are neither smooth nor convex; standard guarantees therefore do not apply. Nevertheless, methods from convex optimization such as gradient descent and Adam are widely used as building blocks for deep learning algorithms. This paper provides the first convergence guarantee applicable to modern convnets, which furthermore match
Demystifying ResNet
The Residual Network (ResNet), proposed in He et al. (2015), utilized shortcut connections to significantly reduce the difficulty of training, which resulted in great performance boosts in terms of both training and generalization error. It was empirically observed in He et al. (2015) that stacking more layers of residual blocks with shortcut 2 results in smaller training error, while it is not tr
AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery
Deep convolutional neural networks comprise a subclass of deep neural networks (DNN) with a constrained architecture that leverages the spatial and temporal structure of the domain they model. Convolutional networks achieve the best predictive performance in areas such as speech and image recognition by hierarchically composing simple local features into complex models. Although DNNs have been use
Deep Learning with Generative and Generative Adverserial Networks – ICLR 2017 Discoveries – Amund Tveit's Blog
Deep Learning with Generative and Generative Adverserial Networks – ICLR 2017 Discoveries The 5th International Conference on Learning Representation (ICLR 2017) is coming to Toulon, France (April 24-26 2017). This blog post gives an overview of Deep Learning with Generative and Adverserial Networks related papers submitted to ICLR 2017, see underneath for the list of papers. Want to learn about t
Deep Learningの気持ちを理解する - Classification編 - Qiita
画像分野では今やDeep Learningによる解析が主流となりつつありますが、結果の解釈が難しいのが難点です。医療分野などでは特に、モデルの出力に対する説明力が強く求められるのではないでしょうか。今回は、そういった時に活用できる可視化手法を紹介します。 紹介する手法はOBJECT DETECTORS EMERGE IN DEEP SCENE CNNs, Zhou+, '14で提案されている方法です。 論文中でやっていること classificationモデルの学習（通常の学習） 1と同じ前処理を適用した画像を入力として、1で学習したモデルでclass毎の確率値を計算 2で使用した画像の一部の領域をマスクした画像を入力として、class毎の確率値を計算 3を5000個程度の領域で行い、値を取得 4の個々の出力値と2の出力値の差分をとる 任意の閾値を設定し、5の値が閾値を超えていない領域は0
DRAW: A Recurrent Neural Network For Image Generation
DRAW: A Recurrent Neural Network For Image Generation Karol Gregor KAROLG@GOOGLE.COM Ivo Danihelka DANIHELKA@GOOGLE.COM Alex Graves GRAVESA@GOOGLE.COM Danilo Jimenez Rezende DANILOR@GOOGLE.COM Daan Wierstra WIERSTRA@GOOGLE.COM Google DeepMind Abstract This paper introduces the Deep Recurrent Atten- tive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel s
RNN – Recurrent Neural Network (RNN) – LSTM GRU BRNN
Tensorflow における RNN – 実践ガイドと文書化されていない特徴 * RNNs in Tensorflow, a Practical Guide and Undocumented Features の簡単な要約です。 * 図表は原文を参照してください。 データ前処理: tf.SequenceExample を使用する RNN は複数の時間ステップにおける入力 and/or 出力を持つシーケンシャル・データのために使用されます。TensorFlow にはそのようなデータを扱うための protocol buffer 定義があります: tf.SequenceExample Python/Numpy 配列からデータを直接ロードできますが、代わりに tf.SequenceExample を使用することが多分得策でしょう。このデータ構造は non-sequential な特徴のための
OS X 10.10（Yosemite）にCaffeをインストールする（libstdc++問題解決） - Qiita
Caffeって？ Caffeは、アメリカのカリフォルニア大学バークレー校が開発している、ディープラーニングのフレームワークです。 マルチプラットフォーム（LinuxやMax OS X）で動く C++やPythonで実装できる 数ある機械学習のフレームワークの中で開発が活発で、処理速度が速い いろいろな研究成果が報告されている などなど Macにインストールする Ubuntuでのインストールはすごく簡単でしたが、Mac、特に10.9と10.10(MavericsとYosemite)にインストールするのが厄介です。その理由がlibstdc++問題（勝手に自分が命名）です。 libstdc++は、C++の標準ライブラリです。 Caffeに必要な、ソフトウェアをインストールするのに必要なオプションです。 しかし、libstdc++は、OS X 10.9と10.10では対応しておりません。libc+
Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates
Adaptive gradient methods for stochastic optimization adjust the learning rate for each parameter locally. However, there is also a global learning rate which must be tuned in order to get the best performance. In this paper, we present a new algorithm that adapts the learning rate locally for each parameter separately, and also globally for all parameters together. Specifically, we modify Adam, a
Neural networks and deep learning
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://junk.wise9.jp/USA_AI_Strategy1.pdf
Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat Tools | LiveChat.com
Index of /