Deep Learningの教材 - こんな夢を見た
Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記) ときどき追記/編集していきます。 (以下、一部敬称略) Bengio オンライン本 Yoshua Bengio, Ian Goodfellow and Aaron Courville http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html 現在Web上で閲覧可能。 いつか出版される。終盤はまだ執筆中。 これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。 Nielsen オン
Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learning | Deep Learning
I have been using GPUs for nearly two years now and for me it is again and again amazing to see how much speedup you get. Compared to CPUs 20x speedups are typical, but on larger problems one can achieve 50x speedups. With GPUs you can try out new ideas, algorithms and experiments much faster than usual and get almost immediate feedback as to what works and what does not. This is a very important
The fastest convolutions in Theano with meta-optimization
Guest post: Jan Schlüter from the OFAI, a fellow MIR researcher I have met at several conferences, recently added a feature to Theano that fits so well with my previous two posts on fast convolutions that we decided to include his writeup on my blog. So enjoy the third part of the series, written by Jan! Over the past year, Theano has accumulated several alternative implementations for 2D convolut
ConvNetJS Deep Q Learning Reinforcement Learning with Neural Network demo
ConvNetJS Deep Q Learning Demo Description This demo follows the description of the Deep Q Learning algorithm described in Playing Atari with Deep Reinforcement Learning, a paper from NIPS 2013 Deep Learning Workshop from DeepMind. The paper is a nice demo of a fairly standard (model-free) Reinforcement Learning algorithm (Q Learning) learning to play Atari games. In this demo, instead of Atari ga
caffe.md
caffe.md Caffe tutorial この文章ではCNN実装であるCaffeを用いて，特徴ベクトルの抽出やパラメータの学習を行うための方法について説明する． Caffeでサポートされている機能 以下の作業を行いたいのであれば，Caffeを用いることが望ましい． CNNを利用した画像の多クラス分類 CNNによる特徴ベクトルの抽出 CNNの転移学習 Stacked Auto Encoder !重要! Caffeは(例えmasterブランチだろうが)頻繁に仕様が変わるので前動いたやつが今は動かないなんてことがしばしばある．この文章も恐らく数カ月後には動かない箇所が出てくると思われる :( Installation Anacondaのインストール 基本的なインストール方法はInstallationを参照すればよいが，それだけでは微妙に躓きそうな箇所について簡単に記載する． まず，Caff
Theano による Amazon Web Service (AWS) 上での GPU 計算
Theano による Amazon Web Service (AWS) 上での GPU 計算¶ 本文書ではAWSのGPU計算サーバ(GPUインスタンス)上でTheanoを使用する方法を説明します. Theano入門 で紹介したプログラムをCPUとGPUで実行し, その計算速度を比較します. はじめに¶ 本文書では, GPU上での数値計算をGPU計算と呼ぶこととします. GPU計算の科学技術計算への応用は一般的になりつつあります. しかし, 個人で利用するためにはまだ敷居が高いように思われます. その理由の一つがハードウェアの問題です. 個人で使用するマシンは通常GPUを一つしか持たないため, GPUを計算のために占有させると, 画面表示に問題が起こる場合があります. そこで, 本文書ではクラウドサービスの一つであるAmazon Web Service (AWS)を利用してGPU計算を行う具
Theano 入門
Theano 入門¶ 本文書ではPython用の数値計算ライブラリTheanoの使い方を説明します. 応用例としてRestricted Boltzmann Machineを実装します. はじめに¶ Theano はPython用の数値計算ライブラリです. PythonではNumpyが数値計算ライブラリの事実上の標準となっていますが, TheanoではNumpyのように計算手続きを記述するのではなく, 数式そのものを記述します. このことによって, 計算対象となる行列等の実体のプログラム内での引き回しを考える事なく, 最適化やGPUによる高速化の恩恵が受けられます. また, Theanoでは数式そのものを記述するので, 微分を (数値的ではなく) 解析的に実行する事が出来ます. TheanoはLinux, Mac OSX, Windows上で動作します. Theanoはモントリオール大学のB
Deep learning実装の基礎と実践
2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) l Preferred Networks リサーチャー l Jubatus のアルゴリズム開発 – Jubatus: NTTとPFIで共同開発しているオープンソースの分散 リアルタイム機械学習基盤 http://jubat.us/ l 現在は映像解析とディープラーニングの研究開発に従事 2 3. ニューラルネットの基礎、実装、実験について話し ます l ニューラルネットの道具 – 全体の構成、⾏行行列列による表現、損失関数、誤差逆伝播、SGD l 主要な実装 – Pylearn2, Torch7, Caffe, Cuda-‐‑‒convnet2 l フレームワークの基本的な設計 – テンソルデータ、レイヤー、ネット、最適化ルーチン – アーキテクチャの記述⽅方法（宣⾔言的、スクリプティング） l 実験の進め⽅方
Denoising Autoencoderとその一般化
Machine Learning Advenc Calendar 2013の23日目担当の得居です。 株式会社Preferred InfrastructureでJubatusを作ったりしています。 今日は深層学習(deep learning)の話です。 深層学習はこの2年ほどで専門外の人にも知れ渡るほどに大流行しました。 データさえ大量にあればテクニック次第で他の手法を圧倒する性能を達成できることから、特に大量のデータを持つ大企業において大々的な参入が相次ぎました。 主に流行っているのは教師あり学習です。 補助として教師なし学習による事前学習(pretraining)も、特に音声認識のタスクにおいては行われているようですが、画像認識を中心に事前学習なしでもテクニック次第で学習できるという見方が強まっています。 一方で教師なしデータからの学習はブレイクスルー待ちといった雰囲気です。 Deep
Deep Learning
Deep Learning Methods for Vision CVPR 2012 Tutorial 9:00am-5:30pm, Sunday June 17th, Ballroom D (Full day) Rob Fergus (NYU), Honglak Lee (Michigan), Marc'Aurelio Ranzato (Google) Ruslan Salakhutdinov (Toronto), Graham Taylor (Guelph), Kai Yu (Baidu) Overview Hand-designed features such as SIFT and HOG underpin many successful object recognition approaches. However, these only capture low-level edg
RBMで遊ぶ - Negative/Positive Thinking
はじめに 深イイ学習とかで使われているらしいRestricted Boltzmann Machineでちょっと遊んでみる。 Restricted Boltzmann Machineとは 制約Boltzmann Machine 各層内のノード間の結合がないようなBoltzmann Machine この制約によって、学習時の隠れ層の各ノードが独立に計算できる RBMの学習は、「Contrastive Divergence Learning」で行うことができる http://www.cs.toronto.edu/~hinton/absps/cdmiguel.pdf http://dl.dropbox.com/u/2048288/RestrictedBoltzmannMachine.pdf コード できたモデルからどうやって生成するのかよくわからなかったので、適当にサンプリングしてみる。 #inc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
