Theanoによる多層パーセプトロンの実装(2015/6/18)のつづき。今回は、Deep Learning Tutorialの畳み込みニューラルネットワーク(Convolutional Neural Network: CNN, ConvNet)を実装してみる。 CNNは人間の視覚野を参考にした手法であり、画像認識に特化したDeep Learningアルゴリズムである。ImageNetの物体認識コンテストでぶっちぎりの成果を上げた手法はさまざまな工夫があるもののこのCNNをベースにしている。 本当は一般物体認識の実験をやりたいところだけどお楽しみは後に残しておいて、まずはMNISTの手書き数字認識を追試して感触をつかみたい。 ソースコード全体はここに置いた。 畳み込みニューラルネットワーク まず今回実装する畳み込みニューラルネットワーク(CNN)の構成を図でまとめてみた(Deep Lear
Theanoによるロジスティック回帰の実装(2015/5/26)のつづき。今回は、Deep Learning Tutorialの多層パーセプトロン(Multilayer Perceptron)を実装してみる。タスクは前回と同じMNISTの手書き数字認識。多層パーセプトロンはこれまでも何回か実装してきた(2010/8/29)けど今回はTheanoを使ってみようという趣旨。これまでよりずいぶん簡単に実装できることがわかる。 ソースコード全体はここに置いた。 多層パーセプトロン 上の図は入力層、隠れ層、出力層3層パーセプトロンの模式図。入力層に入力されたベクトルは、入力層と隠れ層間の重み行列 とバイアスベクトル によって で変換され、隠れ層の出力となる。活性化関数として使われるロジスティック・シグモイド関数 sigmoid によって入力ベクトルは非線形変換される。つまりもとの空間で線形分離不可能
ブログ投稿の続きとして、スライドに書けなかったTheanoの細かい部分についてもう少しまとめておこうと思います。 まず、Theano 解説 はTheano特徴を簡潔に表現されているので、一読をオススメします。 ここでも書かれていますが、Theanoの特徴として、 実行時にCコードを生成してコンパイル GPUでの実行のサポート(要CUDA) 自動微分 などがあげられると思います。 Theanoの超簡略チュートリアル http://deeplearning.net/software/theano/tutorial/index.html#tutorial の乱暴な要約です。 まず常にImportしておく3つ この3つはお約束です。 これだけ知っておけば概ね大丈夫 以下の事柄がだいたい理解できれば、Deep Learningの実装を読んで理解したり、変更を加えたりすることができると思います。 T.
TheanoをMac OS X 10.10にインストールする方法 (pyenv, anacondaを使用)PythonMacOSX機械学習DeepLearningTheano インストールしたマシンの環境 OS: Mac OS X 10.10.4 CPU: 2.6GHz Intel Core i7 メモリ: 16 GB 1600 MHz DDR3 brewインストール済み。 やることリスト pyenvをインストールする pyenv経由でanacondaをインストールする pip経由でtheanoをインストールする 1. pyenvをインストールする デフォルトのpythonだと何かと問題が起きるので、適したバージョンを入れるためにpyenvをいれます。 pyenvとは? pythonのバージョン管理システム。 rubyでいうところのrbenv。 バージョンのみならず、便利なパッケージも一
この記事はDeep Learning Advent Calendar 2015の3日目です。いつも読んでばかりで悪いし、Deep Learningの話題なら何でもよいそうなので登録してみました。 Theanoによる畳み込みニューラルネットワークの実装 (2)(2015/7/14)のつづき。 ここ最近はChainerを使ってきたけれどまた手法の勉強も兼ねてTheanoでの実装に戻りたい。ChainerやTensorFlowがあるんだからTheanoなんてもう誰も使わない?ごめんなさい・・・TheanoはDeep Learning Tutorialをはじめ、実装例が豊富にあり、絶妙な粒度で小回りもきくので手法の勉強にちょうどよいんだよね。 今回からしばらくさまざまな自己符号化器(Autoencoder)を検証していきたい。深層学習のメリットである特徴の自動学習の基礎になるところなのでしっかり理
今回からしばらくの間、Deep Learningの各種アルゴリズムをスクラッチから実装していきたい。Pylearn2などDeep Learningのアルゴリズムを実装したPythonライブラリもあるのでスクラッチから実装する意味はほとんどないのだけれど、今回はアルゴリズムの詳細を勉強するというのが趣旨。 参考にした資料はDeep Learning Tutorial。TheanoというPythonの数値計算ライブラリを用いたDeep Learningの各種アルゴリズムの実装方法がソースコード付きで解説されている。ぶっちゃけたところこの資料を読み込めばこんな記事はいらないのだけれど、実装する過程で試行錯誤しないと理解できないところが多々あったのでそういうところをまとめておきたい。 今回はTheanoの基本的なところから。いろいろTIPSがあるので断片的に記事を書くかも・・・ Theanoについ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く