Theanoによる畳み込みニューラルネットワークの実装 (1) - 人工知能に関する断創録
Theanoによる多層パーセプトロンの実装（2015/6/18）のつづき。今回は、Deep Learning Tutorialの畳み込みニューラルネットワーク（Convolutional Neural Network: CNN, ConvNet）を実装してみる。 CNNは人間の視覚野を参考にした手法であり、画像認識に特化したDeep Learningアルゴリズムである。ImageNetの物体認識コンテストでぶっちぎりの成果を上げた手法はさまざまな工夫があるもののこのCNNをベースにしている。 本当は一般物体認識の実験をやりたいところだけどお楽しみは後に残しておいて、まずはMNISTの手書き数字認識を追試して感触をつかみたい。 ソースコード全体はここに置いた。 畳み込みニューラルネットワーク まず今回実装する畳み込みニューラルネットワーク（CNN）の構成を図でまとめてみた（Deep Lear
Theano で MLP & CNN (2) - まんぼう日記
Theano で Multi Layer Perceptron & Convolutional Neural Net - まんぼう日記 のつづき．重みの正則化（regularization, weight decayとも）の項を入れました．ついでに細々と条件を見直して，MNISTの識別実験を再び． これまでの経緯や関連記事は上記リンク先へどうぞ． 前回からの変更点 nnet0211.py MLPのプログラム．Layer クラスと MLP クラスを定義．重み W の更新則に正則化項を追加（バイアス b には正則化なし）した．また，Wをゼロ平均の正規分布からとった乱数で初期化するようにした．b は 0 で．重みの更新則はこんなん： \[ \Delta W \leftarrow -\eta \left( \frac{\partial E}{\partial W} + \lambda W \ri
Theano, 헷갈리는 shared variable 및 updates, givens 개념
Theano, 헷갈리는 shared variable 및 updates, givens 개념 May 12, 2015 Theano를 처음 익힐 때 조금 헷갈리는 부분이 shared variable, 그리고 updates, givens 문법인데, 이런 문법이 굳이 왜 필요한지 의문이 들기 때문이다. 여기 링크에 설명이 잘 돼있긴 하지만 좀 더 정리해본다. 예제 설명을 위한 예제로 Ordinary Least Square 문제 (Linear Regression) 또는 Vector Form으로 나타내면 를 생각해보자. 사실 이 문제는 Analytic Solution이 존재하지만 여기서는 예시를 위해 Gradient Descent Learning을 하는 것으로 생각한다. 우선 Theano가 권장하는 형태로는 아래와 같
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回 MNIST データをロジスティック回帰で判別する 英 第二回 多層パーセプトロン 英 第三回 畳み込みニューラルネットワーク (今回) 英 第四回 Denoising オートエンコーダ 英 第五回 多層 Denoising オートエンコーダ 英 第六回の準備1 networkx でマルコフ確率場 / 確率伝搬法を実装する - 第六回の準備2 ホップフィールドネットワーク - 第六回 制約付きボルツマンマシン 英 Deep Belief Networks 英 Hybrid Monte-Carlo Sampling 英 Recurrent Neural Network
Python Theano function / scan の挙動まとめ - StatsFragments
勉強のため たまに Pylearn2 など Theano を使ったパッケージのソースを眺めたりするのだが、theano.scan の挙動を毎回 忘れてしまう。繰り返し調べるのも無駄なので、一回 整理したい。theano.scan の動作は theano.function が前提となるため、あわせて書く。 準備 import numpy as np import theano import theano.tensor as T theano.function まずは Theano における関数にあたる Function インスタンスを作成する theano.function の基本的な挙動について。引数はいろいろあるが、特に重要と思われるのは以下の4つ。 inputs : Function への入力 (引数) に対応するシンボル。 outputs : Function 化される式。 upda
Theano 入門
Theano 入門¶ 本文書ではPython用の数値計算ライブラリTheanoの使い方を説明します. 応用例としてRestricted Boltzmann Machineを実装します. はじめに¶ Theano はPython用の数値計算ライブラリです. PythonではNumpyが数値計算ライブラリの事実上の標準となっていますが, TheanoではNumpyのように計算手続きを記述するのではなく, 数式そのものを記述します. このことによって, 計算対象となる行列等の実体のプログラム内での引き回しを考える事なく, 最適化やGPUによる高速化の恩恵が受けられます. また, Theanoでは数式そのものを記述するので, 微分を (数値的ではなく) 解析的に実行する事が出来ます. TheanoはLinux, Mac OSX, Windows上で動作します. Theanoはモントリオール大学のB
Welcome — Pylearn2 dev documentation
Warning This project does not have any current developer. We will continue to review pull requests and merge them when appropriate, but do not expect new development unless someone decides to work on it. There are other machine learning frameworks built on top of Theano that could interest you, such as: Blocks, Keras and Lasagne. Don’t expect a clean road without bumps! If you find a bug please wr
Theano による Amazon Web Service (AWS) 上での GPU 計算
Theano による Amazon Web Service (AWS) 上での GPU 計算¶ 本文書ではAWSのGPU計算サーバ(GPUインスタンス)上でTheanoを使用する方法を説明します. Theano入門 で紹介したプログラムをCPUとGPUで実行し, その計算速度を比較します. はじめに¶ 本文書では, GPU上での数値計算をGPU計算と呼ぶこととします. GPU計算の科学技術計算への応用は一般的になりつつあります. しかし, 個人で利用するためにはまだ敷居が高いように思われます. その理由の一つがハードウェアの問題です. 個人で使用するマシンは通常GPUを一つしか持たないため, GPUを計算のために占有させると, 画面表示に問題が起こる場合があります. そこで, 本文書ではクラウドサービスの一つであるAmazon Web Service (AWS)を利用してGPU計算を行う具
Python3でPyMCのインストール - old school magic
概要 PyMCはPythonのベイズ統計用ライブラリです。特にMCMCに重点を置いています。 Python3にPyMCを導入するのに割りと手こずったのでメモします。 参考になれば幸いです。 インストールの前準備 今回はPyMC version 3を試します。(まだalpha版です。) Python 2.7もしくは3.3に対応しています。 PyMC3 https://github.com/pymc-devs/pymc 依存しているライブラリは Theano NumPy SciPy Matplotlib です。これらを事前にインストールします。 参考 MacでPythonの機械学習環境構築(2014年5月版) - old school magic Theano Anaconda(Python用の機械学習パッケージ)で一発です。 と言いたいところですが、Theanoでちょっと引っかかりました。
PyMC3の計算でGPUを使っている気がしただけの話
たまには浮気させてください。PyMC3は内部でTheanoを使っており、自動微分（auto-diff）が計算可能でStanのサンプラーであるNUTSも実装済みです。またTheanoがGPUに対応しているため、これはMCMCの超高速化が簡単にできるのではッ！と試した記事になります。 まずは環境設定から。Windows 7 64bitにVisual Studio Express 2012, CUDA 6, Anaconda 2.0.0 (python 2.7 + numpyとか), theano 0.6.0, PyMC3をインストールします。手順が少し多い場合は分かる範囲でDAG構造を描くのがオススメです。学術書の章案内もDAG構造があるといいですね。さて、今回の手順の依存性をDAG構造で表すと以下になります。 1. Visual Studio Express 2012のインストール ここから
SymPy -> Theano -- Code Generation
No one is good at everything, that’s why we have society. No project is good at everything, that’s why we have interfaces. This is the first of three posts that join SymPy, a library for symbolic mathematics, and Theano, a library for mathematical compilation to numeric code. Each library does a few things really well. Each library also over-reaches bit and does a few things not-as-well. Fortunate
前回の続き。。logistic_sgd の意味が分かったのか？ インポートエラーで悩んでいた俺はバカなのか？！ - clew
さて。。 前回記事でストップしていた Deep Belief Networks のサンプルコード実行。 これは 「logistic_sgd というモジュール？がないよ？」 というエラーが原因のようでした。 それで、「そいつがあればいいんじゃね？」 という単純な考えで、あちこち探し回ってたんですね。。 ところが 「どこにもない。。」 もしかして インストール時点で間違っていた。。。もしくは抜け落ちがあったのか？と思い、テストとかすんごい時間をかけてやってみたわけです。 んー、しかしこれといって変なところは見当たらないようだし・・・theano のインストールもちゃんとできてるようだ・・（まだ理解できない部分はたくさんあるんだけれども・・・若干おかしな点や不明な点はいろいろある） ということで途方に暮れていたのでした。。 今回、ひょんな思い付きで ”ドキュメント内サーチ” をかけてみたんですよ
Theano 解説 - Risky Dune
「Deep Learning Implementation」でググるとトップに出てくることで, たまに話題になるライブラリ Theano について簡単に調べたので紹介する. 間違いがあったら是非教えて欲しい. なお, Deep Learningに関する解説は今回は行わない. TheanoとはPythonにおける数値計算用のライブラリである. 行列演算などを行う関数を提供しており, numpy/scipyの代替パッケージと思えばいいだろう. 大きな特徴は 実行時におけるC++コードの生成とコンパイル GPUサポート 解析的な微分のサポート (x^2の微分=2xという操作を自動でやってくれる) の3つである. 一部は後に詳細を説明する. これによってMultilayer Perceptronを実行するベンチマークでは, Theanoがnumpyより1.8倍, Matlabより1.6倍速いという
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChristianHerta
Loop — Theano 1.0.0 documentation
Tiago Ramalho · AI research in Tokyo