The Ultimate List of TensorFlow Resources: Books, Tutorials & More - Hacker Lists
The Ultimate List of TensorFlow Resources: Books, Tutorials, Libraries and More A curated list of 50+ awesome TensorFlow resources including tutorials, books, libraries, projects and more. If you know of any awesome TensorFlow resources that you think should be added to this list, please let me know in the comments section. And be sure to check out our other awesome lists of the best computer visi
Theanoによる畳み込みニューラルネットワークの実装 (1) - 人工知能に関する断創録
Theanoによる多層パーセプトロンの実装（2015/6/18）のつづき。今回は、Deep Learning Tutorialの畳み込みニューラルネットワーク（Convolutional Neural Network: CNN, ConvNet）を実装してみる。 CNNは人間の視覚野を参考にした手法であり、画像認識に特化したDeep Learningアルゴリズムである。ImageNetの物体認識コンテストでぶっちぎりの成果を上げた手法はさまざまな工夫があるもののこのCNNをベースにしている。 本当は一般物体認識の実験をやりたいところだけどお楽しみは後に残しておいて、まずはMNISTの手書き数字認識を追試して感触をつかみたい。 ソースコード全体はここに置いた。 畳み込みニューラルネットワーク まず今回実装する畳み込みニューラルネットワーク（CNN）の構成を図でまとめてみた（Deep Lear
Theano で MLP & CNN (2) - まんぼう日記
Theano で Multi Layer Perceptron & Convolutional Neural Net - まんぼう日記 のつづき．重みの正則化（regularization, weight decayとも）の項を入れました．ついでに細々と条件を見直して，MNISTの識別実験を再び． これまでの経緯や関連記事は上記リンク先へどうぞ． 前回からの変更点 nnet0211.py MLPのプログラム．Layer クラスと MLP クラスを定義．重み W の更新則に正則化項を追加（バイアス b には正則化なし）した．また，Wをゼロ平均の正規分布からとった乱数で初期化するようにした．b は 0 で．重みの更新則はこんなん： \[ \Delta W \leftarrow -\eta \left( \frac{\partial E}{\partial W} + \lambda W \ri
Variational Autoencoder in TensorFlow
The main motivation for this post was that I wanted to get more experience with both Variational Autoencoders (VAEs) and with Tensorflow. Thus, implementing the former in the latter sounded like a good idea for learning about both at the same time. This post summarizes the result. Note: The post was updated on December 7th 2015: a bug in the computation of the latent_loss was fixed (removed an err
John's Soapbox
Announcing CGT I would like to announce a library that I have been working on with a few collaborators1, called the Computation Graph Toolkit (CGT): GitHub / Documentation. For those of you who are familiar with Theano, the main upshot of CGT is this: CGT replicates Theano’s API, but it has very short compilation time and supports multithreading. In particular, with CGT you can create unrolled rec
Chainer で Deep Learning: Bokeh で Live Monitoring したい - StatsFragments
概要 Deep Learning の学習には時間がかかるため、進捗が都度 確認できるとうれしい。その際、テキストのログ出力では味気ないので、リアルタイムでプロットを眺めたい。 いくつかの Deep Learning パッケージではそういった機能 (Live Monitoring) が提供されている。 Undefined Intelligence: Monitoring Experiments in Pylearn2 Live plotting — Blocks 0.0.1 documentation fchollet/hualos · GitHub 同じことを Chainer でやりたい。自分は EC2 を使うことが多いので、リモート環境でも利用できるものがいい。そのため、ここでは Bokeh を使うことにした。 Bokeh とは Bokeh とは、D3.js を利用したブラウザベースのイ
Chainer で Deep Learning: model zoo で R-CNN やりたい - StatsFragments
ニューラルネットワークを使ったオブジェクト検出の手法に R-CNN (Regions with CNN) というものがある。簡単にいうと、R-CNN は以下のような処理を行う。 入力画像中からオブジェクトらしい領域を検出し切り出す。 各領域を CNN (畳み込みニューラルネットワーク) にかける。 2での特徴量を用いて オブジェクトかどうかをSVMで判別する。 R-CNN については 論文著者の方が Caffe (Matlab) での実装 (やその改良版) を公開している。 [1311.2524] Rich feature hierarchies for accurate object detection and semantic segmentation github.com が、自分は Matlab のライセンスを持っていないので Python でやりたい。Python でやるなら 今
機械学習ライブラリ Chainerの紹介 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 Chainerと呼ばれる機械学習ライブラリを紹介しようと思います。 Chainerについて Chainerとは？ ChainerはPreffered Networksが開発したニューラルネットワークを誤差伝播で学習する ライブラリです。(Python)chainer.org 特徴として、Chainer は、「実際に Python のコードを用いて入力配列に何の処理が適用されたかだけを記憶しておき、それを誤差逆伝播の実行に使います」だそう。 Install sudo pip install chainer 基本的にこれだけのインストールが非常に簡単なソフトウェアです。 他のライブラリとの比較 ディープラーニングが活かすIoTより抜粋。 個人的に注目した違いは以下の3点 CaffeもTheanoも勉強することが多い。（設定ファイルとか） 短く書け
Chainer – A flexible framework of neural networks — Chainer 7.8.1 documentation
Chainer – A flexible framework of neural networks¶ Chainer is a powerful, flexible and intuitive deep learning framework. Chainer supports CUDA computation. It only requires a few lines of code to leverage a GPU. It also runs on multiple GPUs with little effort. Chainer supports various network architectures including feed-forward nets, convnets, recurrent nets and recursive nets. It also supports
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回 MNIST データをロジスティック回帰で判別する 英 第二回 多層パーセプトロン 英 第三回 畳み込みニューラルネットワーク (今回) 英 第四回 Denoising オートエンコーダ 英 第五回 多層 Denoising オートエンコーダ 英 第六回の準備1 networkx でマルコフ確率場 / 確率伝搬法を実装する - 第六回の準備2 ホップフィールドネットワーク - 第六回 制約付きボルツマンマシン 英 Deep Belief Networks 英 Hybrid Monte-Carlo Sampling 英 Recurrent Neural Network
Deep Learning のフレームワーク Chainer を公開しました - Preferred Networks Research & Development
こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。 Python のライブラリとして提供（要 Python 2.7+） あらゆるニューラルネットの構造に柔軟に対応 動的な計算グラフ構築による直感的なコード GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能 ニューラルネットをどのように書けるか 次のコードは多層パーセプトロンの勾配を計算する例です。 from chainer import FunctionSet, Vari
ニューラルネットワークで時系列データの予測を行う - Qiita
Hopfield networkは、一般的なクラス分類以外に最適化問題への応用が可能なモデルです。 Elman/Jordanは、Simple recurrent networksと言われているように一番シンプルな形となっています。RNNを利用したい場合はまずどちらかでやってみて、精度的な問題があるのなら他の手法に切り替えてみる、というのがよいのではないかと思います。 Elman/Jordanの違いは上記のとおりですが(前回データの反映が隠れ層から行われるか、出力層から行われるか)、こちらにも詳しく書かれています。精度的な優劣はありませんが、隠れ層の数によって次に伝播する量を変化させられるElmanの方が柔軟と言えると思います。 Echo state networkは毛色が違ったモデルで、ノードを事前に結合せずReservoir(貯水池などの意味)と呼ばれるプールに貯めておき、入力が与えられ
DBNとLabelSpreadingを使った半教師ありラベル学習 - Qiita
教師あり学習で文書分類をするためのラベル付け作業に疲れた方がいらっしゃったので、少ないラベルで分類が可能なように半教師あり学習でテキスト分類を行うものを作ってみました。 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Learning with local and global consistency, Zhou+, 2004 やったこと DBNで特徴量抽出 LabelSpreadingで半教師あり学習によるラベル付け 手順 DBNで特徴抽出 グリッドサーチで適当に層の深さ、学習係数、各層のユニット数を決定(Top層のユニット数は圧縮後の次元数) DBNでpre-trainingを行いweightとバイアスを学習 Top層の出力を次元圧縮後の特徴量として分類器に投入する LabelSpreadingで半教師あ
Welcome — Pylearn2 dev documentation
Warning This project does not have any current developer. We will continue to review pull requests and merge them when appropriate, but do not expect new development unless someone decides to work on it. There are other machine learning frameworks built on top of Theano that could interest you, such as: Blocks, Keras and Lasagne. Don’t expect a clean road without bumps! If you find a bug please wr
Pylearn2, theanoをEC2 g2.x2large で動かす方法 | LESS IS MORE
モチベーション 手元のへぼマシンでニューラルネットの学習を回わす 半日たっても終わらない 最近だとGPU使って計算を高速化するのが流行りだが、手元にGPUはない Deep Learning in Python with Pylearn2 and Amazon EC2 手元にGPUがない…？大丈夫！Amazon EC2を使えば良さそう！！！ というわけで、めんどくさいと言わずにec2にお手軽計算環境を整えます。ec2でGPUが乗ったものだと、g2.2xlargeがよさそうですね。 ちなみに↑の図、pylearn2のtutorialのRestricted Bolzmann MachinesをMNISTで学習した結果なんですが、手元のマシンだとだいたい6時間くらい？（忘れた）だったのがg2.2xlargeだと30分もかかってない（ごめんなさい時間図るの忘れた）。$0.65/hourと安いんだし（
Software links « Deep Learning
Deep Learning… moving beyond shallow machine learning since 2006! Theano – CPU/GPU symbolic expression compiler in python (from MILA lab at University of Montreal) Torch – provides a Matlab-like environment for state-of-the-art machine learning algorithms in lua (from Ronan Collobert, Clement Farabet and Koray Kavukcuoglu) Pylearn2 – Pylearn2 is a library designed to make machine learning research
前回の続き。。logistic_sgd の意味が分かったのか？ インポートエラーで悩んでいた俺はバカなのか？！ - clew
さて。。 前回記事でストップしていた Deep Belief Networks のサンプルコード実行。 これは 「logistic_sgd というモジュール？がないよ？」 というエラーが原因のようでした。 それで、「そいつがあればいいんじゃね？」 という単純な考えで、あちこち探し回ってたんですね。。 ところが 「どこにもない。。」 もしかして インストール時点で間違っていた。。。もしくは抜け落ちがあったのか？と思い、テストとかすんごい時間をかけてやってみたわけです。 んー、しかしこれといって変なところは見当たらないようだし・・・theano のインストールもちゃんとできてるようだ・・（まだ理解できない部分はたくさんあるんだけれども・・・若干おかしな点や不明な点はいろいろある） ということで途方に暮れていたのでした。。 今回、ひょんな思い付きで ”ドキュメント内サーチ” をかけてみたんですよ
Hello Autoencoder — KiyuHub
Hello Autoencoder 最近，身内でDeep Learningを題材に含んだ勉強会を行なっている． メインは専門である自然言語処理まわりだが， とりあえず実装(というよりnumpy)の導入になる上，結果を視覚化できることから， 画像データを利用したAutoencoderの実装について取り扱った． 軽い説明と共にコードと，色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で，基本的には 入力層と出力層のユニット数が同じである． 教師信号として入力そのものを与える． という特徴を持つ． 入力と出力が共に4次元で，隠れ層が2次元なAutoencoderの図 Autoencoderは，入力の情報をを一度隠れ層の空間に写像(encode) したあと， 元の信号を復元(decode)するようなパラメータを学習する． 図のように，もしも隠れ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChristianHerta
Installing Theano — Theano 1.0.0 documentation