KerasでMNIST - 人工知能に関する断創録
今回は、KerasでMNISTの数字認識をするプログラムを書いた。このタスクは、Kerasの例題にも含まれている。今まで使ってこなかったモデルの可視化、Early-stoppingによる収束判定、学習履歴のプロットなども取り上げてみた。 ソースコード: mnist.py MNISTデータのロードと前処理 MNISTをロードするモジュールはKerasで提供されているので使った。 from keras.datasets import mnist from keras.utils import np_utils # MNISTデータのロード (X_train, y_train), (X_test, y_test) = mnist.load_data() # 画像を1次元配列化 X_train = X_train.reshape(60000, 784) X_test = X_test.reshap
MNIST手書き文字機械学習。TensorFlowチュートリアルの前に、scikit-learnのSVMで復習する。その２。
前回 惨敗の正答率だった、SVMによるMNIST手書き文字分類。 まずはscikit-learn付属のデータセットで復習してみることにする。 scikit-learn付属の手書き文字データセットは解像度がひどい こんな感じで試してみると、 from sklearn.datasets import load_digits from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.svm import SVC d = load_digits() X_train, X_test, y_train, y_test = train_test_split(d.data, d.target, train_size=0.8) svc = S
chainer 1.11.0以降のmnistを解説 - Qiita
はじめに chainerが1.11.0になってから結構変わっていたので、自分なりの理解を書きます。 できるだけ、初めてpythonとchainerをやってみる人にも分かるようします(つもりです)。 コードはここ サンプルの中のtrain_mnist.pyというファイルです。 MNIST mnistとは28x28のサイズの数字が書かれた画像のデータセットです。 機械学習で入門用としてよく使われるものです。 ネットワーク class MLP(chainer.Chain): def __init__(self, n_in, n_units, n_out): super(MLP, self).__init__( l1=L.Linear(n_in, n_units), l2=L.Linear(n_units, n_units), l3=L.Linear(n_units, n_out), ) def
Auxiliary Deep Generative Models [arXiv:1602.05473]
概要 Auxiliary Deep Generative Models を読んだ Chainer 1.12でADGMとSDGMを実装した はじめに Auxiliary Deep Generative Models(ADGM)は半教師ありのMNISTのクラス分類(100 labels)において、現在世界最高精度のエラー率0.96%を達成したモデルです。 私のChainer実装はGitHubで公開しています。 また著者自身によるLasagne実装が公開されていますので、試したい方はそちらを利用することもできます。 モデル ADGMはVAEに補助変数$a$を入れて拡張したものになっています。 VAEのM1+M2と同じくADGMも隠れ変数は２つ（$\boldsymbol z$と$\boldsymbol a$）ですが、依存関係が大きく異なっています。 ADGMでは生成モデルと推論モデルはそれぞれ \
CaffeでMNISTを学習して描画してみた（MAC OS X El Capitan） - Qiita
はじめに 素人がCaffe（CPU_onlyモード）でMNISTのデータを学習させる話です。MNISTデータベースはLeCunらが作成した、0-9の手書き文字のデータセットです。 Mac OS10.11の情報が見当たらなかったため、覚書も兼ねてメモしておきます。 （１）実行環境 （２）CaffeでMNISTを学習 （３）精度のPLOT （４）実際に遭遇したエラーとその対処方法 （５）参考にしたサイト インストール編はこちら。 （１）実行環境 OS:Mac OSX El Capitan (10.11.6) CPU: Core i5 1.6GHz GPU: Intel HD Graphics 6000 1536 MB メモリ: 8GB （２）CaffeでMNISTを学習 基本的には、Caffeの公式サイトのTraining LeNet on MNIST with Caffeを参考にしています。
ChainerのMNISTをConvolution2Dに改造する - そのうちシンギュラリティを起こすblog
Convolution2Dの使い方がよくわかんない。 よくわかんないのでとりあえず動作しているサンプルを改造して動きを見てみることにした。 #!/usr/bin/env python """Chainer example: train a multi-layer perceptron on MNIST This is a minimal example to write a feed-forward net. It requires scikit-learn to load MNIST dataset. """ import argparse import numpy as np import six import chainer from chainer import computational_graph as c from chainer import cuda import cha
Theanoによる多層パーセプトロンの実装 - 人工知能に関する断創録
Theanoによるロジスティック回帰の実装（2015/5/26）のつづき。今回は、Deep Learning Tutorialの多層パーセプトロン（Multilayer Perceptron）を実装してみる。タスクは前回と同じMNISTの手書き数字認識。多層パーセプトロンはこれまでも何回か実装してきた（2010/8/29）けど今回はTheanoを使ってみようという趣旨。これまでよりずいぶん簡単に実装できることがわかる。 ソースコード全体はここに置いた。 多層パーセプトロン 上の図は入力層、隠れ層、出力層3層パーセプトロンの模式図。入力層に入力されたベクトルは、入力層と隠れ層間の重み行列 とバイアスベクトル によって で変換され、隠れ層の出力となる。活性化関数として使われるロジスティック・シグモイド関数 sigmoid によって入力ベクトルは非線形変換される。つまりもとの空間で線形分離不可能
多層パーセプトロンでMNISTの手書き数字認識 - 人工知能に関する断創録
多層パーセプトロンで手書き数字認識（2014/2/1）の続き。今回は、簡易版のdigitsデータではなく、MNISTのより大規模な手書き数字データを使って学習してみます。 MNISTデータ MNISTは、28x28ピクセル、70000サンプルの数字の手書き画像データです。各ピクセルは0から255の値を取ります。まずは、digitsデータの時と同様にMNISTのデータを描画してどのようなデータなのか確認してみます。MNISTのデータは上記サイトからダウンロードしなくてもscikit-learnのfetch_mldata()関数でWebから取得できます。取得するのは初回実行時だけで二回目以降は第二引数のdata_homeに指定した場所に保存されます。 #coding: utf-8 import numpy as np import pylab from sklearn.datasets imp
MNIST handwritten digit database, Yann LeCun and Corinna Cortes
The MNIST database of handwritten digits, available from this page, has a training set of 60,000 examples, and a test set of 10,000 examples. It is a subset of a larger set available from NIST. The digits have been size-normalized and centered in a fixed-size image. It is a good database for people who want to try learning techniques and pattern recognition methods on real-world data while spendin
パッケージユーザーのための機械学習(12)：Xgboost (eXtreme Gradient Boosting) - 六本木で働くデータサイエンティストのブログ
今やKaggleやKDD cup以下名だたる機械学習コンペで絶大な人気を誇る分類器、Xgboost (eXtreme Gradient Boosting)。特にKaggleのHiggs Boson Machine Learning Challengeの優勝チームが駆使したことで有名になった感があるようで。 その実装ですが、C++ベースで高速化したものにRとPythonのラッパーをつけたものが既にGitHubで公開されています。 Rパッケージである{xgboost}のインストールについての注意事項は前回の記事に書いていますので、インストールの際はご参考にしていただければと。 さて。これだけ大人気の分類器となると国内外問わず色々な解説記事に溢れておりまして、例えば日本語ブログでもこれだけの記事が既に出てます。 勾配ブースティングについてざっくりと説明する - About connecting
Chainer1.5の変更点についてのメモ - studylog/北の雲
あけましておめでとうございます。今年もChainer中心に遊んでいきたいと思います。 過去最大のアップデート 1.5。あまりにも変わりすぎていて以前のコードを1.5対応に書き換えるが結構大変です。 正直1.4のままでいいかな…と思いましたが、最新版についていかないと損しそうなので箱根駅伝見ながら勉強しました。1.5でCuPyがだいぶ速くなったようですし。 未解決なところ、曖昧・あやふやな情報がありますがご了承下さい。一部1.4以前に既にあったものも含まれてるかもしれません。 自信が無いところはこの色で書いてます。 まずは1.5版チュートリアル和訳から、後はサンプルコードとドキュメントを見ながら試行錯誤しました。 i101330.hatenablog.com ChainとLink __call__ WeightDecay、GradientClippingはadd_hookで optimize
iandprogram.net - このウェブサイトは販売用です！ - iandprogram リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Chainerを使って多層パーセプトロンを実装する | JProgramer
ChainerというPythonライブラリを用いて、ディープラーニングにおける多層パーセプトロンを実装します。 MNISTという数字画像データ集 ここでは、画像データとして、MNISTにおける数字画像データを使用します。 MNISTのページ 上記のページに数字の画像データとラベルデータがまとめられたバイナリファイルがおいてあります。 train-images-idx3-ubyte.gz: 学習データ用の文字画像集 train-labels-idx1-ubyte.gz: 学習データ用の文字画像集に対応した数字 t10k-images-idx3-ubyte.gz: テストデータ用の文字画像集 t10k-labels-idx1-ubyte.gz: テストデータ用の文字画像集に対応した数字 となっています。バイナリファイルの詳しい構造はMNISTページの下の方に書いてあるので、参考にし
『Chainer: 例題 MNIST の学習』
毎日の向こうに 仕事／趣味、そしてそれらに使っているパソコン（主にMacOSX），写真，旅行のことなど書いています． Chainer オフィシャルサイトのチュートリアルの１つをトレースしてみる。 http://docs.chainer.org/en/stable/tutorial/basic.html 使用バージョン： Chainer 1.5. 目的：０から９までの手書き数字の画像を学習して数字を認識する。 まず Chainer の Git リポジトリを取得する。 その中の examples を利用する。 $git clone https://github.com/pfnet/chainer.git chainer $cd …/chainer/examples/mnist/ ターミナルで Python を起動する。 インタラクティブにいこう。 まず準備。 import numpy as n
MNIST for ML Beginnersの数学的な意味合い - neuralnetな日記
Tensor flowの初めの一歩のチュートリアルであるMNIST For ML Beginners について、数学的な意味合いを書いてみようと思います。 (ブログに不慣れなもので、修正/継ぎ足しながら公開していくことをお許しください) まず、このチュートリアルで実行していることは、 入力がn次元の配列 (は実数)が複数個あった時 、個々の出力 ()を得る写像を用意して、出力が 個々のに対する解 (あるz=1以外はz=0) に近い結果を得れるように、Fを最適化することです。 ここで、の各要素 は実数と書きましたが、これは概念上の話であり、プログラムの実装上ではfloatになります。以後、集合（つまり配列）の要素は数学上は実数ですが、プログラム上はfloatであると考えて下さい。は、となるm個の(実数の)集合です。また任意の要素は0以上であり、したがって、は0から1までの値をとることになりま
【ディープラーニング】10時間でChainerの基本を身につける - あれもPython,これもPython
ディープラーニングは色々な知識が必要です。 「チュートリアル動かしました」で止まったままの人も多いでしょう。 そこで、自分がchainerを理解しながら動かした時の方法を書きます。 大前提 とは言ったものの、誰でも入門は無理なので。 以下が最低限の前提です。 数学:微分積分、行列、確率とか聞いても「ああ、あれね・・・」くらいには思う IT:Pythonがそれなりに分かる。numpyはそこそこ分かる。 機械学習:説明変数とか、目的変数とか分類とかが何となく分かる やる気:引っかかった時に、調べる気力がある ゴール chainerを自分で色々試せるレベルになる。 あくまで試せるレベルになるだけです。 それでも千里の道も一歩からです。 一緒に頑張りましょう。 ちなみになぜchainerか、というと、 入門者が触るには、バランスは良さそうに見えたからです。 最初の最初 ディープラーニングは歴史から
Chainerによる多層パーセプトロンの実装 - 人工知能に関する断創録
これまでDeep LearningのアルゴリズムをTheanoで実装してきた（2015/4/29）けれど、ここらで巷で大人気のライブラリChainerにも手を出してみた。Theanoの勉強を始めたあとすぐにChainerが公開された（2015/6/9）がユーザや情報が増えるまで待っていた感じ（笑）最近はコードや実験結果などを公開してくれる人が増えてきたので非常に参考になっている。目についたものはてぶに登録しているので、興味を持った手法はがしがし勉強して追試していきたい。 Chainerのバージョンは1.3.2をベースにしている。1.3からPyCUDA/scikit-cudaを独自ライブラリのCuPyに置き換えたとのことで、以前のコードは少し修正しないと動かないようだ。その分、1.3からはインストールがシンプルになっていてとてもうれしい。1.1のころは、Chainerと直接関係ないPyCUD
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/Worldforward/items/0542c15e6fbe12754792
https://qiita.com/nzw0301/items/d515ebf8e4b75f35bbcb
https://qiita.com/nzw0301/items/dbeb55bcd00b56b7fc87