実装ノート
#この文書について 筆者がtiny-cnnを実装するにあたってまとめた、ニューラルネット＋tiny-cnnの解説資料です。基本的なフィードフォワード型のニューラルネットに関する解説を行いつつ、数式に対応するコードの箇所が分かるように書きました。数式と実装のギャップがあれば、適宜補足を行っています。 ざっと読むとニューラルネットの基礎、およびtiny-cnnの実装を理解するうえで役立つかもしれません。特に筆者のような、動くコードとセットでないと理解が深まらないタイプの方に役立てば幸いです。内容に間違いがあれば、ぜひ指摘をお願いします:beers::sushi: ###表記について ニューラルネットワークの基本用語で、かつ実装中に登場する言葉については__太字__で強調します。 🍄 tiny-cnnの実装に関する注釈はキノコのアイコンで記述します。キノコに深い意味はありません:cat: :
ニューラルネットワークと深層学習
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 最初にゴルフを始めようとするとき、まずは基本スイングの練習にほとんどの時間を使うのが普通です。それ以外のスイングの練習をするのは、少しずつしかできません。チップやドローやフェードを身につけるのは、基本スイングの上に、修正しながら組み立てるも
数式で書き下す Convolutional Neural Networks (CNN) - Yusuke Sugomori's Blog
CNNは画像認識の分野で驚異的な精度を誇るディープラーニングのアルゴリズムのひとつであるものの、ぱっと見がとても複雑な構造をしているため、実装するのも大変そうです。 実際、ネットや文献上で見られる多くのCNNの実装は、Theano (pythonのライブラリ)の自動微分機能を使っていたり、MATLABの組み込み関数を使っているものがほとんどです。 そのためか、きちんと forward propagation & backpropagation を数式で書き下している文献はないように思いました。（もちろん、楽に実装できるならばそれはそれで素晴らしいことです。） そこで、どうすれば CNN を実装するための数式を書き下せるのか、レイヤーごとに分けて導出していきたいと思います。 まず、CNN がどんな層に分解できるのかについて。これは、下記の３つで表せるでしょう。 Convolution Lay
誤差逆伝播法のノート - Qiita
はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということがあまり明らかではありませんでした． 大学の講義や教科書でのBackpropの説明はほとんど，「教師あり学習の文脈で多層パーセプトロンを識別器あるいは関数近似器として訓練する」という文脈でなされます．そのため，初学者はBackpropは教師あり学習のためのアル
【エヌ教授の事件簿】マルチGPUでディープラーニングを高速化!NVIDIA Digits2のヒミツ:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
※この物語はフィクションです。実在する人物・OS・プログラミング言語・端末・企業・団体名等とは一切関係がありませんのでご注意下さい ■登場人物紹介 ケイス淀橋 コンピュータウィルスに感染し、ネットのアチラ側からこちら側にでられなくなってしまった電脳空間カウボーイ。 シン石丸 電脳空間カウボーイズのリーダー。ケイスともケイスの兄とも昵懇の仲 エヌ教授 実際には何を研究しているのかよくわからないがコンピュータに詳しい教授 ■ニュース多すぎなディープラーニング業界 NVIDIAがDigitsの新しいバージョンを発表したよー おお、何ができるようになったの? とりあえず今回の目玉はマルチGPU対応みたいだね ちょっと待て、今までマルチGPUに対応していなかったのか? そうみたいだね。 NVIDIA、4GPU搭載マシンとか売ってたのに!? 120万円もする ああ。あれを買った人は全く意味ナシだったわ
TensorFlowでのMNIST学習結果を、実際に手書きして試す - すぎゃーんメモ
Deep Learningという言葉を色んなところで聞くようになり、Googleからも TensorFlow というものが出たし、そろそろちょっと勉強してみるか〜 ということで初心者が機械学習に手を出してみた。 TensorFlowのtutorialを見てみると、まず最初に「MNIST」という手書き文字の識別問題が出てくる。その問題に対して、こういうモデルを作ってこうやって学習させていくと91.2%くらいの識別率になります、さらに飛躍させてこういうモデルでこうやって学習させると99.2%くらいまで識別率が上がります、とか書いてあって、確かになるほどーと数字で納得もできるのだけど、せっかくなら実際にその学習結果を使って自分の書いた数字を識別してもらいたいじゃないか、ということで そういうのを作ってみた。 https://github.com/sugyan/tensorflow-mnist c
機械学習×Webアプリ診断：多層パーセプトロンでCAPTCHAを認識する（Chainer編） - Qiita
前回はフルスクラッチで多層パーセプトロンを実装し、CAPTCHA画像の認識を試みた。 今回は「Chainer」を使って同じことをやってみる。 なお、「scikit-neuralnetwork」でも多層パーセプトロンを実装できるが、この検証はまたの機会とする。 アジェンダ 0.実装コード 1.やってみる 2.まとめ 3.参考文献 0.実装コード 以下1つのpythonコードのみ使用。 前回と比べて非常にコード量が少なくなっている。 #!/usr/bin/env python #coding:utf-8 import os import gzip, pickle import pylab import numpy as np from chainer import Variable, FunctionSet, optimizers import chainer.functions as F #
Standard Function implementations — Chainer 1.4.1 documentation
Functions¶ Chainer provides variety of built-in function implementations in chainer.functions package. These functions usually return a Variable object or a tuple of multiple Variable objects. For a Variable argument of a function, an N-dimensional array can be passed if you do not need its gradient. Some functions additionally supports scalar arguments. Note Functions implemented in Chainer consi
ニューラルネットで最適化アルゴリズムを色々試してみる - Qiita
実装はこちらのGitHubリポジトリのdnn/optimizers.py中にあります． はじめに MNISTをベンチマークとして簡単なニューラルネットワークで以下の学習係数最適化を使ってみました．それぞれの評価用データセットに対するaccuracyを比較してみます． SGD Momentum SGD AdaGrad RMSprop AdaDelta Adam 実装 実装はTheanoを使いました． 今回はソースコードを私のGitHubリポジトリにアップロードしました． 学習係数最適化に関してはここら辺参考にしました． https://gist.github.com/SnippyHolloW/67effa81dd1cd5a488b4 https://gist.github.com/skaae/ae7225263ca8806868cb http://chainer.readthedocs.or
確率的勾配降下法 - Qiita
SGD (stocastic gradient descent) ミニバッチ単位で最急降下法を適用してパラメータ $\theta$ を更新する。
Adam論文概要とコード - Qiita
最近、機械学習系のタスクから離れていて(ずっとRails書いてました...そろそろ機械学習界隈の世界に戻らんと...) まだAdamの論文読めてなかったので、読んで適当に実装してみました。 motivation 簡単に実装できて、計算効率が良くて、省メモリで、スケールの影響も受けにくくて、大規模なデータ/パラメタに対して適応的なモデルを作りたい Adamの名前の由来 Adaptive moment estimation Adamの利点 AdaGradとRMSPropの良い所を合わせ持った手法 AdaGradはsparse gradientに強い(が、一次モーメントのバイアス訂正項がないのでバイアスが非常に大きくなって、パラメタの更新が非常に大きくなる) RMSPropはオンラインで非定常な設定で強い（がバイアス訂正項が小さな値になるとstepsizeがバカでかくなる） 初期値を与える必要は
Adam Optimizer
adam.py @Z+pkU �R�pkU """ The MIT License (MIT) Copyright (c) 2015 Alec Radford Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the
Optimizers — Chainer 7.8.1 documentation
Optimizer/UpdateRule hook function for weight decay regularization.
30 分でわかるAdam
What is Scribd?AcademicProfessionalCultureHobbies & CraftsPersonal GrowthAll Documents
Chainerによる多層パーセプトロンの実装 - 人工知能に関する断創録
これまでDeep LearningのアルゴリズムをTheanoで実装してきた（2015/4/29）けれど、ここらで巷で大人気のライブラリChainerにも手を出してみた。Theanoの勉強を始めたあとすぐにChainerが公開された（2015/6/9）がユーザや情報が増えるまで待っていた感じ（笑）最近はコードや実験結果などを公開してくれる人が増えてきたので非常に参考になっている。目についたものはてぶに登録しているので、興味を持った手法はがしがし勉強して追試していきたい。 Chainerのバージョンは1.3.2をベースにしている。1.3からPyCUDA/scikit-cudaを独自ライブラリのCuPyに置き換えたとのことで、以前のコードは少し修正しないと動かないようだ。その分、1.3からはインストールがシンプルになっていてとてもうれしい。1.1のころは、Chainerと直接関係ないPyCUD
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
ご注文はDeep Learningですか？ - kivantium活動日記
先日Deep Learningでラブライブ！キャラを識別するという記事が話題になっていました。この記事で紹介されている SIG2D 2014を知り合いから貸してもらったので参考にしながら、ご注文は機械学習ですか？のDeep Learning版を作ってみました。 Caffeなど必要なソフトのインストール Ubuntu 14.04の場合は過去記事を参照してください。これ以外にもpython-opencvなどを使いますが、依存関係の全ては把握できていないのでエラーが出たら適宜インストールしてください。 データの準備 Deep Learningでは大量の学習データが必要になると言われているので、まずは大量のデータを用意します。参考記事では6000枚のラブライブ画像を使ったということなので対抗して12000枚以上のごちうさ画像を用意したいと思います。それだけのデータを手動で分類するとそれだけで時間が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://arxiv.org/pdf/1412.6980v8
Chainerの使い方と自然言語処理への応用
ディープラーニング チュートリアル（もしくは研究動向報告）