RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
二次元画像を拡大したいと思ったことはありませんか？ - デー
うまくできましたか？ ボヤけたり、ギザギザになったりしませんでしたか？ waifu2xをお試しください。 (ブラウザの処理に影響されないようクリックで拡大おねがいします) waifu2xは、二次元画像を2倍に拡大するソフトウェアです。多くの二次元画像についてスゴイ級のクオリティで拡大できます。 waifu2xは、最新鋭の人工知能技術 Deep Convolutional Neural Networks を使って開発されました。 waifu2xの人工知能は、次の問に答えます。 いまから与える画像はある画像を半分に縮小したものである。縮小される前の画像を求めよ。 画像を拡大するのではなく、縮小される前の状態に戻します。 縮小されてないオリジナル画像を与えた場合も、やはり縮小される前の画像を答えます。 その画像は本来存在しないものですが、waifu2xはそれを想像で創ります。 二次元画像のJPE
ディープラーニング勉強会 AutoEncoder - Qiita
某所ディープラーニング勉強会の発表資料です。 AutoEncoderって何？ 出力データが入力データをそのまま再現する3層ニューラルネットだよ。 普通は、隠れ層の次元を入力層＆出力層より小さくするよ。 AutoEncoderの意味は？ 次元削減だよ。 データが分布する多様体を推定しているともいえるよ。 主成分分析に似てるけど、シグモイド関数とかの非線形変換もいけるよ。 AutoEncoderはいつ使うの？ 事前学習だよ。ニューラルネット全体で学習を行うための良い初期パラメータを得るのに行うよ。 訓練データで教師無し学習をしていくよ。n層目まで完了したらn+1層目の学習をするよ。 誤差の逆伝播が遠くの層へうまく伝わらない問題を解決したよ。 計算式 アフィン変換（線形変換＋平行移動）して活性化関数に食わせる。 入力層：$x \in [0,1]^d$ 隠れ層：$y = f_{W, b}(x) =
DeepLearningに自作画像データを入れて遊んでみる - Qiita
昨今いろいろなサービスで機械学習が使われています。中でもDeepLearningと呼ばれる手法は高性能な方法として注目されています。この記事では、pylearn2というLISA-Lab発の機械学習ライブラリを使って、実際にDeepLearningを動かしてみる方法について書きます。対象は画像ファイルです。 pyleran2のチュートリアルを動かしてみるまでの記事はたくさんあるようですが、自分で作ったデータを学習させてみるところまで書いてある情報がほとんどないようなので、「DeepLearning」とか「pylearn2」がすごいのはわかったけどどうやってつかえばええねんって人向けです。 pylearn2のインストール、使い方、チュートリアルの部分は割愛します。 また、方法はいろいろあると思いますが、ここで書くのはその一例です。 手順 全体の流れは次のようになります。各々詳しく説明します。
今ナウいディープラーニングのライブラリ「Pylearn2」のインストールとチュートリアル - Qiita
username@ubuntu:~/pylearn2/pylearn2/scripts/tutorials/grbm_smd$ python make_dataset.py Traceback (most recent call last): File "make_dataset.py", line 29, in <module> train = cifar10.CIFAR10(which_set="train", one_hot=True) File "/usr/local/lib/python2.7/dist-packages/pylearn2-0.1dev-py2.7.egg/pylearn2/datasets/cifar10.py", line 67, in __init__ data = CIFAR10._unpickle(fname) File "/usr/local/lib/
Deep Learning リンク集 - 人工知能に関する断創録
乗るしかないこのビッグウェーブに Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。本ブログでは、当面の間、Theanoを使って各種Deep Learningアルゴリズムを実装していきたいと思います。 関連ニュースなどはTwitterでも流しているので興味があったらフォローしてください。 すべてに目が通せず更新が追いついていません。私のはてなブックマークで[Deep Learning]というタグを付けて登録しています。まったく整理できていませんがご参考まで。 Theano編 TheanoをWindowsにインストール（2015/1
Hello Autoencoder — KiyuHub
Hello Autoencoder 最近，身内でDeep Learningを題材に含んだ勉強会を行なっている． メインは専門である自然言語処理まわりだが， とりあえず実装(というよりnumpy)の導入になる上，結果を視覚化できることから， 画像データを利用したAutoencoderの実装について取り扱った． 軽い説明と共にコードと，色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で，基本的には 入力層と出力層のユニット数が同じである． 教師信号として入力そのものを与える． という特徴を持つ． 入力と出力が共に4次元で，隠れ層が2次元なAutoencoderの図 Autoencoderは，入力の情報をを一度隠れ層の空間に写像(encode) したあと， 元の信号を復元(decode)するようなパラメータを学習する． 図のように，もしも隠れ
はじめるDeep learning - Qiita
そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを元にモデルを構築することになります。ちょうど関数の引数を決めるようなイメージです。 ところが、Deep learningではこの特徴抽出もモデルにやらせてしまいます。というか、そのために多層、つまりDeepになっています。 具体的には頭のあたりの特徴、腰のあ
C++による多層パーセプトロンの実装 - kivantium活動日記
注意：このページの実装は古いものです。更新はkivantium/libNN · GitHubで行っています 前回の記事でPylearn2というDeep learningライブラリを導入しましたが、導入したもののどうやって使えばいいのかが全く分からず使用を断念しました。他にもCaffeなどいくつか実装があるようですが、どれもよく分かりませんでした。 「ライブラリがないなら作ればいいじゃない」と脳内マリー・アントワネットが語りかけてきたので、自分で実装するという茨の道を選ぶことにしました。 というわけでDeep learning実装の第一歩としてニューラルネットワークの基本になる多層パーセプトロンの実装を行いました。多層パーセプトロンはご注文は機械学習ですか？で使った分類器です。OpenCVに用意されているので車輪の再発明になりますが、勉強としてはちょうどいいでしょう。 多層パーセプトロンとは
Azureでお手軽ディープラーニング - 盆栽日記
Microsoft Azure でもDeep learningできるということで試したのでメモ。 MNIST 103MBのデータで以下のConvolution and pooling deep netを回して25分くらいかかった。 http://gallery.azureml.net/Details/7d3f74981b5b42cd9687370671c86696 Azure Machine learningを使うには Microsoft Azureは今なら30日間無料なので登録すればすぐに使える。 @ITの入門記事を読みながらポチポチやればすぐに使い方は把握できる。 http://www.atmarkit.co.jp/ait/kw/ait_azureml_intro.html なお、サンプルコードが大量に用意されてて圧倒される。 今回のDeep learningもサンプルコードから実行し
Vol.29.No.4 (2014/07) Deep Learning – 人工知能学会 (The Japanese Society for Artificial Intelligence)
中山浩太郎（東京大学 知の構造化センター） はじめに 「Deep Learningに関するブックマークの記事を書いてほしい」 原稿依頼を受けたときはあまり深く考えず引き受けたのだが、いざ執筆する段階になって、学会誌という永続性の高い紙媒体でWebブックマークのような不確実性の高い（永続性が保証されない）情報を残す場合、どのようなスタイルで提供すれば読者に役に立つ情報になるのか考させられた。そもそもブックマークは往々にして単なるリンクの羅列であり、結局どのリンクが重要なのか、読者が判断するという形式だ。これではリンクを開いてがっかりする読者が多くなってしまうのではないかと危惧した。そのため、個人的に重要度の高いと思うものを絞り込んで、説明文とともに少し長めの紹介していくという形式を取りたい。これは、重要なものはリンクとしては消えにくいだろうという仮説と、重要かどうかの判断材料になればという期
人工知能学会誌 連載解説「Deep Learning（深層学習）」
人工知能学会監修『深層学習 — Deep Learning』出版の案内 本連載解説の記事を加筆・再編集した書籍『深層学習 — Deep Learning』を近代科学社から2015年10月31日に出版しました． 監修：人工知能学会 著者：麻生 英樹，安田 宗樹，前田 新一，岡野原 大輔，岡谷 貴之，久保 陽太郎，ボレガラ・ダヌシカ 編集：神嶌 敏弘 出版：近代科学社 出版社のページ サポートページ 人工知能学会誌 連載解説「Deep Learning（深層学習）」 現在では記事は無料で公開されています． 安田 宗樹「ディープボルツマンマシン入門 : ボルツマンマシン学習の基礎」人工知能学会誌 Vol.28 No.3 (2013年5月) 麻生 英樹「多層ニューラルネットワークによる深層表現の学習」人工知能学会誌 Vol.28 No.4 (2013年7月) 岡野原 大輔「大規模Deep Lear
Neural networks and deep learning (ニューラルネットワークと深層学習)
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
CaffeでDeep Q-Networkを実装して深層強化学習してみた - 学生時代に頑張ったことが何もない
概要 深層学習フレームワークCaffeを使って，Deep Q-Networkという深層強化学習アルゴリズムをC++で実装して，Atari 2600のゲームをプレイさせてみました． Deep Q-Network Deep Q-Network（以下DQN）は，2013年のNIPSのDeep Learning Workshopの"Playing Atari with Deep Reinforcement Learning"という論文で提案されたアルゴリズムで，行動価値関数Q(s,a)を深層ニューラルネットワークにより近似するという，近年の深層学習の研究成果を強化学習に活かしたものです．Atari 2600のゲームに適用され，既存手法を圧倒するとともに一部のゲームでは人間のエキスパートを上回るスコアを達成しています．論文の著者らは今年Googleに買収されたDeepMindの研究者です． NIPS
Theano で Deep Learning <1> : MNIST データをロジスティック回帰で判別する - StatsFragments
概要 ここ数年 Deep Learning 勢の隆盛いちじるしい。自分が学生の頃は ニューラルネットワークはオワコン扱いだったのに、、、どうしてこうなった？自分もちょっと触ってみようかな、と記事やらスライドやら読んでみても、活性化関数が〜 とか、 制約付き何とかマシンが〜（聞き取れず。何か中ボスっぽい名前）とか、何言っているのかよくわからん。 巷には 中身がわかっていなくてもある程度 使えるパッケージもいくつかあるようだが、せっかくなので少しは勉強したい。 Python 使って できんかな？と思って探してみると、すでに Theano というPython パッケージの開発チームが作った DeepLearning Documentation 0.1 という大部の聖典 (バイブル) があった。 当然だがこの文書では Theano の機能をいろいろ使っているため、ぱっと見では 何をやってんだかよく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learningと画像認識� �～歴史・理論・実践～
GitHub - yusugomori/DeepLearning: Deep Learning (Python, C, C++, Java, Scala, Go)
Deep learning at Oxford 2015
Amazon.co.jp：深層学習 (機械学習プロフェッショナルシリーズ)
TechCrunch | Startup and Technology News
