Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ 重要と思った部分だけ独断で抽出しています. 本当にメモ書き程度です. すみません. 間違っている記述があるかもしれません. 心眼で書いている部分があるかもです. Score matchingのくだりは正直よくわかっていないです. 18.Confronting the Partition Function 16章でやったように(無向グラフィカルモデルとかでは)規格化されていない確率分布がよく現れる. このとき規格化するためには積分をする
Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun ImageNetのCompetitionで1位になったMSRAの論文 ・network層をdeepにすることは性能向上に欠かせない。 ・しかし、Deepにすると性能が向上せずに悪くなることが知られている。(下のグラフ) ・これらはOverfittingによるものではなく、勾配が0になったり、発散したりするため。 これを解決しようというのがこの論文の趣旨 Residual Network 普通のNetwork $H(x)$が所望するmapping(求めたい変換) 2 weight layerをH(x)になるように学習する Residual Network ・$x$をshortcutして足し合わせると$H(
Deep Learning系のライブラリを試すのが流行っていますが、Exampleを動かすのはいいとしても、いざ実際のケースで使おうとするとうまくいかないことがよくあります。 なんとか動かしてみたけれど精度が出ない、データの加工の仕方が悪いのか、モデルのパラメーターが悪いのか、原因がぜんぜんわからん・・・という事態を乗り越えるには、やはり仕組みに対する理解が必要になってきます。 そんなわけで、本編では画像の用意という一番最初のスタートラインから、Chainerで実装したCNNを学習させるところまで、行うべき手順とその理由を解説していきたいと思います。 前段として理論編を書いていますが、ここではライブラリなどで設定しているパラメーターが、理論編の側とどのようにマッチするのかについても見ていきたいと思います。 なお、今回紹介するノウハウは下記リポジトリにまとめています。画像認識を行う際に役立て
SensorBee オフィシャルサイト: http://sensorbee.io/ github: https://github.com/sensorbee/sensorbee SensorBeeはPreffered Networksさんが先日発表したStreaming ETL(Extract/Transform/Load)のためのOSSです。 ニュースリリースの中でそのコンセプトを以下の様に説明されています。 SensorBeeはネットワークのエッジやフォグで発生する非構造化ストリームデータに対して継続的に機械学習を適用し、その結果を既存のデータベースやデータ分析システムに転送したり、直接ロボットなどにフィードバックして制御を行うために開発されました。機械学習ではChainerをサポートすることにより、deep learningのストリームデータへの適用が可能となっています。またJuba
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定な
動機 Liaroで代表取締役をやりながら#HiveShibuyaで窓際戸締役をしている@hanaken_Nirvanaです。 会社では動画のレコメンドアプリを開発しているのですが、API〜レコメンドエンジンまで(DeepLearning※, NLP含めて)基本的にPythonで書いています(ところどころScalaですが...)。 スタートアップ界隈でいうとRoRが多くPython人口も増えてほしいなぁーと思っていたのですが、『人工知能うぇい!』ブームにのってかPython教えて欲しいと言われることが度々あるので、その時のためにメモがてらPython初心者向けにPythonっぽい文法を中心に書こうかと思います。 まぁ偉そうに言っても僕もPython contributorでもないでもない、ただのPythonユーザーなんで間違いがあったらジャンジャン指摘して欲しいですʕº̫͡ºʔ ※ Deep
環境 Dockerで新しく作成したUbuntuコンテナ CentOS release 6.6 Docker version 1.3.2, build 39fa2fa/1.3.2 Ubuntu 14.04 Caffe 3e12d49324793d4798ee10bb6ef6a1c1b7633baf (git log | head -n 1) Pylearn2 9870dec593c71c194ebc2044973f65acc32c8675 Docker Hub とりあえずお試しで使ってみたいという方に向けて、Caffe(python wrapper含む), Pylearn2のそれぞれの環境構築を行ったDockerコンテナをDocker Hubに公開しました。 詳細はリポジトリのInformationをご参照下さい。 Caffe
「いつか勉強しよう」と人工知能/機械学習/ディープラーニング(Deep Learning)といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ/フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種(DeepDream、chainer-gogh)。 (DeepDreamで試した結果画像) タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕
ChainerでAutoencoderを試してみる記事です。前回の記事、「【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。」の続きとなります。ディープラーニングの事前学習にも使われる技術ですね。 本記事で使用したコードはコチラから取得できます。 1.最初に# AutoencoderとはAuto(自己) encode(符号化)er(器)で、データを2層のニューラルネットに通して、自分自身のデータと一致する出力がされるようパラメーターを学習させるものです。データだけあれば良いので、分類的には教師なし学習になります。 学習フェーズ こんなことをして何が嬉しいのかというと、 入力に合わせたパラメーター$w_{ji}$を設定できる。(入力データの特徴を抽出できる) その入力に合わせたパラメーターを使うことでディープなニューラルネットでの学習を可能にする(ランダム
$ python Python 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import tensorflow as tf I tensorflow/stream_executor/dso_loader.cc:77] LD_LIBRARY_PATH: /usr/local/cuda-7.0/lib64: I tensorflow/stream_executor/cuda/cuda_dnn.cc:1062] Unable to load cuDNN DSO. >>> hello = tf.constant('Hello, TensorFlow!') >>> sess
※この情報は2015/07/04のものです、Caffeは非常に更新速度が早いため現在動作するかは分かりません。 Caffeとは 最近話題のDeep Learningのオープンソースなフレームワークです。 カリフォルニア大学バークレー校の院生が作り始めたそうです、凄い! 公式ホームページはこちら、C++、PythonやMATLABで使えるので得意な方を選んで使えます。 更新が非常に早いので最新の情報を追ってみると面白そうです。 ここから画像分類のデモが見られるので、気になる方は試してみてください。 Caffeを使おうと思った背景 Deep Learningを勉強し始めた当初は関数型言語だし普段使っているからScalaでDeep Learningやる!とか甘い考えで色々試していましたが、ある時画像処理や機械学習のライブラリ、フレームワークがPythonなどの言語と比較して圧倒的に少ないことに気
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです! Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.c
( スライド共有プラットフォーム SpeakerDeck 掲載先 へのリンク ) (参考)この記事の内容と協働できるかもしれない勉強会の発表スライド (SlideShare)Yoichiro Miyake氏 『人工知能のための哲学塾 第一夜「フッサールの現象学」 資料 (全五夜+第零夜)』 Deep Learning アルゴリズムを、身体と視覚・音声・感熱・感圧などの複数のセンサーを搭載したマルチモーダルなエージェントマシンに搭載することで、「見た目」・「発する音」・「温かさ・冷たさ」・「手触り」などの全体的な感覚イメージを、「猫」や「人間」・「りんご」などの物の物体概念に結びつけあわせる知能(知性)を、構成論的に再現する道が開けました。 では、そのエージェントに、『感覚をもった物体概念』を自分が持つにいたったことを、「意識」させるところまで、構成論的アプローチによる人間知性の再現の歩みを
表題のとおり、以下、関数型プログラミング、Deep Learningの次にくるデータ解析アルゴリズム、「意識」をもった人工知能の創出、金融・生命科学シミュレーションの最先端を切り開くハイエンド人材になるために必要な数学を整理してみました。 「プログラミング・データ解析の先端領域」別 役に立つ「数学の領域名」 【 群論・圏論 】 (1)関数型プログラミング言語、関数型プログラミング 圏論の歩き方委員会(編)『圏論の歩き方』日本評論社 WIKIBOOKS 「Haskell/圏論」 (Wikipedia)CPL(圏論プログラミング言語) (SlideShare)Masahiro Sakai 「Introduction to Categorical Programming (Revised)」 Hatena::Diary (2013/3/13)『「ラムダ計算」を独学で学習するための,講義ノートやP
この投稿は Machine Learning Advent Calendar と ML Advent Calendar の18日目の記事です. 今日は関数型プログラミング言語 OCaml と線形代数演算ライブラリ SLAP を使った型安全なニューラルネットワークの実装について書きたいと思います.最近,深層学習とかいうニューラルネットの応用が流行っていますし,一方で,関数型プログラミング言語とかいうのも流行っているので,2つの流行に(むりやり同時に)のってみました. 私はOCaml を使って,次元の合わない行列演算をコンパイル時に検出する機能を持った変な線形代数演算ライブラリ Sized Linear Algebra Package (SLAP) を作っています.世の中には便利な線形代数ライブラリ(BLAS とか LAPACK とか)や数値計算言語(MatLab とか R とか)が沢山ありま
はじめに 近年Deep Learningへの注目が高まっていますが、多くの場合膨大なデータを必要とすること、学習にはGPU計算環境が必要であったりなど、独特の敷居の高さがあります。この記事では、この敷居を大きく下げるであろうCaffeについて紹介します。ただ、Caffeを紹介する記事はすでに良いものがたくさんあり、そもそも公式documentがかなり充実しているので、今回は躓きやすい部分や他の記事があまり触れていない部分を中心に紹介していきます。 Caffeって何? CaffeはDeep Learningのフレームワークの一つです。Deep Learningは一般に実装が難しいとされていますが、フレームワークを使えばかなり手軽に扱うことができます。 代表的なフレームワークには、 Caffe theano/Pylearn2 Cuda-convnet2 Torch7 などがあります。この中でも
とりあえず読んでみたい、という方は:「ニューラルネットワークと深層学習」日本語訳のページをご覧ください。 Deep Learningってのがマジヤバイらしい・・・でも、取っかかりがつかめない・・・ ここ最近、Deep Learningの盛り上がりが凄いですね。私の中でも、深層学習を覚えなきゃ、置いてかれてしまい、ついには自分の仕事までAIに奪われるのでは、という危機感と、逆に今Deep Learningを使えるようになれば未来の発明者になれるのでは、という期待感が高まり、Deep Learningを勉強しなくては、と思い続けていました。 しかしながら、私はDeep Learningがどうしても理解できませんでした。これまで何十種類ものDeep Learningの教材を試してきました。しかし、Deep Learningがどうしても理解できませんでした。しかし、世の中にある文書で、なかなかとっ
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く