Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ 重要と思った部分だけ独断で抽出しています. 本当にメモ書き程度です. すみません. 間違っている記述があるかもしれません. 心眼で書いている部分があるかもです. Score matchingのくだりは正直よくわかっていないです. 18.Confronting the Partition Function 16章でやったように(無向グラフィカルモデルとかでは)規格化されていない確率分布がよく現れる. このとき規格化するためには積分をする
[Survey]Deep Residual Learning for Image Recognition - Qiita
Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun ImageNetのCompetitionで１位になったMSRAの論文 ・network層をdeepにすることは性能向上に欠かせない。 ・しかし、Deepにすると性能が向上せずに悪くなることが知られている。（下のグラフ） ・これらはOverfittingによるものではなく、勾配が０になったり、発散したりするため。 これを解決しようというのがこの論文の趣旨 Residual Network 普通のNetwork $H(x)$が所望するmapping(求めたい変換） 2 weight layerをH(x)になるように学習する Residual Network ・$x$をshortcutして足し合わせると$H(
![[Survey]Deep Residual Learning for Image Recognition - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a48b78f82a56c4ab5e21ed9ff2cd69da3d8dc87/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU3VydmV5JTVERGVlcCUyMFJlc2lkdWFsJTIwTGVhcm5pbmclMjBmb3IlMjBJbWFnZSUyMFJlY29nbml0aW9uJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGU3YWQ3NjE3MGNmODk3MjdhZDQ3NzFlNjFiMzY3NTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D965305d6f3a34060f9959cf169c1d6a1)
Convolutional Neural Networkを実装する - Qiita
Deep Learning系のライブラリを試すのが流行っていますが、Exampleを動かすのはいいとしても、いざ実際のケースで使おうとするとうまくいかないことがよくあります。 なんとか動かしてみたけれど精度が出ない、データの加工の仕方が悪いのか、モデルのパラメーターが悪いのか、原因がぜんぜんわからん・・・という事態を乗り越えるには、やはり仕組みに対する理解が必要になってきます。 そんなわけで、本編では画像の用意という一番最初のスタートラインから、Chainerで実装したCNNを学習させるところまで、行うべき手順とその理由を解説していきたいと思います。 前段として理論編を書いていますが、ここではライブラリなどで設定しているパラメーターが、理論編の側とどのようにマッチするのかについても見ていきたいと思います。 なお、今回紹介するノウハウは下記リポジトリにまとめています。画像認識を行う際に役立て
Try SensorBee - No.1 - Qiita
SensorBee オフィシャルサイト： http://sensorbee.io/ github： https://github.com/sensorbee/sensorbee SensorBeeはPreffered Networksさんが先日発表したStreaming ETL(Extract/Transform/Load)のためのOSSです。 ニュースリリースの中でそのコンセプトを以下の様に説明されています。 SensorBeeはネットワークのエッジやフォグで発生する非構造化ストリームデータに対して継続的に機械学習を適用し、その結果を既存のデータベースやデータ分析システムに転送したり、直接ロボットなどにフィードバックして制御を行うために開発されました。機械学習ではChainerをサポートすることにより、deep learningのストリームデータへの適用が可能となっています。またJuba
[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio BinaryNetは、weightとactivationを2値化したhardware friendlyな**DNN(Deep Neural Network)**です。 論文ではactivationと書かれていますが、たぶん活性化関数の出力のことかなと思います。 要は重みにかけられる方の値です。 これにより以下の特徴が得られます。 ・１bitなのでメモリを劇的に減らせる ・掛け算器をXNORに置き換えられる（回路規模、処理
![[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/48a0ffde6db922b87641f48eb4643e97e91203f1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU3VydmV5JTVEQmluYXJpemVkJTIwTmV1cmFsJTIwTmV0d29ya3MlM0ElMjBUcmFpbmluZyUyMERlZXAlMjBOZXVyYWwlMjBOZXR3b3JrcyUyMHdpdGglMjBXZWlnaHRzJTIwYW5kJTIwQWN0aXYlRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz05MDFkNTZkNDk3OTBkODE1YThlOTJjYjg2MmM0NjdlMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5df87237f12a9c671432e8ae8c8f7ad3)
Convolutional Neural Networkとは何なのか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定な
~Pythonistaより愛をこめて贈るPython入門者のためのTips①~ - Qiita
動機 Liaroで代表取締役をやりながら#HiveShibuyaで窓際戸締役をしている@hanaken_Nirvanaです。 会社では動画のレコメンドアプリを開発しているのですが、API〜レコメンドエンジンまで(DeepLearning※, NLP含めて)基本的にPythonで書いています(ところどころScalaですが...)。 スタートアップ界隈でいうとRoRが多くPython人口も増えてほしいなぁーと思っていたのですが、『人工知能うぇい！』ブームにのってかPython教えて欲しいと言われることが度々あるので、その時のためにメモがてらPython初心者向けにPythonっぽい文法を中心に書こうかと思います。 まぁ偉そうに言っても僕もPython contributorでもないでもない、ただのPythonユーザーなんで間違いがあったらジャンジャン指摘して欲しいですʕº̫͡ºʔ ※ Deep
TensorFlowをAWS GPUで使ってみました - Qiita
先月、Googleが開発した人工知能ライブラリTensorFlowをオープンソースした訳ですが、一つの特徴としてはGPUを使って処理もできる、とのことです。少しだけ調べたところGPUの利用はLinuxのみだが、GPUの計算を使ってみたいとのことでAWSでの利用を試してみました。 TensorFlowとは？ TensorFlowの主要な一つのユースケースはディープラーニング/ニューラルネットワークの実装ですが、その使い方もできれば、もっと一般的にデータフローグラフで表現可能な計算に何でも使えるものです。あらかじめデータフローグラフとして構成することにより、複数のデバイスによる並列計算、GPUを使った処理の高速化等が可能のようです。 TensorFlowをGPUで動かしたい理由 最近どこかで読んだがディープラーニング系の処理やBitcoinマイニングでも、GPUを使うと効率的なようです。GPU
ディープラーニングの有名ライブラリ5種を最短距離で試す半日コース（TensorFlow, Chainer, Caffe, DeepDream, 画風変換） - Qiita
「いつか勉強しよう」と人工知能／機械学習／ディープラーニング（Deep Learning）といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ／フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種（DeepDream、chainer-gogh）。 （DeepDreamで試した結果画像） タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕
最新の画像生成技術に衝撃を受けたので、その基礎技術をTensorFlowで実装してみる - Qiita
ここがすごい、DCGAN 概要 写真と見間違えるこの画像、 引用元：dcgan_code 実は機械学習により生成したものらしいです。 DCGAN(Deep Convolutional Generative Adversarial Network)というプロジェクトにて公開されている技術です。 概念の「演算」もできる どういうことかと言うと・・・ 引用元：dcgan_code このように概念を組み合わせて新たな画像を生成することもできるらしいです。 この記事では、なぜこのようなことが実現できるのか理解するために、TensorFlowでDCGANに使われている基礎的な技術を実装してみました。 DCGANの技術を分解 DCGANの頭文字を分解すると・・・ Deep : 今流行りのDeep Learning Convolutional : 画像認識の分野で大きな成果を上げている畳み込みネットワーク
機械学習と戯れる：Q-Learningでマーケティング系のActionを行うべきかの判断ができるか？ - Qiita
はじめに 以前 足し算ゲームを強化学習で学習できるか？ を試してみて、問題なく学習ができました。 今回はもう少し現実的な問題を想定してみようと思います。 Webサイトに来るユーザに対して、Webサイト運営者が「あるアクション(メール？クーポン？など）」を起こすと、望ましい行動(そのユーザが何か購入するなど)を取る、とします その時、どのユーザにどのタイミングでどのアクションを取ればいいか、を知りたい という問題があります。 まあ、メールぐらいなら全員に送れば良いじゃん的な話はありますが、送りすぎると離脱に繋がりますし、クーポンはコストもかかるのであまり乱発したくはないです。 この問題を Q-Learning的な枠組みでやったらどうなるのだろうか、というのが今回のお題です。 Q-Learningだと、アクションが複数になっても対応できるのが良い所です。 といっても、簡単な完全に仮想的なシチュ
【 自律学習型人工知能 事例調査 】 東工大 長谷川研究室 発の「SOINN」（自己増殖型ニューラルネットワーク）がすごい - Qiita
Neural Gas と 呼ばれる 「自己組織化マップ」（ SOM ） に 似た、ある種の 多次元データ の 次元圧縮器 を 拡張 した アルゴリズムのようです。 知識ベースの自動拡張 のみならず、入力情報から マルチモーダルなパターン自動抽出・自律学習 までも実現した上に、スマートフォンなどの携帯端末にも収まる容量というのが、画期的だ。 その仕組みについて、今後 詳しく調べて学び取っていきたい。 HASEGAWA LAB. SOINN：Self-Organizing Incremental Neural Network SOINN とは？ 自己増殖型ニューラルネットワーク（SOINN）は，Growing Neural Gas（GNG）と自己組織化マップ (SOM) を拡張した，追加学習可能なオンライン教師なし学習手法です． 具体的には，非定常（動的に形状が変化する）で，かつ複雑な形状を持
DeepLearningフレームワークCaffeをCPU modeでMacにインストールする方法 - Qiita
※この情報は2015/07/04のものです、Caffeは非常に更新速度が早いため現在動作するかは分かりません。 Caffeとは 最近話題のDeep Learningのオープンソースなフレームワークです。 カリフォルニア大学バークレー校の院生が作り始めたそうです、凄い！ 公式ホームページはこちら、C++、PythonやMATLABで使えるので得意な方を選んで使えます。 更新が非常に早いので最新の情報を追ってみると面白そうです。 ここから画像分類のデモが見られるので、気になる方は試してみてください。 Caffeを使おうと思った背景 Deep Learningを勉強し始めた当初は関数型言語だし普段使っているからScalaでDeep Learningやる！とか甘い考えで色々試していましたが、ある時画像処理や機械学習のライブラリ、フレームワークがPythonなどの言語と比較して圧倒的に少ないことに気
deepdream を動かしてみる - Qiita
Google の deep learning のきもいやつ、deepdream を動かしてみる。 環境は OS X 10.10.4, iMac (27-inch, Late 2012), NVIDIA GeForce GTX 675MX 1024 MB。 まず Caffe インストール ここ参考に。 http://caffe.berkeleyvision.org/installation.html http://caffe.berkeleyvision.org/install_osx.html CUDA 最新版の 7 が strongly suggested https://developer.nvidia.com/cuda-downloads Caffe は Anaconda の Python がいいつってるので、そっちいれる。 http://continuum.io/downloads
chainerを使って回帰してみると、ちょっとはまる - Qiita
概要 はじめまして、qiitaに初投稿です。至らぬところが多いと思います。 ニューラルネットワークのフレームワークのサンプルコードは大体分類問題で、回帰の例があまりないのでトライしてみました。 はまる箇所がありました。上手な書き方を知りたいので、投稿します。 **theanoだと同等の事をするのに1000行以上書きましたが、chainerだと98行でした。**chainerに移行します。 GPUでも問題なく動きました。 結論: chainerすごい ソースコード chainer/example/train_mnist.pyをちょっと変えたらできました(変更点は後ろに挙げました)。 Gistに挙げました。 はまった箇所 回帰問題の場合、正解データのshapeが(データ数,)だと,batchsizeが2以上の時になぜかnumpyのbroadcastingがうまくいきません。 reshapeで(
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.c
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/conjugate_box/items/a5efcbe7d9be977367b8
TensorFlow: Pythonで学習したデータをAndroidで実行 - Qiita
Neural Networkをちょっとかじった人のための、はじめてのTensorFlow - Qiita
