DPMから学ぶノンパラベイズの思想 - nozyhの日記
はじめまして。そろそろ何かしら情報を発信していく必要性を感じたため、主に研究関連で、まとまったことがあれば記事にしていくことにしました。どれだけ更新出来るかは謎ですが。今回は、ノンパラベイズの基本をディリクレ過程を中心にまとめます。 機械学習におけるノンパラベイズは、出て来てから10年以上経っていることもあり、大分一般的な話題になってる気がしますが、例えばブログできちんと分かりやすく説明したものってほとんどないように思います。僕がそもそも研究系のブログをあまりチェックしないというのもあるかもしれないですが、、、。個人的には去年の夏頃からの卒論で、Tehや持橋さんなどの論文を泣きながら読みつつ理解出来なかったので、その時の気持ちを思い出しながら書いてみたいと思います。例えばディリクレ過程（以下DP）を理解しようとして論文など読むと、DPはCRPと等価であるとか、SBPと等価であるとか書いてあ
ノンパラメトリックベイズ
• – • • – • • } , , , { 2 1 N X x x x L = ) | ( Θ X p Θ • – • – ) | ( Θ X p ) | ( Θ x p ∏ = = Θ 6 1 ) | ( k x k k p θ x } , , , , , { 6 5 4 3 2 1 θ θ θ θ θ θ = Θ ∏∏ = = = Θ N n k x k k n X p 1 6 1 , ) | ( θ 1 ) | ( 6 1 = = Θ ∑ ∫ = k k d p θ x x } , , , { 2 1 N X x x x L = n x • – • – • Θ Θ ) | ( X p Θ ) | ( X p Θ • } , , , , , { 6 5 4 3 2 1 θ θ θ θ θ θ = Θ ∏∏ = = = Θ N n k x k k n X p 1 6 1 , ) |
RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
Kaggle CIFAR-10の話 - デー
以前、Kaggle CIFAR-10 に参加していると書きましたが、これが2週間ほど前に終わりました。コンペはまだ Validating Final Results の状態なのですが、2週間たっても終わらず、いつ終わるのか謎なのと、多分結果は変わらないと思うので先に書きます。 CIFAR-10は、次のような32x32の小さな画像にネコ、犬、鳥など10種類の物体が写っているので、与えられた画像に何が写っているか当てる問題です。 （Kaggle CIFAR-10のデータセットは、通常のCIFAR-10と結果の互換性がありますが、チート防止に画像のハッシュ値が変わるように改変されているのと、テストセットに29万枚のジャンクイメージが含まれています。） 自分の結果は、0.9415 (正解率94.15%)で、Classification datasets results によると、state-of-
CIFAR-10 - 人工知能に関する断創録
MNISTの数字画像はそろそろ飽きてきた（笑）ので一般物体認識のベンチマークとしてよく使われているCIFAR-10という画像データセットについて調べていた。 このデータは、約8000万枚の画像がある80 Million Tiny Imagesからサブセットとして約6万枚の画像を抽出してラベル付けしたデータセット。このデータセットを整備したのは、SuperVision（またはAlexNet）と呼ばれる畳み込みニューラルネットワークを使ってILSVRC2012で優勝したAlex Krizhevskyさんとのこと。こういう泥臭い仕事もしていたなんて尊敬する。 CIFAR-10の元となる80 Million Tiny Imagesは類似画像検索（2009/10/3）で少し言及したことがあった。初出はこの論文（PDF）だと思うけれど、最初に読んだときいろいろな画像があってとてもわくわくし、いつか使っ
画風を変換するアルゴリズム - Preferred Networks Research & Development
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
パッケージユーザーのための機械学習：教師あり学習同士で分離超平面・決定境界を比較してみる - 渋谷駅前で働くデータサイエンティストのブログ
このシリーズ記事では、Rで*1色々な機械学習のアルゴリズムについて、それらがどんなものなのかを簡単なデータに対して分離超平面・決定境界を描きながら見てきました。 パッケージユーザーのための機械学習(1)：決定木 - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(2)：ロジスティック回帰 - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(3)：サポートベクターマシン(SVM) - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(4)：ニューラルネットワーク - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(5)：ランダムフォレスト - 銀座で働くデータサイエンティストのブログ ということで今回はおさらいとして、これまで見てきた教師あり学習同士で分離超平面・決定境界のプ
Deep Learningの技術と未来
PFIセミナー2013年6月6日分です。Deep Learningの技術的基礎からBengioの怪しげな妄想まで。
実装ディープラーニング
はじパタLT資料です。ディープラーニングのライブラリの使い方が知りたい方は15ページからご覧ください。
節操の無いクソイナゴ野郎なのでdeep learningで使われるautoencoder実装した - 糞糞糞ネット弁慶
身内でdeep learningの勉強会をやったらできそうだったので実装した． 読んだのは大体ここらへん． NEURAL NETS FOR VISION(CVPR2012 tutorial) CS294A Lecture notes Sparse autoencoder ImageNet Classification with Deep Convolutional Neural Networks autoencoder autoencoderはunsupervised feature learningの一種．Convolutional Neural Netとは違って，最後の判別器の予測誤差をback propagationさせる，という事はせずある種特徴抽出で完結させている． autoencoderを一言でまとめると，「次元削減を繰り返すNeural Netを多段に繋げて特徴抽出を行う手法
パターン認識と機械学習（PRML）まとめ - 人工知能に関する断創録
2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。 PRMLのPython実装 PRML読書中（2010/3/26） 多項式曲線フィッティング（2010/3/27） 最尤推定、MAP推定、ベイズ推定（2010/4/4） 分類における最小二乗（2010/4/
scikit-learnでサポートベクトル回帰、及びそのパラメーター推計 with クロスバリデーションやってみる - My Life as a Mock Quant
サポートベクトル回帰(Support Vector Regression, SVR)の理論が大体脳内整理出来たので、実践もしたいぞと、そしてちょいとpythonを使う別件があるので、慣れの意味も込めてR言語ではなくpythonとその機械学習ライブラリであるscikit-learnを使ってやるぞとそういうことです。 scikit-learn自体のインストールはこの記事の最下部にある日本語のLINKを見れば良いと思う。 俺はpip使ってインストールしたような気がするけど、なにぶんずいぶんと昔なので忘れてしまった。pipで入れるなら pip install scikit-learnでOK。裏でコンパイルが走っていたような記憶があるので、C++のコンパイラいれておかないとだめかも。 windows用のバイナリファイルだと Scikit Learn - Browse Files at SourceF
[scala][advent]Scalaは機械学習に使えるかな? #scalaadvent2011
これはScala Advent Calendar jp 2011の20日目の記事です．今日は12月20日，企画も終盤．ここではScalaと機械学習について書きます．機械学習をあまり知らない人たちのために，そちらの解説も入れておきました． 機械学習について簡単に 詳しい説明は朱鷺の杜に譲るとして，簡単に言うと，私たち人が普通に行なっている「学習」というものを情報屋さん的に扱った学問領域のことです．「情報の中から，有益そうな知識を獲得していく過程」をコンピュータで実現させることを目指してます．実際には，数値・文字・画像・音声などのデータの中から，規則性とか知識とかを発見して役に立てよう〜としています． こういう領域でデータを扱うには，データをベクトルにして行列とか使ってどうたら…ってやるわけです．なぜかというと，数値はもちろん，画像とか音声というのは全部コンピュータの中ではベクトルで書けてしま
![[scala][advent]Scalaは機械学習に使えるかな? #scalaadvent2011](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f1d9d10d7c82d0fa22c17e925b3106ddd6166dd/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51FgSThMzVL._SL160_.jpg)
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
ビタビアルゴリズム - Wikipedia
ビタビアルゴリズム（英: Viterbi algorithm）は、観測された事象系列を結果として生じる隠された状態の最も尤もらしい並び（ビタビ経路と呼ぶ）を探す動的計画法アルゴリズムの一種であり、特に隠れマルコフモデルに基づいている。観測された事象系列の確率計算のアルゴリズムである 前向きアルゴリズム（英: forward algorithm）も密接に関連している。これらのアルゴリズムは情報理論の一部である。 このアルゴリズムには、いくつかの前提条件がある。まず、観測された事象と隠されている事象は1つの系列上に並んでいる。この系列は多くの場合時系列である。次に、これら2つの並びには一対一の対応があり、1つの観測された事象は正確に1つの隠されている事象に対応している。第三に、時点 での最も尤もらしい隠されている事象の計算は、 での観測された事象と での最も尤もらしい隠された事象の系列のみに依
sage/SVMで画像認識 - PukiWiki
2010/03/16からのアクセス回数 14529 このページのsageノートブックは、以下のURLにあります。 http://www.sagenb.org/home/pub/1762 はじめに † SVMは、オーバーフィッティングを避けて効率よく識別関数を求めることができる 手法です。 「集合知」の9章で紹介されているSVMをSageを使ってまとめてみます。 ↑ 簡単な例題 † いきなりSVMに進む前にクラス分けを簡単な例を使って解いてみます。 下図は、赤（-1）のグループと青（1）のグループの分布です。 sageへの入力: # 線形クラス分類の例 # データの用意 c1 = [[1,2],[1,4],[2,4]] c2 = [[2,1],[5,1],[4,2]] # プロットして分布を確認 pl1 = list_plot(c1, rgbcolor='red') pl2 = list_p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【勉強会】自己組織化マップ（SOM）
二項分布のMCMC – 環境マーケティング論分野
「入門 機械学習」が発売されました！ - nokunoの日記
http://googleads.g.doubleclick.net/pagead/ads?client=ca-pub-5203428669823392&output=html&h=36&slotname=8452755623&w=960&ea=0&color_bg=3B3835&color_border=3B3835&flash=11.6.602&url=http%3A%2F%2Fwww.slideshare.net%2FKojiSekiguchi%2Fhmm-viterbi-14411723&dt=1