DPMから学ぶノンパラベイズの思想 - nozyhの日記
はじめまして。そろそろ何かしら情報を発信していく必要性を感じたため、主に研究関連で、まとまったことがあれば記事にしていくことにしました。どれだけ更新出来るかは謎ですが。今回は、ノンパラベイズの基本をディリクレ過程を中心にまとめます。 機械学習におけるノンパラベイズは、出て来てから10年以上経っていることもあり、大分一般的な話題になってる気がしますが、例えばブログできちんと分かりやすく説明したものってほとんどないように思います。僕がそもそも研究系のブログをあまりチェックしないというのもあるかもしれないですが、、、。個人的には去年の夏頃からの卒論で、Tehや持橋さんなどの論文を泣きながら読みつつ理解出来なかったので、その時の気持ちを思い出しながら書いてみたいと思います。例えばディリクレ過程（以下DP）を理解しようとして論文など読むと、DPはCRPと等価であるとか、SBPと等価であるとか書いてあ
A Bayesian Nonparametric Approach to Image Super-resolution « 谷口忠大HomePage (たにちゅーのＨＰ) — tanichu.com –
新着記事 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2014-12-31 2014年は出版ラッシュでしたよ． 2014-12-31 www.tanichu.com 2013-04-19 ビブリオバトル 本を知り人を知る書評ゲーム が発売になりました！ 2012-12-28 「SIFTよりコッチ!?」=> ORB: an efficient alternative to SIFT or SURF 2012-12-28 A Bayesian Nonparametric Approach to Image Super-resolution 2012-12-18 知能シンポ2013 OS 「コミュニケーション場のメカニズムデザイン」 へのお誘い 2012-09-19 ビブリオバトル首都決戦予選開催中！参加の呼びかけ！ 201
Infinite Gaussian Mixture Model (IGMM) の情報まとめ - old school magic
Dirichlet Process Gaussian Mixture Model (DPGMM)とも。 Dirichlet Process Mixture Model が一番ググった時に引っかかりやすいかも。 この記事について 最近？流行りのノンパラメトリックベイズの一つで、ガウス混合モデルのノンパラメトリック版です。 混合数を自動敵に決定してくれるガウス混合モデルですね。 比較的実装が簡単だと言われるモデルですが、あまり実装例を見かけないモデルです。 IGMMの情報源と、実装している人の紹介をしようと思います。 概要 Dirichlet Process を用いたクラスタリング 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ Google の栗原さんや、NTTコミュニケーション科学基礎研究所の持橋さんによる解説です。(リンク切れの場合はGoogle Scholar か何
論文感想: "Exploiting Topic based Twitter Sentiment for Stock Prediction" (ACL 2013 short) - 唯物是真 @Scaled_Wurm
"Exploiting Topic based Twitter Sentiment for Stock Prediction" 概要 Twitterから株価の指標の上下を予測する話。 似たような話は前からあるけど、この論文ではトピックモデル(前の日のトピックを考慮したDirichlet Process Mixture)を使ってよい結果を出している よくTwitterのデータをトピックモデルに適応する時と同様に1ツイートごとに1トピックの制限をしている。 日ごとにトピックモデルを適用しているが、前日のトピックが引き継がれる場合もあるようにしている データセットは株価名のシンボルをキーワードとしてTwitterから集めている トピックモデルで得られたトピックの系列とレキシコンを利用して得られた単語の極性(ポジティブ、ネガティブ)から計算したスコアを使って、時系列解析のVARモデルを適用して、株
パラメトリックとノンパラメトリックの狭間 - risuo's blog
※この記事は、Machine Learning Advent Calendar 2012（http://qiita.com/advent-calendar/2012/machinelearning）の10日目用に書かれています。 はじめに Machine Learning Advent Calendar 2012の10日目を担当します、@risuoku です。 今回は、数ある機械学習手法の中で、以下の２つに焦点を当て、いくつかのアプローチを紹介します。 回帰分析 クラスタリング 特に、パラメトリックな手法とノンパラメトリックな手法の違いや、それぞれの特徴の理解を目指しています。 また、@risuokuはPRMLをよりどころに機械学習を勉強してきました。なので、この本の影響を強く受けていることを初めにお伝えしておきます。 回帰分析 「形」の発見 突然ですが、以下の画像から、どんな知識が得られ
独断と偏見によるノンパラ入門 - 木曜不足
「ノンパラメトリック」って言うくらいだからパラメータ無いんかと思ってたら、パラメータめっちゃあるし。 機械学習のネーミングのひどさはこれに始まった話じゃあないけど、それにしたって。 ノンパラの一番素朴なやつ( K-means とか)は本当にパラメータ無くてデータだけだから納得なんだけど、だんだん欲が出てパラメータ足しちゃったり派生させちゃったりしてるうちに、よくわかんなくなってきちゃったんだろうかねえ。まったく。 どれどれ、と英語版 Wikipedia の "Non-parametric statistics" を見たら、なんか意味が4種類くらい書いてあるし。じゃあ名前分けろよ。 en.wikipedia.org とりあえずここで言う「ノンパラ」とは、変数の個数決めなくていい「分布の分布」なメタっぽいやつのこと。つまりディリクレ過程とか、ディリクレ過程とか、そこらへん。 「あー、ノンパラベ
Introduction to Dirichlet Process and its Applications - yasuhisa's blog
学習とモデルの複雑さ*1 混合モデルにおける混合数や多項式回帰での次数をどのようにして決めるか? AICなどの情報量基準 CVによるパラメータの決定 Nonparametric Bayesian ノンパラベイジアンは違う発想をする 柔軟でないモデルは間違った推論をしてしまう 柔軟でないというのは混合数「5」の混合ガウス分布とか、次数「4」の多項式回帰とか もっと柔軟なモデルを作ろう モデルのパラメータ数をサンプル数によって可変にしよう ある意味、パラメータ数をに持っていく ノンパラメトリックなモデルはモデル選択をする必要性がない パラメトリックなモデル 有限個のパラメータ集合について考えている 新たなデータを予測するときには、前のデータとは独立なことを想定している 有限個のパラメータによって、データの特性全てを記述する 手に入るデータの量が限られていれば、モデルの複雑さは限定されてしまう
ノンパラベイズ入門の入門
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Non-parametric Bayesian Methods
http://www.osaka-kyoiku.ac.jp/~challeng/SIG-Challenge-B202/B202-lecture.pdf