深層学習とベイズ統計STAIR Lab, Chiba Institute of Technology•4.7K views
ノンパラメトリックベイズ入門２(IndianBuffetProcessと潜在特徴モデル) - Qiita
IBP(Indian buffet process)を使って潜在特徴モデルの実装を行います。 モチベーション IBPを使って潜在特徴モデルの実装を行うことが目的です。まずここでいう潜在特徴モデル(線形因子モデル?)の説明をするためによくあるレコメンデーションの例を使います。 まず人を縦、映画の種類を横とする行列(X)があるとします。(成分は(i,j)はiによるjの評価だとする)このとき下のようにX=UVとうまく分解することによって潜在特徴を知ることができます。 例えば潜在特徴としてはアドベンチャー成分、ミステリー成分、ロマンス成分とかが考えられます。(あくまでイメージです）この時、Uは人のそれらの成分に対する好感度、Vはそれぞれの映画がどのような成分を持っているかを表します。（実際のレコメンドシステムでは欠損値の予測に使います) 他にも自然言語処理のシチュエーションだったらドキュメントの種
EdwardでBayesian DNN＋Variational Inferenceをやってみた話 - Obey Your MATHEMATICS.
こんにちは。 今（僕の中で）話題沸騰中のベイズ統計用Pythonライブラリ Edward GitHub - blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow. を使って Bayesian DNN ＆ Variational Inference をやってみましたので、その報告＆コードの簡単な解説＆感想をこの記事では残しておこうと思います。 前回の記事 mathetake.hatenablog.com で用意したHiggs粒子データセットを使って、分類器を作ろうと思います. ※Edwardってなんぞやって人は、公式Webまたは次の論文 [1701.037
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
ベイズ推論：いつも何度でも尋ねられること
このページをご覧頂き、ありがとうございます。 「ベイズと最尤のどちらが正しいのか」と、いつも何度でも尋ねられます。 「事前分布は何が正しいのか」と、いつも何度でも尋ねられます。 ここでは、できるだけ短く、その質問についての返答を述べます。 １．正しい統計的推論は存在しない 統計学が扱う問題では、ほとんどの場合、基礎となる確率がわからないので、 特別な場合を除いて、正しいモデル・正しい事前分布・正しい推論というものは存在しません。 条件が不足したり過剰だったりして答えられない問題のことを【不良設定問題】と いいます。 統計学は不良設定問題を扱う学問です。 この世にあるほとんどの問題は程度の違いこそあれ、みな不良設定です。 まずは「統計学は不良設定問題を扱う学問である」ということを理解しましょう。 基礎となる確率が定められていなければ【正しい統計的推論】は存在しません。 （注） 基礎となる確率
Naive Bayesの復習（導出編） | LESS IS MORE
すぐ忘れるのでメモ。ナイーブベイズの学習アルゴリズムの導出とか、そもそもナイーブベイズが定番過ぎて意外とやったことなかった気もするので、復習がてらやってみた。 ちょっと修正 2013/07/30 ナイーブベイズについて整理 学習アルゴリズムの導出 Naive bayes （ナイーブベイズ） スパムフィルタで使われたことで有名な確率モデルで、シンプルだけどそこそこ実用的なのが良い所。Naive bayesという名前は、特徴ベクトル間に条件付き独立性を仮定してることにある（実際は相関あることが多いけど、まぁ簡単のためって感じ）。具体的に例を挙げて言うと、例えば文書分類タスクの場合、各単語は独立に生起するという仮定を置くことに相当する。 まずはモデルを書き下す。入力データを$\mathbf{x}$（D次元）、ラベルを$y$（離散値）とすると、ナイーブベイズでは以下のように同時確率をモデル化する。
distance dependent Chinese Restaurant Process - nozyhの日記
お久しぶりです。nokunoさんにも紹介されてしまったので頑張って月1ぐらいは更新したいと思ってます…。今回は面白かった論文の紹介です。去年のICMLのBleiの論文で、相変わらずCRPとかです。ICML版はこちらで、longer versionもあり、こちらからダウンロード出来ます。ICML版でほとんどの部分は説明されてて、理論的に詳しいところが知りたい人はlonger versionも補足的に読むといいかもしれません。 以前のエントリーで、DPMを説明するときに、CRPを介して説明出来るということを書きました。これはつまり、データをクラスタリングする場合、データの事前分布にCRPを仮定し、CRPの事後分布（レストランの状態の分布）がどうなるかを考え、同じテーブルに座ったデータ=客を同じクラスタとすることでクラスタリング出来ることを意味しています。この場合、背後にあるDPという構造を考え
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
階層ディリクレ過程を実装してみる (1) HDP-LDA と LDA のモデルを比較 - 木曜不足
Hierechical Dirichlet Process(HDP, 階層ディリクレ過程) を実装するのに必要な式を導出しつつ、実装してみるお話。 参照するのはこちらの論文。 [Y.W.Teh, M.I.Jordan, M.J.Beal & D.M.Blei. JASA2006] Hierarchical Dirichlet Processes http://www.gatsby.ucl.ac.uk/~ywteh/research/npbayes/jasa2006.pdf しかし全部拾っていくのは大変なので、ちょびっとずつ小分けに、かつ他の方がブログとかで書いていてくれそうなところ(ディリクレ過程とか、中華料理店フランチャイズとか)はまるっと飛ばして、実装に必要な定式化＆導出にしぼってまとめていくつもり。*1 とりあえず syou6162 さんや nokuno さんのこの辺の記事とかご参考
A Beginner's Guide to Variational Methods: Mean-Field Approximation
A Beginner's Guide to Variational Methods: Mean-Field Approximation Variational Bayeisan (VB) Methods are a family of techniques that are very popular in statistical Machine Learning. VB methods allow us to re-write statistical inference problems (i.e. infer the value of a random variable given the value of another random variable) as optimization problems (i.e. find the parameter values that mini
階層モデルの分散パラメータの事前分布について発表しました - ほくそ笑む
ひと月ほど前になりますが、基礎からのベイズ統計学入門 輪読会で発表させて頂きました。 タイトルは「階層モデルの分散パラメータの事前分布について」で、Andrew Gelman の論文 Prior distributions for variance parameters in hierarchical models (PDFリンク) の内容をまとめたものです。 ベイズ統計において、パラメータの事前分布に何を使うかというのは重要な問題です。 分散パラメータの事前分布には伝統的に逆ガンマ分布が使われますが、この論文によると半コーシー分布を使いましょうとのことです。 発表資料は SlideShare に上げています。 階層モデルの分散パラメータの事前分布について from hoxo_m ベイズ統計に興味のある方は、5/19 に 基礎からのベイズ統計学入門 輪読会 #5 最終回 が行われますので参
Spectral Learning for Supervised Topic Models
Supervised topic models simultaneously model the latent topic structure of large collections of documents and a response variable associated with each document. Existing inference methods are based on variational approximation or Monte Carlo sampling, which often suffers from the local minimum defect. Spectral methods have been applied to learn unsupervised topic models, such as latent Dirichlet a
Stanで統計モデリングを学ぶ(2): そもそもMCMCって何だったっけ？ - 渋谷駅前で働くデータサイエンティストのブログ
（前回記事はこちらから） ベイジアンの知識もいい加減な僕がこんなシリーズ記事を書くとかほとんどギャグの領域なんですが（汗）*1、2回目の今回の記事ではそもそもMCMCって何だったっけ？ってところから始めようと思います。 今回参考にするのは、主に久保先生の緑本です。そもそもGLM～GLMM～階層ベイズ＋空間統計学について生態学研究をモチーフに分かりやすく書かれた本ですが、後半はMCMCの話題で統一されています。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) 作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (18件) を見る MCMCまわりでは他にも非常に多くの良書がありますが、「初心者向けにも分かりやすくて」「段階を追って」「なぜ
ベイズ混合モデルにおける近似推論① ～変分近似～ - 作って遊ぶ機械学習。
今回から数回に分けてベイズ混合モデルの構築法と種々の近似推論（変分近似、ギブスサンプリング、崩壊型ギブスサンプリング）に関してお話ししたいと思います。 混合モデルの代表的なアプリケーションはクラスタリングですが、今回ご紹介するモデルの構築方法はクラスタリングにとどまらず、もっと凝ったモデルを構築するための基本パーツになるものです。例えば時系列情報を取り扱うためのHMM（Hidden Markov Model）や自然言語処理でよく使われているLDA（Latent Dirichlet Allocation）などはこれらの混合モデルを拡張することにより得ることができます。レゴブロックのように、アイデア次第ではそれ以上に複雑で豊かな表現力を持ったモデルを構築することも可能です*1。 さて、今回の記事ではまず始めに混合モデルの例としてポアソン混合モデルを導入します。そして、以前にご紹介した変分近似（
Automatic Variational ABC
Approximate Bayesian Computation (ABC) is a framework for performing likelihood-free posterior inference for simulation models. Stochastic Variational inference (SVI) is an appealing alternative to the inefficient sampling approaches commonly used in ABC. However, SVI is highly sensitive to the variance of the gradient estimators, and this problem is exacerbated by approximating the likelihood. We
The Mondrian Process のメモ « 谷口忠大HomePage (たにちゅーのＨＰ) — tanichu.com –
新着記事 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2014-12-31 2014年は出版ラッシュでしたよ． 2014-12-31 www.tanichu.com 2013-04-19 ビブリオバトル 本を知り人を知る書評ゲーム が発売になりました！ 2012-12-28 「SIFTよりコッチ!?」=> ORB: an efficient alternative to SIFT or SURF 2012-12-28 A Bayesian Nonparametric Approach to Image Super-resolution 2012-12-18 知能シンポ2013 OS 「コミュニケーション場のメカニズムデザイン」 へのお誘い 2012-09-19 ビブリオバトル首都決戦予選開催中！参加の呼びかけ！ 201
RStanとShinyStanによるベイズ統計モデリング入門
第50回 TokyoR 発表資料 Stanコードは下のサイトで公開しております。 https://github.com/teuder/TokyoR50 Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
http://arxiv.org/pdf/1607.02011
Univariate Distribution Relationship Chart