機械と学習する
【概要】 「深層学習による自然言語処理」の輪読会をしています 輪読会第4回目は5章が範囲でした 【目次】 はじめに 輪読会記録 資料リンク 第5章の概要 5章全体を通した感想 その他：キャッチアップについて その他：実務での利用について おわりに 参考文献 はじめに 講談社MLPシリーズの「深層学習による自然言語処理」の輪読会をしています。 輪読会の範囲で気になったことや資料のリンクなどをまとめていきます。 輪読会のリンクはこちらです。 learn-stats-ml.connpass.com 「深層学習による自然言語処理」のほか、輪読会を定期開催しているので、気になった方はグループメンバーになってもらえるとうれしいです。 また、Slackのwork groupを用意しているので、参加したい方は何らかの方法で私に連絡ください（輪読会参加してなくてもwelcome）。 【トップに戻る】 輪読会
数式をまったく使わないMCMC(マルコフ連鎖モンテカルロ法)の説明 | 株式会社フォワードネットワーク
こんにちは。 今回は、確率分布の平均値やモード（最頻値）を探す方法のアルゴリズムである「MCMC(マルコフ連鎖モンテカルロ法、Markov chain Monte Carlo methods)」について、お話ししたいと思います。 ここでは山田君が登場します。このストーリーは社内でも意外に好評で、週刊ダイヤモンドでも採用していただきました。 1 洞穴に落ちてしまった！ 山田君は、山に遊びにいって、誤って大きな洞穴に落ちて気を失ってしまいました。 気が付いたら、もう夜。そこは大きな洞穴で、なんとか上の落ちた穴の位置を探したいと思いました。 さて、真っ暗闇の中で、どうやって穴の位置を探したらよいでしょうか？ 2 落ちた穴を探す 山田君は、洞穴の一番高いところに落ちた穴があるだろうと考えました。 そこで、近くの小石を拾って、それを真上に投げ上げて、小石が天井にぶつかって落ちてくるまでの時間を測るこ
なぜベイズ推定にMCMCなのか？ - プログラムを自動生成したい
MCMC (マルコフ連鎖モンテカルロ法) なにも分からん。ベイズ推定を勉強しているといつだって「計算が困難なので MCMC で事後分布を近似しよう！」という話に遭遇する。しかしながら MCMC が何を計算するものなのかよく分からないし、なにが嬉しいのかも分からない....。 そんなあなたに向けて、本記事ではベイズ推定と MCMC について解説します。以下の質問に答えられるようになるのが目標です。 MCMC は何を入力として何を出力するものなのか？ なぜ MCMC はベイズ推論と相性がよいのか？ まともにやると困難な計算を、なぜ MCMC では回避できるのか？ なお、本記事では以下の知識があることを想定します。 確率の基本（同時分布、条件付き確率 など） ベイズ推定の概要（事前分布、尤度、事後分布 など） 目次： ベイジアンネットワークと同時分布 ベイズ推定と事後分布の計算 MCMC は何を
MCMC入門 Gibbs Sampling – MIIDAS Science Blog
こんにちは。 本日はついにMCMCです。ベイズ推定とMAP推定がまだの方は次のリンクからどうぞ。 ベイジアン入門 ベイズ推定 尤度からMAP推定まで ギブスサンプリングをやっていくんですけど、その前にMCMCについて簡単に説明します。本当に簡単にです。 MCMC マルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods、MCMC） の略であり、求めたい確率分布をマルコフ連鎖を作成することをもとに、確率分布のサンプリングを行うアルゴリズムの総称である。 ここでマルコフ連鎖とは 確率過程の一種であり、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である（マルコフ性）。各時刻において起こる状態変化（遷移または推移）に関して、マルコフ連鎖は遷移確率が過去の状態によらず、現在の状態のみによる系列である。 難しそうに聞こえますが簡単です。明日の飯が今日の気分
マルコフ連鎖モンテカルロ法入門-１
※ここで解説しているお天気推移モデルはオリジナルなものですので、数値・計算等にミスがある可能性が否めませんので、もし間違いを見かけた方は優しく教えていただけると助かります。 お天気推移モデルで理解するマルコフ連鎖モンテカルロ法。２状態離散モデルの解説を中心に、メトロポリス法の解説まで行った。 次は連続モデルや熱浴法・メトロポリスヘイスティング法の解説資料も作成したい⇒完成。以下のLINKを参照下さい。http://www.slideshare.net/teramonagi/ss-5344006 誤字を修正（2010/11/01）Read less
『マルコフ連鎖モンテカルロ法（ＭＣＭＣ法）（１）』
不動産鑑定、統計学、文系人間のための数学など上野山清久のブログ 「不動産鑑定と統計学」（同名のホームページも公開中です。）、数学その他に関する日々の学習成果等について｢学ぶ側の視点」で綴っていこうかと思います。 複雑な分布や高次元の分布の確率密度関数の積分計算は難しいので、乱数を発生させて求めたい範囲に入った点の数を数える「モンテカルロ法」という方法で積分値の近似値を求めたい。・・・要するに分布の面積や体積を求めたい。 でも、よく知られた分布（正規分布、一様分布など）ならともかく、複雑な分布や高次元の分布に従う乱数を発生させるのは難しい。・・・本当は単純な分布に従う乱数の生成も容易ではないようだ（コンピュータにデタラメな数字を出せというのは酷）。 そこで、「マルコフ連鎖」を利用すると、うまい具合に複雑な分布や高次元の分布に従う乱数を発生させることができるらしい。・・・複雑な分布や高次元の分
誰でもわかるマルコフ連鎖モンテカルロ法（MCMC）入門 - deepblue
はじめに ベイズ推論の枠組みで、事後分布の推論などに用いるマルコフ連鎖モンテカルロ法（通称：MCMC）の概要について、簡単に説明してみたいと思います。対象は、最初の「ベイズ推論におけるMCMCの必要性」を読んで、理解いただける方になると思います。 ベイズ推論におけるMCMCの必要性 データをX、パラメータ（潜在変数）を\thetaと書くこととします。確率モデル（尤度モデル）をp(X|\theta)、事前分布をp(\theta)とすると、事後分布は以下のように計算できます。 p(\theta|X) = \frac{p(X|\theta)p(\theta)}{p(X)} ここで、重要となるのがp(X)の存在です。 p(\theta|X)が確率分布であるためには以下の条件が必要となります。 \int p(\theta|X) d\theta = \int \frac{p(X|\theta)p(\t
MCMCをフルスクラッチで実装するトレーニング方法 - Qiita
はじめに 東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計を用いたデータ分析を実施する上で欠かせないマルコフ連鎖モンテカルロ法(いわゆるMCMC)をフルスクラッチで実装するためのトレーニング方法と，そのための参考書について紹介いたします． 最近ではstanのように，モデルと事前分布を記述するだけで汎用的にMCMCが実行できてしまう環境が整っていますが， そもそもMCMCがどういう流れで動いているのか理解する stanなどの汎用ツールがうまく使えない(orうまく動かない)場面に遭遇したときに自分の手で実装できるようにする ためには，標準的なモデルでMCMCをフルスクラッチで実際に組んだ経験が重要になってくると思います． 参考書について トレーニングのために私がオススメするのは以下の本です． J. Chan, G. Koop, D. J. Poirier, J. L. Tobia
マルコフ連鎖モンテカルロ法を誰でも理解できるようにわかりやすく解説 | HEADBOOST
マルコフ連鎖モンテカルロ法（MCMC）は、ベイズ推定において、事後分布を求めるのが計算上余りにも困難な場合に、事前分布と尤度分布を材料として乱数を無作為抽出することで、事後分布を概算する方法のことです。 そうは言っても、これだけでは全く意味がわからないと思います。そこで、このページでは、マルコフ連鎖モンテカルロ法について、まずは数式をほとんど使わずにわかりやすく解説していきます。その後に、設定と使用が簡単な統計言語 R を使って、マルコフ連鎖モンテカルロ法を行う方法を簡単に解説します。R 言語は習得が容易ですので、ぜひ試してみてください。 具体的に、この記事では以下の内容を学ぶことができます。 マルコフ連鎖モンテカルロ法を理解するための前提知識であるベイズ推定についてわかりやすくおさらいができる。マルコフ連鎖モンテカルロ法の、モンテカルロ法と、マルコフ連鎖について理解できる。マルコフ連鎖モ
MCMCサンプルの使い方 ～見る・決める・探す・発生させる～
2. 本資料の位置づけ • 拙著『StanとRでベイズ統計モデリング』 において, 書ききれなかったことはいくつかあります. • その中で心理学において有用そうな話題を著者な りに考えて選びました. • スライド中に出てくる章・節・図番号は その書籍内のものを指します. 2 3. 本スライドの記法 • 見やすさのため, 変数を太文字にしている. • 𝒂, 𝑿, 𝒀など. • ベクトル（出てこないけど）は書籍と同じ 𝒀 で表す. • 僕の視力の悪さに由来する. • これから推定されるパラメータを赤い文字で表す. • 𝒂, 𝝁 など. • 事後分布は 𝒑 𝒂, 𝒃, 𝝈|𝑿, 𝒀 のように書くのではなく, 見やすさのため, データを省略し, パラメータを青い文 字で表す. • 𝒑 𝒂, 𝒃, 𝝈 など. 3
『Pythonで体験するベイズ推論 ―PyMCによるMCMC入門―』の書評 - StatModeling Memorandum
特長 Pythonユーザが待ちに待ったPythonによるMCMC本ではないでしょうか。原著タイトルが『Bayesian Methods for Hackers』だけあって、プログラマ・エンジニア向きだと思います。数式はびっくりするほど出てこない代わりに、Pythonコードは非常にたくさんでてきます。そしてPyMCの使い方が基礎から説明してあって丁寧です。自分でコーディングする際は原著のGitHubリポジトリを活用しましょう（なんとStarが10000個を超えてる！）。 Pythonで体験するベイズ推論 PyMCによるMCMC入門 作者: キャメロン・デビッドソン=ピロン,玉木徹出版社/メーカー: 森北出版発売日: 2017/04/06メディア: 単行本（ソフトカバー）この商品を含むブログを見る 購入を迷っている人の一番の心配は、本書のPyMCのバージョンが1つ前のPyMC2であることだと思
「ベイズ統計の理論と方法」渡辺澄夫のメモ
ベイズ推測を使う人はもちろんのこと、嫌う人にもぜひ一読をすすめたい書籍です。ただし、メインの定理の証明の部分は、情報幾何学の特異点解消定理を使いますし、その他にも複素関数論・経験過程といった知識を要求されます。これらの事前知識に詳しくないと、3,4章の定理ひいてはWAICがなにやら抽象的で納得ができないといった事態になると思います。いつかp.93 例4のような特異点解消定理を使った例をいくつかこなして、さらに数値実験をして感覚をつかめたらと思います。渡辺先生は「もちろん『代数幾何学を知らなければWAICを使うことはできない』ということはありません。 WAICは簡単に計算できますので誰でも使うことができます。」とおおらかにおっしゃってくれていますので（web）現段階でも使います。 また書籍には、ベイズ推測のユーザーとして参考になる「注意」「例」、各章の最後にある「質問と回答」のコーナー、さら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MCMC法