プログラマーのための確率プログラミングとベイズ推定
プログラマーのための確率プログラミングとベイズ推定¶PythonとPyMCの使い方¶ベイズ推定(Bayesian method)は，確率推論のためのもっとも適切なアプローチであるにもかかわらず，書籍を読むとページ数も数式も多いので，あまり積極的に読もうとする読者は少ないのが現状である．典型的なベイズ推定の教科書では，最初の3章を使って確率の理論を説明し，それからベイズ推論とは何かを説明する．残念ながら多くのベイズモデルは解析的に解くことが困難であるため，読者が目にするのは簡単で人工的な例題ばかりになってしまう．そのため，ベイス推論と聞いても「だから何？」と思ってしまうのである．実際，著者の私がそう思っていたのだから． 最近の機械学習のコンテストで良い成績を収めることができたので，私はこのトピックを復習しようと思い立った． 私は数学には強い方である．しかしそれでも，例題や説明を読んで頭の中で
コンピュータービジョンの無料チュートリアル - ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1
Learn essence of "Computer Vision: Models, Learning, and Inference"
統計的学習手法よる人検出
1. [サーベイ報告] 統計的学習手法による人検出 2012年11月17日 第21回 名古屋CV•PRML勉強会 山内悠嗣, 藤吉弘亘 中部大学 http://www.vision.cs.chubu.ac.jp/CVTutorial/PPT/HumanDetectionSurvey.pdf 4. 物体検出の変遷 顔検出 人検出 1969 年 Sakai 1969年 顔検出に関する初めての研究 1994 年 Yang 研究者のルールに基づいた顔検出 物体検出の研究が始まる Sung 1996 年 クラス分布の距離に基づく顔検出 Rowley Sakai, Pattern Recognition, 1969. Neural Network による顔検出 1997 年 Osuna SVM による顔検出 1994年 1998 年 Rowley Neural Network による顔の回転に 対応し
イカサマコインの例で最尤推定とベイズ推定の違いを理解してみる - Qiita
はじめに 最近世の中で統計学が流行っています．ITの発展によりデータが容易に得られるようになり，いまや様々な業界のシステムでデータ解析機能の適用を検討しているのではないでしょうか．そうなると，IT技術者は深かれ浅かれデータ解析のプログラムに触る必要も出てくるでしょう．すると当然「推定」というキーワードにぶち当たるわけです．はて，統計的な推定とは如何なものか？と言う疑問が湧くでしょう． そんなわけで，統計学において得られたデータを元にある推定値を得る方法を探してみると，「最尤推定」とか「ベイズ推定」と言う手法は特に目に触れることになると思います． 初学者の小生は，これらの違いについて知りたくて，それっぽいキーワードでWeb検索をしたのですが，門前払いを食らってしまいました．何か，条件付き確率の式がウジュウジャ出てくる説明ばかりではあーりませんか！尤度？事前確率？もうーワケかららない！あー！
Pythonでベイズ最適化を使ってハイパーパラメータを探索するライブラリ実装のメモ - Qiita
はじめに ベイズ最適化(参考：ベイズ最適化入門, 機械学習のためのベイズ最適化入門)を使うと、機械学習の時の各種Try&Errorで決めざるを得ないようなハイパーパラメータの探索を効率よく実施できる可能性があります。 考え方などは最近色々解説記事が増えてきたおかげで理解はできるのですが、GridSearchのライブラリみたいな形ではWeb上で見つけられなかったので、今回作りました。きっと車輪の再発明なのだと思うのですが、まあ再発明は勉強にはなるので良しとします。 今回使っている各種Version Python3.5 numpy==1.11.1 scikit-learn==0.17.1 コード from itertools import product from sklearn.gaussian_process import GaussianProcess # The MIT License
Pythonでベイズ識別 - 元理系院生の新入社員がPythonとJavaで色々頑張るブログ
この記事に書かれていること アヤメデータのベイズ識別方法 Pythonによるベイズ識別の実装 ベイズ識別とは 少し前にベイズの定理と、確率密度関数の記事を書きました。 ベイズ理論 - 理系大学生がPythonで色々頑張るブログ ベイズ理論(2) - 理系大学生がPythonで色々頑張るブログ 今回はこのベイズの定理を識別問題に適用した、ベイズ識別器をPythonで実装します。 ベイズの定理のおさらい ベイズの定理は2つの確率事象の同時確率が条件付き確率から求まる事を利用して、導出することが出来ました。 この式を次の様に考えると、識別問題に適用することが出来ます。 ・・・データAが観測された時に、そのデータの分類クラスがBである確率 ・・・データAが観測される確率 ・・・分類クラスBにおけるデータAの確率分布 (言い回しが面倒なので厳密ではないですが、BにおけるデータAの生成確率と捉えておけ
Deep Learningのハイパパラメータの調整 - もちもちしている
この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法
Watanabe理論勉強会で発表してきました - ほくそ笑む
このブログの読者には AIC (赤池情報量基準) をご存じの方は多いと思います. AIC は統計モデルの評価指標として世界中で広く使われていますが、これは赤池弘次という日本人統計学者により考案されたものです。 これに対し、近年、ベイズ統計学で利用可能な WAIC という情報量基準が考案され、世界中で爆発的に普及しています。 この WAIC を考案したのも日本人であり、東工大の渡辺澄夫先生です。 �L‚Žg‚¦‚é�î•ñ—Ê‹K�€(WAIC) WAIC は、算出すること自体は簡単なのですが、その理論的な根拠として非常に高度な数学が使われています。 この理論について、渡辺先生ご自身が書かれた書籍があります。 Algebraic Geometry and Statistical Learning Theory (Cambridge Monographs on Applied and Com
{rBayesianOptimization}パッケージによるベイズ最適化で機械学習パラメータチューニングをお手軽に - 渋谷駅前で働くデータサイエンティストのブログ
機械学習のパラメータチューニングというと大なり小なり大変な部分があって、今年のエイプリルフール記事に皆さん引っかかって下さったところを見るにパラメータチューニングを簡単に済ませたい！と願う人々は世の中多いようです（笑）。 少し前のMXnetを使った記事でも取り上げましたが、そのパラメータチューニングを迅速に済ませようというアイデアの一つがベイズ最適化(Bayesian Optimization)です。 要は、グリッドサーチのように網羅的に最適なパラメータを探索しに行くのではなく、一つのパラメータで精度をチェックしたらその次は精度が上がりやすそうな方向にベイズ的に逐次改善を行いながら探索していく、という方法のことです。 世の中色々seminar paper的なものがあるようですが、arXivから@enakai00さんが見つけてきて下さったのがこれ。 [1012.2599] A Tutoria
ベイズ最適化についての入門記事を書きました - ほくそ笑む
ベイズ最適化 (Bayesian Optimization) についての入門記事をマイナビのサイトに寄稿しました。 第3回 機械学習のためのベイズ最適化入門｜Tech Book Zone Manatee ベイズ最適化は大域的最適化手法 (Global Optimization) の一種であり、これをグリッドサーチの代わりに使うことで、効率的に機械学習のハイパーパラメータ探索ができる、という内容です。 この記事ではベイズ最適化の基本的な部分についてポイントを絞って説明したつもりです。 R言語にはベイズ最適化のためのパッケージ rBayesianOptimization があり、この使い方については下記の記事が詳しいです。 {rBayesianOptimization}パッケージによるベイズ最適化で機械学習パラメータチューニングをお手軽に - 六本木で働くデータサイエンティストのブログ また、
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
レコメンドアルゴリズム(BPR)の導出から実装まで - ZOZO TECH BLOG
こんにちは、エンジニアの中村(@tn1031)です。弊社のプロダクト「iQON」には「for You」というレコメンド機能が実装され、個々のユーザに毎日おすすめのファッションアイテムを届けています。 press.vasily.jp 今回はこの「for You」に関連して、レコメンドを実現するアルゴリズムのひとつであるBayesian Personalized Ranking (BPR)を紹介したいと思います。 本記事ではひとつの手法に話題を絞りますが、一般的な協調フィルタリングやレコメンド自体について詳しく知りたい方は、こちらのNetflix Prizeで使われた手法のまとめがとても参考になります。 協調フィルタリングとBPR 行動ベースの協調フィルタリングではユーザ x アイテムの行列の行列分解(Matrix Factorization)を考えます。 評価の行列をとします。行のインデック
ベイズ統計学その２０〜ベイズ推定を用いたt検定〜 - Rを通じて統計学を学ぶ備忘録ブログ
□Bayesian Estimation Supersedes the t Test(BEST) 本日は ベイズ で平均値の差の検定を行っていきます。使用パッケージはBESTですが、 JAGS もインストールしておく必要がありますので、ご注意ください。また、以下2本の論文と説明書を参考にしております。 ・ John Kruschke(2013) Bayesian Estimation Supersedes the t Test, Journal of Experimental Psychology: Vol. 142, No. 2, 573– 603 ・ Mike Meredith and John Kruschke(2015): Bayesian Estimation Supersedes the t-Test ・ Packages "BEST" 平均値の比較といえば、Student’s
ややこしい離散分布に関するまとめ - 作って遊ぶ機械学習。
今回は離散分布（discrete distribution）の代表格である多項分布（multinomial distribution）や、その共役事前分布であるディリクレ分布（Dirichlet distribution）との関係性や計算方法を整理したいと思います。 離散分布というと、本来はポアソン分布（Poisson distribution）なども含めた離散値を出力するような分布全般のこと指します。しかし実際に論文などを読んでいると、くじ引きのように単純に出目の比率が与えられたような分布を離散分布と名付けてしまっている場合もよく見られます。まぁ文脈的に誤解を招くことはあまりないと思うのですが、くじ引きの分布をもっとキッチリ表現するなら、複数あるカテゴリーから１つを抽出するという意味でカテゴリカル分布（categorical distribution）と呼ぶのが適切かと思います。あるいは
ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。
今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる２つの計算規則（和の規則、積の規則）を取り上げます。また、ベイズ学習に関わるややこしい用語たち（データ、尤度関数、事前分布、事後分布、エビデンス、予測分布、などなど）に関しても念のためここで整理しておきたいと思います。そして最後に、簡単な多次元のガウス分布とウィシャート分布を使ったベイズ推論の例を取り上げ、それぞれの用語や概念との具体的な結びつきについて触れたいと思っています。 ・ベイズ学習の基本概念 さて、確率モデルを使ったベイズ推論を行う上で最小限必要なのは次のたった２つの計算ルールです。 <和の規則> <積の規則> は同時分布（joint distribution）、は条件付き分布（conditional distribution）と呼ぶんでした。極端な言い方をしてしまうと、ベイズ推
階層モデルの分散パラメータの事前分布について発表しました - ほくそ笑む
ひと月ほど前になりますが、基礎からのベイズ統計学入門 輪読会で発表させて頂きました。 タイトルは「階層モデルの分散パラメータの事前分布について」で、Andrew Gelman の論文 Prior distributions for variance parameters in hierarchical models (PDFリンク) の内容をまとめたものです。 ベイズ統計において、パラメータの事前分布に何を使うかというのは重要な問題です。 分散パラメータの事前分布には伝統的に逆ガンマ分布が使われますが、この論文によると半コーシー分布を使いましょうとのことです。 発表資料は SlideShare に上げています。 階層モデルの分散パラメータの事前分布について from hoxo_m ベイズ統計に興味のある方は、5/19 に 基礎からのベイズ統計学入門 輪読会 #5 最終回 が行われますので参
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BayesOptインストール方法 - Qiita
Pythonで「線形回帰」と"確率版の線形回帰"である「ベイズ線形回帰」 - Qiita
[WIP]単純ベイズ分類器がまったく単純じゃないので入門 | moxt![[WIP]単純ベイズ分類器がまったく単純じゃないので入門 | moxt](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
強化学習を ベイズで理解する