ベイズ最適化とHyperbandを組み合わせた手法「BOHB」の解説 | Masahiro Nomura
はじめに 本稿では，Hyperband[Li 18]とベイズ最適化を組み合わせた手法であるBOHB[Falkner 18]について解説する． 今回実験は行わないが，実験をする場合は，著者らが公開しているOSSであるHpBandSterを利用して実験を行うのが良さそうなので，適宜そちらを参照されたい． ベイズ最適化 ベイズ最適化の概要についてはこちらの記事で解説を行っているため，本稿では省略する． ベイズ最適化に用いられるsurrogate functionとしてはGaussian Processが有名だが，サンプル数$n$に対して時間計算量が$\mathcal{O}(n^3)$となるため，サンプル数を大きくすると実用的に使いづらくなるという問題点が存在する． そこでBOHBでは，サンプル数$n$に対して$\mathcal{O}(n)$で計算できるTree-structured Parzen
線形回帰を１つ１つ改造して変分オートエンコーダ（VAE）を作る - 作って遊ぶ機械学習。
こんばんは． 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し，１つ１つモデルや学習方法に変更を加えていき，最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ（variational auto-encoder，VAE）*1*2を導いていきたいと思います． 2014年に発表されたVAEは，勾配近似を得るためのreparametrization trickや，効率的に潜在変数を近似推論する認識モデル（recognition model, inference model）の導入，確率的勾配法（stochastic gradient descent，SGD）の2重適用など，様々なアイデアが散りばめられている確率的生成モデルです．背景としては，当時ニューラルネットワークを用いて画像を生成するといったアプローチが（CNNを使った識別などと比べて）そ
【ベイズ推定って結局何なの？Part2】 - HELLO CYBERNETICS
はじめに ベイズ推定の概要 統計学の考え 伝統的統計学の考え ベイズの考え ベイズ統計学 ベイズ統計学の基本道具 乗法定理 独立性 加法定理 ベイズの定理 ベイズでの統計パラメータの考え方 ベイズ機械学習 機械学習で行われる基本的な仮定と学習 機械学習の方法論 MAP（最大事後確率）推定 変分ベイズ サンプリング ベイジアンが見ているもの モデルの仮定は正しかったのか？ ハイパーパラメータ 全て確率変数から始める 最後に はじめに 思いの他反響のなかったベイズに関する以下の記事に続き、性懲りもなくベイズの話をします。（ディープラーニングみたいに爆発的な流行は無いけど、ベイズは今後絶対注目度が高まるよ！！） s0sem0y.hatenablog.com ベイズ推定の概要 前回はベイズがどういう考えをしていて、結果的にどういうことをしていることになるのかという話を（不正確な点も含みながら）説明
データに欠損がある場合の教師あり学習 - 作って遊ぶ機械学習。
おはようございます． 今回は教師あり学習モデルを題材に，入力データが欠損している場合のベイズ流の対処法を解説します．ベイズモデルというと，たいていの場合は事前分布の設定の仕方云々だとか，過学習を抑制できるだとかに議論が注目されがちですが，個人的には，パラメータや潜在変数を推論することとまったく同じ枠組みで欠損値も同時に推論できることが，実用上非常に便利なベイズの特性だと思っています． データの欠損部分の取扱い データに欠損部分が存在することはよくあります．センサーデータを解析する際は，ネットワークの状況やデバイスの不具合によってデータの一部が欠けた状態で上がってくることがあります．スマホから複数種類のデータを集めるといった状況を考えてみると，例えば加速度センサーの値は継続的に取得できたとしていても，GPSの位置情報はほとんど上がってこないといった場合もあるかと思います．また，何かしらのユー
ベイズ学習の勉強に参考になる資料 - 作って遊ぶ機械学習。
おつかれさまです．今回はタイトルの通り，ベイズ学習を勉強する上で参考になる教科書やウェブの資料，論文等を紹介したいと思います． ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です．ベイズ学習を使えば，あらゆる形式のデータに対して，未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため，特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています． １， ベイズ学習の位置づけ まず，データサイエンスにおける他の方法論と，ベイズ学習の位置づけを簡単に俯瞰したいと思います． 僕の知る限り，ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で，既存の学習アルゴリズムを確率モデルによって構築し，学習や予測の計算をすべて確率推論（条件付き分布と周辺分布の計算）で解決してしまおうという試みによってはじまりました．これにより，従来
mots quotidiens.
下で書いたような離散確率の時系列の他に, 特に社会科学などで, 観測値が ロジスティック正規分布に従っている場合が多くあると思います。 つまり具体的には, 観測値 y ∈ {1,0} (1:生起, 0:非生起)だとして, y 〜 Bernoulli(σ(x)) = Bernoulli (1 / (1 + exp(-x))) x 〜 N(0,σ2) になっているようなモデル。回帰モデルでは x がさらに wTxと回帰になっている場合を考えますが, 議論は基本的に同じです。 これは多項分布の場合はいわゆる対数線形モデルで, 自然言語処理では通常 gradientを計算してL-BFGSやSGDなどの最適化で解くことが多いと思います。 ただし, 最適化の前提となる共変量xが既知ではなく, 学習途中に決まる 潜在変数だったりすると, 最適化してしまうと最初に変な局所解にトラップされて しまい, 学習
Frequentism and Bayesianism IV: How to be a Bayesian in Python | Pythonic Perambulations
I've been spending a lot of time recently writing about frequentism and Bayesianism. In Frequentism and Bayesianism I: a Practical Introduction I gave an introduction to the main philosophical differences between frequentism and Bayesianism, and showed that for many common problems the two methods give basically the same point estimates. In Frequentism and Bayesianism II: When Results Differ I wen
統計的学習理論（１）： フィッシャー情報量とクラメールラオ下限と最尤法 - アドファイブ日記（ミラー版）
勉強したことメモ。数式を使わずに書く。 また、行間をスキップせずに、多少くどいかもしれないくらいにきっちり順を追って説明を書いたので長いけどわかりやすくなっているはず。 第一回はベイズの手前まで、最尤法のあたりまでの話をする。 推定量 データを表す確率変数があってその密度関数は何らかのパラメータであらわされているとする。観測したデータから合理的にパラメータを決定するタスクのことを推定という。 推定を世界で最初にガッチリ研究したのはフィッシャーという人で、彼は推定方法の良しあしを判断する基準として、（A）不偏性、（B）有効性、（C）一致性、（D）漸近正規性、（E）十分性、などを考えた。 データからパラメータを推定する手続きは、データの関数として表せる。そういう関数を推定関数、そうやって計算した値を推定量と呼ぶ。 観測されうるデータは確率変数なので、推定量も確率変数となる。 推定量が確率変数だ
ノンパラベイズ入門の入門
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
確率と因果を革命的に架橋する：Judea Pearlのdo演算子 - Take a Risk：林岳彦の研究メモ
皆さまこんばんは。今回から数回のあいだは、久しぶりに統計的因果推論ネタについて書いていきたいと思います。 今回の具体的なテーマは「Judea Pearlのdo演算子」になります。マニアックです。 このテーマについては自分でも完全に理解しているわけでは全くないので、「解説」というよりも「半可通が書いた公開勉強メモ」というかんじになりますが、その旨ご了承いただければ幸いです。 （＊例によって今回もまためちゃくちゃ長いエントリーとなりますが、何卒よろしくお願いいたします。また、間違いなどがありましたらその旨ご指摘いただければ大変幸甚でございます＞本物の識者の方々） まえおき：Judea Pearlって誰すか？ はい。ではそもそもその「Judea Pearlって誰すか？」というところから書いていきたいと思います。 結論から言うと私もよく知りません。ですが、周辺的手がかりからヒューリスティックに判断
条件付確率 – Joe Suzuki (鈴木譲) 公式ブログ
一般の確率空間[latex](\omega,{\cal F},P)[/latex]で、[W:条件付確率]を定義したらどうなるか。Wikipediaでも、英語版、日本語版ともに高校でやったような特殊ケースしか掲載されていない。拙書「ベイジアンネットワーク入門」では、以下のような定義をしている。Radon-Nikodymの定理から、[latex]A\in {\cal F}, {\cal G}\subseteq {\cal F}[/latex]として、任意の[latex]G\in {\cal G}[/latex]について、[latex] P(A\cap G)=\int_G f_A(\omega)dP(\omega)[/latex]となる[latex]{\cal G}[/latex]上可測な[latex]f_A:\Omega\rightarrow [0,\infty)[/latex]が存在する。こ
bsfilter / bayesian spam filter / ベイジアン スパム フィルタ
Subscribe to our newsletter to get daily updates about Programming and Spam Filtering.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Speeding “Bayesian Power Analysis t-test” up with Snowfall
http://www.singularpoint.org/blog/math/stat/conjugate-prior/