データに欠損がある場合の教師あり学習 - 作って遊ぶ機械学習。
おはようございます． 今回は教師あり学習モデルを題材に，入力データが欠損している場合のベイズ流の対処法を解説します．ベイズモデルというと，たいていの場合は事前分布の設定の仕方云々だとか，過学習を抑制できるだとかに議論が注目されがちですが，個人的には，パラメータや潜在変数を推論することとまったく同じ枠組みで欠損値も同時に推論できることが，実用上非常に便利なベイズの特性だと思っています． データの欠損部分の取扱い データに欠損部分が存在することはよくあります．センサーデータを解析する際は，ネットワークの状況やデバイスの不具合によってデータの一部が欠けた状態で上がってくることがあります．スマホから複数種類のデータを集めるといった状況を考えてみると，例えば加速度センサーの値は継続的に取得できたとしていても，GPSの位置情報はほとんど上がってこないといった場合もあるかと思います．また，何かしらのユー
線形回帰および識別
3. 線形回帰および識別 線形回帰のモデル 正則化項の導入 L2正則化 L1正則化 正則化項のBayes的解釈 線形識別 生成モデルを利用した識別 2乗誤差最小化の線形識別の問題点 クラシックな機械学習の入門 by 中川裕志（東京大学） 線形モデル データ の分布状況 から線形回帰式を求 める w0 x y y=w1x+w0 線形モデル T 101 0 ],,,,[,],,,1[, K T Ki K i i wwwxxxwy wxwx ただし、 入力ベクトル：x から出力：y を得る関数がxの線形関数 （wとxの内積） 一般に観測データはノイズを含んでいる。つまり 得られたN個の観測データ の組（y,X）に対して最適なwを推 定する。 そこで、yと の2乗誤差を最小化するようにwを選ぶ。 と考える。はノイズで ),0(, 2 Ny wx wX
ベイズ学習の勉強に参考になる資料 - 作って遊ぶ機械学習。
おつかれさまです．今回はタイトルの通り，ベイズ学習を勉強する上で参考になる教科書やウェブの資料，論文等を紹介したいと思います． ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です．ベイズ学習を使えば，あらゆる形式のデータに対して，未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため，特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています． １， ベイズ学習の位置づけ まず，データサイエンスにおける他の方法論と，ベイズ学習の位置づけを簡単に俯瞰したいと思います． 僕の知る限り，ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で，既存の学習アルゴリズムを確率モデルによって構築し，学習や予測の計算をすべて確率推論（条件付き分布と周辺分布の計算）で解決してしまおうという試みによってはじまりました．これにより，従来
プログラマーのための確率プログラミングとベイズ推定
プログラマーのための確率プログラミングとベイズ推定¶PythonとPyMCの使い方¶ベイズ推定(Bayesian method)は，確率推論のためのもっとも適切なアプローチであるにもかかわらず，書籍を読むとページ数も数式も多いので，あまり積極的に読もうとする読者は少ないのが現状である．典型的なベイズ推定の教科書では，最初の3章を使って確率の理論を説明し，それからベイズ推論とは何かを説明する．残念ながら多くのベイズモデルは解析的に解くことが困難であるため，読者が目にするのは簡単で人工的な例題ばかりになってしまう．そのため，ベイス推論と聞いても「だから何？」と思ってしまうのである．実際，著者の私がそう思っていたのだから． 最近の機械学習のコンテストで良い成績を収めることができたので，私はこのトピックを復習しようと思い立った． 私は数学には強い方である．しかしそれでも，例題や説明を読んで頭の中で
変化する世界における為替の予測可能性 - himaginary’s diary
という論文を英国の経済学者が書いている。原題は「Exchange Rate Predictability in a Changing World」で、著者はヘリオット・ワット大のJoseph P. Byrneとグラスゴー大のDimitris Korobilis、Pinho J. Ribeiro。 以下はその要旨。 An expanding literature articulates the view that Taylor rules are helpful in predicting exchange rates. In a changing world however, Taylor rule parameters may be subject to structural instabilities, for example during the Global Financial C
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog
都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
ベイズを学びたい人におすすめのサイト - download_takeshi’s diary
ベイジアンフィルタとかベイズ理論とかを勉強するにあたって、最初はなんだかよくわからないと思うので、 そんな人にお勧めのサイトを書き残しておきます。 @IT スパム対策の基本技術解説（前編）綱引きに蛇口当てゲーム？！楽しく学ぶベイズフィルターの仕組み http://www.atmarkit.co.jp/fsecurity/special/107bayes/bayes01.html いくつかの絵でわかりやすく解説してあります。 自分がしるかぎり、最もわかりやすく親切に解説してる記事です。数学とかさっぱりわからない人はまずここから読み始めるといいでしょう。 茨城大学情報工学科の教授のページから http://jubilo.cis.ibaraki.ac.jp/~isemba/KAKURITU/221.pdf PDFですが、これもわかりやすくまとまってます。 初心者でも理解しやすいし例題がいくつかあ
スペル修正プログラムはどう書くか
Peter Norvig / 青木靖 訳 先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くらいで答えが返ってきて、もしかして: spelling じゃないかと言ってくる(YahooやMicrosoftのものにも同様の機能がある)。ディーンとビルが高い実績を持ったエンジニアであり数学者であることを思えば、スペル修正のような統計的言語処理についてもっと知っていて良さそうなものなのにと私は驚いた。しかし彼らは知らなかった。よく考えてみれば、 別に彼らが知っているべき理由はないのだった。 間違っていたのは彼らの知識ではなく、私の仮定の方だ。 このことについてちゃんとした説明を書いておけば、彼らばかりでなく多くの人に有益かもしれない。Googleの
ベイズの定理でプロジェクトの失敗を予測
データを確率の枠組みでとらえる「ベイズの定理」 今回は「ベイズの定理」を概説し、この定理をプロジェクト管理にどのように利用するのか説明します。「ベイズの定理」は確率論や統計学において知られている定理であり、さまざまな事象に関するデータを確率論の枠組みで取り扱うことができるという点で有用な定理です。 確率論の枠組みでデータをとらえることができるという点は、確率や統計の知識のある方にとっては特に大きな利点であるように思えないと思いますが、これがまさにベイズの定理の特徴であるということを説明します。 なおベイズの定理はさまざまな応用があります。この定理を使った内容を総じて「ベイズ的」もしくは「ベイジアン」（Bayesian）と呼びます。今回は、ページ数の都合もあり、ベイズ的意志決定に焦点を当て、特にプロジェクト管理における課題を例として説明していきます。 統計を用いた意思決定 ベイズ的意思決定の
グーグル、インテル、MSが注目するベイズ理論:スペシャルレポート - CNET Japan
今日のコンピュータ界を動かす18世紀の確率論 今日のコンピュータ界をリードする権威ある数学者の１人であるThomas Bayes（トーマス・ベイズ）は、他の数学者と一線を画する。ベイズは神の存在を方程式で説明できると主張した人物だ。そんな彼の最も重要な論文を出版したのはベイズ本人ではなく他人であり、また、彼は241年前に亡くなっている。 ところが、なんとこの18世紀の聖職者が提唱した確率理論が、アプリケーション開発の数学的基礎の主要な部分を占めるようになっているのだ。 上記数式はベイズの定理を示したものである。難解な記号の羅列に見えるかもしれないが、大雑把に言うと何かが起こる可能性はその事柄の過去の発生頻度を使ってほぼ推測ができるということだ。研究者はこの考え方を遺伝子研究から電子メールの選別にまで応用しようとしている。 ベイズ定理の数学的な詳細説明はミネソタ大学のウェブサイトに掲載されて
PukiWikiBayesFun
重要なお知らせ：ベイズウィキのURLが変わります． † サーバーを京都大学に移動することにより ベイズウィキのURLが変わります． 新URLは，http://hawaii.sys.i.kyoto-u.ac.jp/~oba/bayeswiki/index.php で， すでに過去のデータをそのまま移して稼働中です． 以後の閲覧・書き込みは新サイトでおねがいします． ここ，旧サイトはしばらくしたら削除します． ↑ お知らせ † スパム対策に設置した併設会議場のほうのスパムがひどくなってきたので、 スパム対策を強化した本家pukiwiki のほうをメインとするべく整備中です。 2007/05/18 コメントスパム対策のために、合言葉を設定しました。 コメントを書き込むときには お名前欄に自分のハンドル名とともに bayes と半角英字で書き込む ようにして下さい。 2007/05/09 投
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習のためのベイズ最適化入門
ベイズ推定の概要 超入門
ベイズと認知モデルと教師なし学習
統計学自習ノート