広く使える情報量規準(WAIC)
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は（真の分布、確率モデル、事前分布）がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます（注１）。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
ディープラーニングは自動で特徴を抽出してくれる？ - HELLO CYBERNETICS
はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足：本当に自動機械学習に向けて はじめに 未だに強く主張されることの多い「ディープラーニングは人手の特徴抽出作業を自動で実施してくれる」という話。 このことについては肯定も否定もしないというのが私の立場ですが、基本的に「思っているより思い通りには行かない」という事実があることは主張しておきたいです。 そのために、今回「ディープラーニングが自動で特徴抽出を行ってくれる」ということがどういうことなのかを簡単に説明します。 特徴抽出とは まず特徴抽出とは何かを説明していきましょう。特に断りが無い限りは大文字は行列、小文字はベクトルあるいはスカラーだと思って差し支えありません（今回は特に細かい数式の設定が議論に影響することはありません）。 今、入力 $x$ で出力が $y$ となるような適当なデータ
力学系の性質とその分類、予測への応用に関する論文紹介 - xiangze's sparse blog
機械学習やコンピュータービジョンの分野で力学系の知見を取り入れること、あるいは力学系研究において機械学習や統計的予測の手法を用いることは有用です。 以下では力学系の特徴的な量を用いた時系列データ、動画の分類、予測生成に関する研究を紹介いたします。 Chaotic Invariants for Human Action Recognition(pdf) 人体を構成する関節の動きを時系列としてとらえ、それを状態空間内に埋め込み、非線形力学系としてとらえた場合の不変量から人間の動作を分類、識別しようと言う試みです。 先行研究 従来の人間の動作の分類、識別の研究では 関節や人体の一部、画像の点の動きの隠れマルコフモデル(HMM)などを用いたモデル化が主流でした。モデル化のためには詳細な情報が必要であり、また学習の手順を踏む必要がありました。 人間の動作のもつ力学系としての性質を使うことでパラメータ
ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。
今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる２つの計算規則（和の規則、積の規則）を取り上げます。また、ベイズ学習に関わるややこしい用語たち（データ、尤度関数、事前分布、事後分布、エビデンス、予測分布、などなど）に関しても念のためここで整理しておきたいと思います。そして最後に、簡単な多次元のガウス分布とウィシャート分布を使ったベイズ推論の例を取り上げ、それぞれの用語や概念との具体的な結びつきについて触れたいと思っています。 ・ベイズ学習の基本概念 さて、確率モデルを使ったベイズ推論を行う上で最小限必要なのは次のたった２つの計算ルールです。 <和の規則> <積の規則> は同時分布（joint distribution）、は条件付き分布（conditional distribution）と呼ぶんでした。極端な言い方をしてしまうと、ベイズ推
【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】 - HELLO CYBERNETICS
はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング（採取） 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 （補足）ベイズ推論 理論的な学習の評価 これまでの話との関連 汎化誤差の近似 最後に はじめに 機械学習、統計分析に少しでも触れたことのある方は「過学習」という言葉を聞いたことがあるでしょう。 データに対してパラメータをうまくフィッティング させすぎている場合 に生ずる現象です。 過学習が起こらないように上手に正則化などを用いて、学習できる能力を制限したり、日夜ハイパーパラメータの調整に明け暮れている人もいるかもしれません。今回は訓練誤差と汎化誤差という2つの誤差をしっかりと理解して、なぜに過学習なるものが起こるのかを見ていきます。 そうすることで、普段行っている「学習」であるとか「推定」であ
ガシンラーニング
今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社
行列ガンマ分布の規格化定数の計算方法について - わかばめにっき
多次元ガウス分布の精度行列のベイズ推論を行う際にあらわれる行列ガンマ分布： \begin{align*} \textrm{MGam}(\Lambda|a,B) &= C(a,B) |\Lambda|^{a-1}\exp\{-\langle B, \Lambda\rangle\} \end{align*} の規格化定数 \begin{align*} C(a,B)^{-1} &= \int_{\Lambda\in \mathrm{Sym}_+(d)} |\Lambda|^{a-1}\exp\{-\langle B, \Lambda\rangle\}\,d\Lambda \end{align*} の計算方法について述べます. 計算したくなる場合: 多次元ガウス分布の精度行列のベイズ推論をしたいとき 一次元ガウス分布の精度行列のベイズ推論をする際には, 事前分布としてガンマ分布が表れました. 事前
最尤推定、MAP推定、ベイズ推論 - 作って遊ぶ機械学習。
今回は、最尤推定、MAP推定（事後確率最大化推定、正則化）、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 KL divergence 確率の加法定理、乗法定理 \[ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \] $x$を観測データ、$\theta$をパラメータとした確率モデル$p(x, \theta)$に対して、それぞれの推定方法は一般的には下記のように認識されているようです。 ・最尤推定 \[ \theta_{ML} = \argmax_{\theta} \{ p(x|\the
作って遊ぶ機械学習。
今回は８月に出版した講談社機械学習プロフェッショナルシリーズの「ベイズ深層学習」の概要を書いてみます． www.kspub.co.jp 講談社のページ等では目次は載っていますが，それより詳細な情報はネットにはないので，もう少しだけ踏み込んだ内容をここで紹介することにします． 内容紹介 第1章 はじめに ベイズ統計と深層学習（ディープラーニング）は仲が悪いように世間的には見られがちですが，実は両者は非常に親和性が高いことを解説しています． 両分野のそれぞれの利点としては，ベイズ統計ではモデルの高い解釈性や設計の明確さ，深層学習ではGPUなどを用いた大規模データの効率的な計算方法等を挙げることができます．これらの利点は相補的であり，組み合わせることによってアルゴリズムの改善が期待できます． また，両分野には共通点もあります．深層学習ではタスクごとにネットワーク構造を設計する必要性がありますが，
ガウス過程の考え方 - Qiita
次元と近似の話。 100次元空間にプロットAがあるとする。 しかし、我々には限られた測定手段しかない。 そう。たった10通りの方法＝10次元のパラメータしか測れない そうすると、100次元空間のプロットAは10次元空間に近似して表現される。 この近似は、残りの90次元の情報を捨てているという意味ですね。 ところで、手元にある10次元のパラメータは、一般には、互いに独立ではないですね。 今日の歩数$α$と、ラーメン摂取量$β$、体重変化量$γ$と、は、互いに独立ではない。 で、ポイントは、$α, β, γ$をジックリ調べてみる。 何か怪しい。 良く歩いている。ラーメンを食べていない。なのに体重が1kgも増えている。 さては、ビールをがぶ飲みしながら揚げ物を食べまくったな。 きっと、財布の中身も減っているでしょう。 つまり、パラメータ間の相関関係を仮定する事で、測定していない(次元)情報を推定
MLPシリーズ「ベイズ深層学習」概要まとめ - 作って遊ぶ機械学習。
今回は８月に出版した講談社機械学習プロフェッショナルシリーズの「ベイズ深層学習」の概要を書いてみます． www.kspub.co.jp 講談社のページ等では目次は載っていますが，それより詳細な情報はネットにはないので，もう少しだけ踏み込んだ内容をここで紹介することにします． 内容紹介 第1章 はじめに ベイズ統計と深層学習（ディープラーニング）は仲が悪いように世間的には見られがちですが，実は両者は非常に親和性が高いことを解説しています． 両分野のそれぞれの利点としては，ベイズ統計ではモデルの高い解釈性や設計の明確さ，深層学習ではGPUなどを用いた大規模データの効率的な計算方法等を挙げることができます．これらの利点は相補的であり，組み合わせることによってアルゴリズムの改善が期待できます． また，両分野には共通点もあります．深層学習ではタスクごとにネットワーク構造を設計する必要性がありますが，
【これなら分かる！】変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。Beginaid
本記事の内容は新ブログに移行されました。 新しい記事へ こちらのブログにコメントをいただいても ご返信が遅れてしまう場合がございます。 予めご了承ください。 ご質問やフィードバックは 上記サイトへお願い致します。 今回は，確率モデルの潜在変数・パラメータの事後分布を求めるための繰り返し近似法である変分ベイズ法（Variational Bayesian methods）の解説とPythonで実装する方法をお伝えしていこうと思います。 本記事はpython実践講座シリーズの内容になります。その他の記事は，こちらの「Python入門講座/実践講座まとめ」をご覧ください。また，本記事の実装はPRML「パターン認識と機械学習＜第10章＞」に基づいています。演習問題は当サイトにて簡単に解答を載せていますので，参考にしていただければと思います。 【目次ページ】PRML演習問題解答を全力で分かりやすく解説
統計的学習の基礎 - 共立出版
機械学習とは、コンピュータに学習能力を持たせるための方法論を研究する学問の名称であり、もともとは人工知能分野の一部として研究されていた。その後、機械学習は統計学と密接な関わりを持つようになり、「統計的学習」として独自の発展の道を歩み始めた。そして、1990年代から現在に至るまでの計算機やインターネットの爆発的な普及と相まって統計的学習の技術は目覚ましい発展を遂げ、いまや情報検索、オンラインショッピングなど、われわれの日常生活とは切り離すことのできない情報通信技術の根幹を支える重要な要素技術の一つとなった。 本書は、このような発展著しい統計的学習分野の世界的に著名な教科書である“The Elements of Statistical Learning” の全訳である。回帰や分類などの教師あり学習の入門的な話題から、ニューラルネットワーク、サポートベクトルマシンなどのより洗練された学習器、ブー
スパース推定法による統計モデリング - 共立出版
変数選択問題は統計学における重要な問題の一つである。この問題に対して、近年、変数選択とモデルの推定を同時に行うスパース正則化を用いる方法が開発された。この方法によって、従来では扱うことが難しかった高次元データに対しても変数選択が実行可能となり、スパース正則化法は一気に注目されるようになった。さらに、変数選択だけでなく、データ発生の疎性構造を抽出するという、より一般的な観点からの研究が進むようになり、たとえば、グラフ構造における辺選択などにも拡張されている。これらの方法は総称してスパース推定と呼ばれ、統計学の基本ツールになりつつある。 本書は、スパース推定の入門的内容から発展的内容までを解説している。実用性を重視するため、スパース推定を用いた統計モデリングを中心にできるだけ数多く解説し、「スパース推定を用いると、こういう統計解析が可能になる」というような、統計解析におけるスパース推定の有用性
スパースモデルではshrinkage factorの分布を考慮しよう ～馬蹄事前分布（horseshoe prior）の紹介～ - StatModeling Memorandum
ベイズ統計の枠組みにおいて、回帰係数の事前分布に二重指数分布（ラプラス分布）を設定し回帰を実行してMAP推定値を求めると、lassoに対応した結果になります。また、回帰係数にt分布を設定する手法もあります。これらの手法は「shrinkage factorの分布」という観点から見ると見通しがよいです。さらに、その観点から見ると、馬蹄事前分布が魅力的な性質を持っていることが分かります。この記事ではそれらを簡単に説明します。 なお、lassoそのものに関しては触れません。岩波DS5がlassoを中心にスパースモデリングを多角的に捉えた良い書籍になっているので、ぜひそちらを参照してください。 岩波データサイエンス Vol.5 発売日: 2017/02/16メディア: 単行本（ソフトカバー） 参考文献 [1] C. Carvalho et al. (2008). The Horseshoe Esti
双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ
はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
研究会賞 | 情報論的学習理論と機械学習 (IBISML) 研究会
Tsuyoshi Ide (井手 剛) on Twitter: "浅学菲才による誤解だと思うが、統計学と、ついでに言えば、制御理論には可読な本が少ない。両者にまたがる時系列解析は特に困る。たとえば、カルマンフィルタは、ビショップの機械学習の本に出合うまでまったく謎だった。なぜあんなに無味乾燥・意味不明に書く本が多いのか不思議。"
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2018/ML_Gairon/ML_Gairon_02_mod.pdf
深層学習の数理
