EdwardによるDeep Beta Distribution(深層ベータ分布)モデル - Obey Your MATHEMATICS.
こんにちは。お久しぶりの投稿です。 来週末に開催される db analytics show case Sapporo www.db-tech-showcase.com と言うイベントで講演する事になってまして、ベイズ統計やMCMCの基本的なところからEdwardのデモまでやっていく予定なのですが ただ基本的なモデルを紹介するのもおもしろくないので、僕なりの新しい深層学習＋確率モデリングなモデルを考えましたので紹介したいと思います。 EdwardやMCMCの基本的なところについては弊社のブログに寄稿した以下の記事が詳しいので合わせてそちらも御覧ください↓ data.gunosy.io §1. お気持ち 例えば、ユーザーが付ける商品のレーティングを予測したいと考えます。 これは通常ターゲット が閉区間 に値を取る回帰問題として定式化されます。*1 与えられた特徴量に対して、予測値 を出力するわ
"PyMC3" x "DNN" x "ADVI"で学習させて重みを可視化したら綺麗だったと言う話 - Obey Your MATHEMATICS.
こんにちは。 先日今話題沸騰中の ライブラリ Edward でVariational InferenceでBayesian DNNを学習させてみたと言う記事を書きました: mathetake.hatenablog.com 今回の記事は、Edwardの対抗馬(？)の一つであるPyMC3 を使って DNNの分類器をADVIでミニバッチ学習させるまでの道のりとその結果を簡単にご報告します。 例のごとく、Higgs粒子のデータセット mathetake.hatenablog.com を使います。 PyMCの開発者のブログ記事↓をかなり参考にしました。 Bayesian Deep Learning コード全文はこの記事の下にGistのリンク張っておきますのでそちらを。 §1 準備 まず諸々のモジュールをimportしてから 前回の記事で作成したデータセットを読み込み、加工します。 import py
アヒル本のモデルをいくつかPyMCで実装しました. 詰まったところ. - Obey Your MATHEMATICS.
今話題のアヒル本 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (8件) を見る の後半の方にあるモデルをいくつかPyMC3で実装しました： github.com 特に一番重要であろうChapter8は全部実装してあります。 間違いや、こうしたらどうですか？みたいなコメントあったらTwitterまで御連絡ください。 この本は”統計モデリングとは”から始まり懇切丁寧にベイズ統計の実践方法を解説してあり、とてもためになります。 データ分析プロセス↓に並んで、Rユーザー以外にもおすすめ出来ます。*1 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行
EdwardでBayesian DNN＋Variational Inferenceをやってみた話 - Obey Your MATHEMATICS.
こんにちは。 今（僕の中で）話題沸騰中のベイズ統計用Pythonライブラリ Edward GitHub - blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow. を使って Bayesian DNN ＆ Variational Inference をやってみましたので、その報告＆コードの簡単な解説＆感想をこの記事では残しておこうと思います。 前回の記事 mathetake.hatenablog.com で用意したHiggs粒子データセットを使って、分類器を作ろうと思います. ※Edwardってなんぞやって人は、公式Webまたは次の論文 [1701.037
Reproducing Kernel Hilbert Spaceの数理とMercerの定理 - Obey Your MATHEMATICS.
こんにちは。 この記事は、皆さんサポートベクトルマシン(SVM)でお馴染みであろう Reproducing Kernel Hilbert Space (再生核ヒルベルト空間) : (以下RKHS) に関するただの個人的なメモです。 動機は、非常に重用なMercerの定理の証明がウェブ上で簡単に見つからなかったために色々調べてたものを整理する事です。 個人的に、RKHS周りの数理を整理しておきたかった、と言うのもあります。 ※一応、ヒルベルト空間とその有界作用素の定義ぐらい知っていれば読めるようにリファレンスはなるべく付けてありますが、どう考えてもself-containedな記事ではありません。 §1. RHKSの定義とカーネルの関係 を任意の空でない集合とします。 定義(Reproducing Kernel Hilbert Space) 上の関数から成る実ヒルベルト空間 が 上のRepr
”ANNの内部状態はその出力関数から一意的に決まるのか”と言う問題の驚くべき解答 - Obey Your MATHEMATICS.
こんにちは。 タイトルの意味ですが、 人工ニューラルネットワークの １. 隠れ層の数 ２.各層のニューロンの数 ３.重み ４.バイアス この４つは出力関数だけを見れば決まるのか？ と言うものです。 実はこの問題、特異点の解消の観点から、非常に重要(少なくとも従来の統計理論上)な問題なんですが、 現在一般的に使われるような何十にもなる多層ネットワークに関しては全くの手付かずの状態でした。 どんだけ調べても3層のネットワークの場合しか調べられていない。 そんなモチベーションがあって ここ一週間僕がずっと過去の結果[1,2,3]を拡張しようとしていたわけですが。。。 (部分的には拡張出来ましたが、壁にぶち当たっていました。) ですが実は今日、それに関連する(個人的に)驚くべき結果を見つけたため、共有します。 その論文は C. Fefferman ,Reconstructing a neural
Deep Learningの理論的論文リスト - Obey Your MATHEMATICS.
§1はじめに Deep Learningってどのくらい理論的に解明されているのか？ってやっぱり気になりますよね。 それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。 When will we see a theoretical background and mathematical foundation for deep learning? - Quora How far along are we in the understanding of why deep learning works? - Quora 深層学習界の大御所であるYoshua Bengio、Yann LeCunの二人が 実際ディープラーニングの理論的理解ってどうなのよ？？ って質問に直々にコメントしています。 LeCunのコメントの冒頭を少し引用しますと; That’s a very active
ベイズ統計の数理について−WAICとその数学− - Obey Your MATHEMATICS.
お久しぶりの投稿です。 最近修論やらなにやらで機械学習も統計もあまりモチベーションがなかったんですが、復活してきたので書きます。書きます。 今回の記事は、Sumio Watanabe大先生が確立した 特異モデルまでをも包括した*1 歴史上唯一のベイズ統計の理論と、そこから導出されるWAICやその裏側にある数学についてのメモを残したいと思います。 これからWatanabe先生の理論を勉強しようと思ってる人や、その概略だけでも知りたい人向けの記事です、が、あくまでメモです(disclaimer)。 この理論は多様体やら代数幾何やら特異点解消やら、なんだか難しい数学の概念がたくさん出てくると言うタレコミがあるため避けている人が大多数だと思いますが、それらの代数幾何学を理解する事は決してPractitionerが理解したいと思う範囲で本質的ではなく、結局は測度論(ルベーグ積分論)・関数解析・確率解
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
