ニューラルネットへのベイズ推定 - Bayesian Neural Network - nykergoto’s blog
ニューラルネットワークの過学習防止としてDropout という機構が用いられているのはご案内のとおりです。 この Dropout 、見方を変えるとディープラーニングにおける重みのベイズ推定に相当しているのではないか、という内容が Uncertainty in Deep Learning にて述べられていて、この記事ではその内容について解説していきたいと思います。 また末尾では実際にベイズ推定を実装して、予測がちゃんと不確実性を盛り込んだものになっているかどうか、を確認します。 基本的に記事の内容は元の論文(YARIN GAL さんの博士論文です)と同著者の解説ページを元にしています。それぞれ以下からアクセスできますので、解説じゃなくて自分で読みたい!という方はそちらを参考にしてください。個人的には解説も論文もとても読みやい (なんと数式もとても丁寧に記述されています!!) ので、英語が苦手
Uber徹底研究 -MaaSを支えるデータサイエンス編-｜Tack
今回はUberが使用する高度な手法について紹介します。紹介するのは以下の5つですが、レコメンドに関しては次回に回します。今回からは少し専門的な内容になります。 ・需要予測 ・配車最適化 ・ダイナミックプライシング ・解約予測 ・レコメンド(ボリュームが多いので、次回説明) 本記事は連載4回目の投稿ですが、これまでの投稿は以下の通りです。 ・Uber徹底研究 -ビジネス概要編- ・Uber徹底研究 -UX改善編- ・Uber徹底研究 -ゲーミフィケーション・行動科学編- Uberのサービスは、まるで魔法を唱えてタクシーを召喚するかのように表現されますが、その魔法の裏にあるデータサイエンスを今回は紹介していきます。 ■需要予測昨今、様々な企業が需要予測を行っています。需要予測には、通常はいわゆる時系列モデル(ARIMA等)を活用した予測や、Xgboostやランダムフォレスト等の機械学習モデルを
Variational inference with pyro
In going NUTS with pyro and pystan I mentioned that I would like to try variational inference algorithms in pyro, so here is that attempt. A disclaimer: I am not very familiar with pyro or variational inference. I'm using the same simple data and model from the NUTS post, and use the mean-field Gaussian variational family to approximate the posterior. This can be done easily using the AutoDiagonal
科学者のあり方を変える帰納プログラミング - SmartNews Engineering Blog
こんにちは。スマートニュースの高橋力矢です。前回のブログでデータ分析+ゲーム理論を題材として、帰納と演繹をまとめる利点をお伝えしました。なんらかの入力 (e.g., ゲーム理論における利得表) があり、特定のアルゴリズム (e.g., 各プレイヤーの戦略的意思決定) を記述することで出力 (e.g., ナッシュ均衡) を得るアプローチは、ほとんどのソフトウェア・エンジニアが慣れ親しんでいるプログラミングそのものです。つまり多くのエンジニアが手がけるプログラミングの実態は演繹的プログラミングです。ではこの対極に位置する帰納プログラミング (Inductive Programming) はどの程度進歩しているでしょうか。 帰納プログラミングの一分野である確率プログラミング (Probabilistic Programming) は統計学や機械学習との関係が密接で、日本でも利用者の多いStanを
Posit AI Blog: You sure? A Bayesian approach to obtaining uncertainty estimates from neural networks
You sure? A Bayesian approach to obtaining uncertainty estimates from neural networks In deep learning, there is no obvious way of obtaining uncertainty estimates. In 2016, Gal and Ghahramani proposed a method that is both theoretically grounded and practical: use dropout at test time. In this post, we introduce a refined version of this method (Gal et al. 2017) that has the network itself learn h
Variational Bayesian Inference with Stochastic Search
Variational Bayesian Inference with Stochastic Search John Paisley1 jpaisley@berkeley.edu David M. Blei3 blei@cs.princeton.edu Michael I. Jordan1,2 jordan@eecs.berkeley.edu 1 Department of EECS, 2 Department of Statistics, UC Berkeley 3 Department of Computer Science, Princeton University Abstract Mean-field variational inference is a method for approximate Bayesian posterior inference. It approxi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Variational Bayes on Manifolds
https://media.nips.cc/Conferences/2016/Slides/6199-Slides.pdf
Multi-Object Representation Learning with Iterative Variational Inference
https://dustintran.com/papers/TranDusenberryVanDerWilkHafner2018_poster.pdf
A few thoughts on uncertainty in Deep Learning
https://www.semanticscholar.org/paper/Risk-versus-Uncertainty-in-Deep-Learning-%3A-Bayes-%2C-Osband/dde4b95be20a160253a6cc9ecd75492a13d60c10
Variational Bayesian dropout: pitfalls and fixes
Variational Inference and Model Selection with Generalized Evidence Bounds
pymc3/stein.py at master · pymc-devs/pymc3 · GitHub