Deep Learningの理論的論文リスト - Obey Your MATHEMATICS.
§1はじめに Deep Learningってどのくらい理論的に解明されているのか？ってやっぱり気になりますよね。 それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。 When will we see a theoretical background and mathematical foundation for deep learning? - Quora How far along are we in the understanding of why deep learning works? - Quora 深層学習界の大御所であるYoshua Bengio、Yann LeCunの二人が 実際ディープラーニングの理論的理解ってどうなのよ？？ って質問に直々にコメントしています。 LeCunのコメントの冒頭を少し引用しますと; That’s a very active
EdwardによるDeep Beta Distribution(深層ベータ分布)モデル - Obey Your MATHEMATICS.
こんにちは。お久しぶりの投稿です。 来週末に開催される db analytics show case Sapporo www.db-tech-showcase.com と言うイベントで講演する事になってまして、ベイズ統計やMCMCの基本的なところからEdwardのデモまでやっていく予定なのですが ただ基本的なモデルを紹介するのもおもしろくないので、僕なりの新しい深層学習＋確率モデリングなモデルを考えましたので紹介したいと思います。 EdwardやMCMCの基本的なところについては弊社のブログに寄稿した以下の記事が詳しいので合わせてそちらも御覧ください↓ data.gunosy.io §1. お気持ち 例えば、ユーザーが付ける商品のレーティングを予測したいと考えます。 これは通常ターゲット が閉区間 に値を取る回帰問題として定式化されます。*1 与えられた特徴量に対して、予測値 を出力するわ
ただの微分幾何学徒だった僕がデータサイエンスを何故/どのように勉強したのか - Obey Your MATHEMATICS.
こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受
アヒル本のモデルをいくつかPyMCで実装しました. 詰まったところ. - Obey Your MATHEMATICS.
今話題のアヒル本 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (8件) を見る の後半の方にあるモデルをいくつかPyMC3で実装しました： github.com 特に一番重要であろうChapter8は全部実装してあります。 間違いや、こうしたらどうですか？みたいなコメントあったらTwitterまで御連絡ください。 この本は”統計モデリングとは”から始まり懇切丁寧にベイズ統計の実践方法を解説してあり、とてもためになります。 データ分析プロセス↓に並んで、Rユーザー以外にもおすすめ出来ます。*1 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行
"PyMC3" x "DNN" x "ADVI"で学習させて重みを可視化したら綺麗だったと言う話 - Obey Your MATHEMATICS.
こんにちは。 先日今話題沸騰中の ライブラリ Edward でVariational InferenceでBayesian DNNを学習させてみたと言う記事を書きました: mathetake.hatenablog.com 今回の記事は、Edwardの対抗馬(？)の一つであるPyMC3 を使って DNNの分類器をADVIでミニバッチ学習させるまでの道のりとその結果を簡単にご報告します。 例のごとく、Higgs粒子のデータセット mathetake.hatenablog.com を使います。 PyMCの開発者のブログ記事↓をかなり参考にしました。 Bayesian Deep Learning コード全文はこの記事の下にGistのリンク張っておきますのでそちらを。 §1 準備 まず諸々のモジュールをimportしてから 前回の記事で作成したデータセットを読み込み、加工します。 import py
EdwardでBayesian DNN＋Variational Inferenceをやってみた話 - Obey Your MATHEMATICS.
こんにちは。 今（僕の中で）話題沸騰中のベイズ統計用Pythonライブラリ Edward GitHub - blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow. を使って Bayesian DNN ＆ Variational Inference をやってみましたので、その報告＆コードの簡単な解説＆感想をこの記事では残しておこうと思います。 前回の記事 mathetake.hatenablog.com で用意したHiggs粒子データセットを使って、分類器を作ろうと思います. ※Edwardってなんぞやって人は、公式Webまたは次の論文 [1701.037
ガウス過程の定義と存在を測度論の言葉を使って、出て来る言葉の定義を全て与えて、ごまかさないで、しっかりと、数学的に説明してみようと思ったけど、ただの機械学習のための測度論的確率論超絶速習コースになってしまいました。 - Obey Your MATHEMATICS.
こんにちは。 今回は、このブログを読んでいる機械学習界隈の人なら必ず一度は聞いたことがあるであろう ガウス過程(Gaussian Process) についてです。かの有名な悪名高いPRMLにも頻繁に登場しますし、機械学習の本や論文にはしょっちゅう出て来る存在だと思います。僕の大好きなベイズ最適化 mathetake.hatenablog.com においても非常に重要な数学的概念です。 ガウス過程の説明でよくあるあるのは、 「確率変数の集まりであって、有限個取った場合にその同時分布はガウシアンである」 と言うものですが、、、。 肝心なのは、皆さん、 ・確率変数って何か分かってますか？ ・確率分布ってなにか分かってますか？ ・そもそも確率って何か分かっていますか？ と言う話なのです。曖昧な土台の上で議論や話を進めるの、もうやめにしませんか？気持ち悪くありませんか？ そして重要なのは、ガウス過程
Universal Approximation Theoremと深層学習の有効さ - From Pure Math to Applied Math
2016 - 11 - 03 Universal Approximation Theoremと深層学習の有効さ Deep Learning 機械学習 皆さん Universal Approximation Theorem Universal approximation theorem - Wikipedia をご存知でしょうか。 もしこれを知らないで深層学習や 人工ニューラルネットワーク (ANN)を使っている(実装している)としたら、 それは 無免許運転 のようなものでしょう。 お話になりません。 数学的厳密性を犠牲にしてRoughly Speakingで説明すると、 この定理が主張するのは ””適切な活性化関数を使えば、ANNは 任意の関数 を 任意の精度 で近似することが出来る”” と言うものです。 これによってANNの ”強さ” が保証されているわけですが、、、、。 こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
