![ニューラルネットワークの損失地形](https://cdn-ak-scissors.b.st-hatena.com/image/square/0604c481f6e88563b777a016628cd15e15d3fac8/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F0c13bc407eeb456db8021f92e60daeda%2Fslide_0.jpg%3F31611117)
本書は、渡辺澄夫氏によって提案されたWAICおよびWBICの理論的根拠を与えるとともに、ベイズ統計学のためのソフトウェアStanによる実装を導入し、解析関数、経験過程、代数幾何、状態密度の公式などの数学をできる限りやさしく解説したものである。特に、代数幾何は例を数多く掲載した。対象読者は大学基礎課程の統計学の知識がある方、WAICやWBICの本質を知りたい方、『統計的機械学習の数理100問 with R』程度の知識がある方を想定している。 「渡辺澄夫ベイズ理論」という言葉は、渡辺氏の30年来の友人である著者が、本書を執筆するにあたって命名したものである。そこには「WAICの正当化」をはるかに超えるドラマがあった。赤池の情報量規準、甘利の情報幾何とならぶ日本統計学の偉業として渡辺澄夫氏の業績を多くの方に知っていただきたいというのが本書の願いである。 第0章 やさしく学べる渡辺澄夫ベイズ理論
はじめに 対戦ゲームのレーティングシステムとして多く採用されているElo Ratingですが, その計算式を見ると内部で行っていることはロジスティック回帰とほとんど一致することがわかります. この記事ではロジスティック回帰とElo Ratingについて簡単に説明し,それらの関係について見ていきます. また,ついでにこの事実を応用した格闘ゲームのキャラ相性解析のアイデアについて紹介したいと思います. ロジスティック回帰 ロジスティック回帰は2値分類問題の推論や分析に利用される一般化線形モデルの一つです. ロジスティック回帰ではロジット(対数オッズ)を線形モデルで予測します.*1 このことは予測確率を,線形モデルの出力を,ロジスティック回帰の重みベクトルを,バイアスを,入力ベクトルをとした時以下の式で表されます. 予測確率の計算 予測確率は以下の式で求まります.*2 更新式 ロジスティック回帰
本書について #Pyroで実践するベイズ機械学習は、Uber AI Labsが中心となって開発を進めている確率的プログラミング言語Pyroを用いてベイズ機械学習を行う方法を解説した入門書です。ベイズ機械学習の基礎からPyroでそれをどのように実装するのかまでを解説していきます。 本ドキュメントは2021/08/08 現在、制作中です。 本ドキュメントはオープンなプロジェクトであり、そのため協力者を広く求めています。本書のソースコードは GitHub上で公開されています。 本書への追記や修正などありましたら、上記GitHubにてIssueの発行、またはPull requestをお願いいたします。 本ドキュメントは Creative Commons Attribution-ShareAlike 4.0 International License のもとで公開されています。
こんにちは,株式会社Nospare・千葉大学の小林です.本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します.この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています. 8つのアイデア 反事実(counterfactual)に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ(overparameterized)モデルと正則化(ガウス過程,Lasso, horseshoe, ベイズnonparametric priorなど) ベイズマルチレベル(階層)モデル 汎用的な計算アルゴリズム(EM, MCMC, SMC, HMC, 変分法など) 適応的決定分析(ベイズ最
こんにちは,株式会社Nospare・千葉大学の小林です.今回は前回の記事「【論文紹介】ベイズ統計における数値計算の進歩の歴史(前編:1763年から20世紀まで)」に引き続き,Martin, Frazier and Robert (2020)によるベイズ統計における数値計算(Bayesian computation)の進歩の歴史についてまとめた論文`Computing Bayes: Bayesian computation from 1763 to the 21st Century(arXivのリンク)'について紹介します.本記事は中編として,論文の中盤部分にあたる21世紀における発展について紹介します. 21世紀:2回目の革命 なぜ2回目が必要だったか? 20世紀終盤でMCMCによるBayesian computationの手法が台頭し,非常に多くの分野・領域で利用されるようになりました.
新たな数学の定理の発見や、未証明の予想の解決にAIが役立つ──そんな研究結果を、囲碁AI「AlphaGo」などで知られる英DeepMindが発表した。順列に関する新しい定理を発見した他、ひもの結び目を数学的に研究する「結び目理論」についても、異なる数学の分野をつなぐ、予想していなかった関係性を見つけたという。 DeepMindは、豪シドニー大学と英オックスフォード大学の数学者とともに数学研究を支援するための機械学習フレームワークを構築。これまでも数学者は、研究対象を調べるためにコンピュータを使い、さまざまなパターンを生成することで発見に役立ててきたが、そのパターンの意義は数学者自身が考察してきた。しかし、研究対象によっては何千もの次元があることから、人間による考察も限界があった。 今回開発したアルゴリズムは、こうしたパターンを検索する他、教師あり学習を基にその意味を理解しようと試みるという
We propose a categorical semantics of gradient-based machine learning algorithms in terms of lenses, parametrised maps, and reverse derivative categories. This foundation provides a powerful explanatory and unifying framework: it encompasses a variety of gradient descent algorithms such as ADAM, AdaGrad, and Nesterov momentum, as well as a variety of loss functions such as as MSE and Softmax cross
Twitterでたびたび告知させていただいていますが、『施策デザインのための機械学習入門』という本を技術評論社さんから出させていただきます。紙版は8月4日発売(本記事公開の翌日)、電子版は7月30日にすでに発売されています。 gihyo.jp www.amazon.co.jp 本書の概要は次の通りです。 予測に基づいた広告配信や商品推薦など,ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で,多くの機械学習エンジニアやデータサイエンティストが,手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず,実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は,機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザイン
施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました.いくつか読むべき本があったのですが,社内で読書会をするために優先して読みました.感想を書きます. 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている,「効果検証入門」の著者でも知られる安井翔太氏.監修はホクソエム社. 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない.運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり,原著を読める人間だけが読めばいい.」と主張している背景があります) という話をしても一部の人に
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
JASRAC許諾第9009285055Y45038号 JASRAC許諾第9009285050Y45038号 JASRAC許諾第9009285049Y43128号 許諾番号 ID000002929 ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。
小さな世界と大きな世界 渡辺澄夫 1 質問 質問 学生の皆様から次の質問をいただきました。 質問 「統計学を紹介する動画を見ていたら 小さな世界 と 大きな世界 という言葉が 出てきたのですが、それらは何ですか」 このファイルでは上記の質問にお答えします。 答えのみ知りたい人は「4回答」をご覧ください。 小さな世界と大きな世界とは https://www.youtube.com/watch?v=4WVelCswXo4 40:30 あたりで、small and large worlds が説明がされています。 いただいたご質問について、小さな世界と大きな世界は 下記の動画で説明されています。 R.McElreath, Statistical Rethinking 言葉を作った人 小さな世界 という言葉は 主観ベイズ法の提案者 L.J. Savage に よって作られたようです。 用語の混同に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く