ニューラルネットワークの損失地形
渡辺澄夫ベイズ理論100問 with R/Stan - 共立出版
本書は、渡辺澄夫氏によって提案されたWAICおよびWBICの理論的根拠を与えるとともに、ベイズ統計学のためのソフトウェアStanによる実装を導入し、解析関数、経験過程、代数幾何、状態密度の公式などの数学をできる限りやさしく解説したものである。特に、代数幾何は例を数多く掲載した。対象読者は大学基礎課程の統計学の知識がある方、WAICやWBICの本質を知りたい方、『統計的機械学習の数理100問 with R』程度の知識がある方を想定している。 「渡辺澄夫ベイズ理論」という言葉は、渡辺氏の30年来の友人である著者が、本書を執筆するにあたって命名したものである。そこには「WAICの正当化」をはるかに超えるドラマがあった。赤池の情報量規準、甘利の情報幾何とならぶ日本統計学の偉業として渡辺澄夫氏の業績を多くの方に知っていただきたいというのが本書の願いである。 第0章 やさしく学べる渡辺澄夫ベイズ理論
神経回路は潜在的な統計学者
理化学研究所（理研）脳神経科学研究センターの磯村拓哉ユニットリーダーらの国際共同研究グループは、どのような神経回路も「自由エネルギー原理[1]」と呼ばれる近年注目される脳理論に従っており、潜在的に統計学的な推論[2]を行っていることを数理解析により明らかにしました。 本研究成果は、自由エネルギー原理の神経基盤への理解を進め、将来的には精神疾患の早期診断・治療への応用や、ヒトのように学習する脳型コンピュータ・人工知能の開発に貢献すると期待できます。 私たちは目や耳から受けた感覚入力が背後の原因からつくられる仕組みを推論することで、将来を予測し適切に行動できます。自由エネルギー原理は、それらを統一的に説明できる脳の理論です。しかし、脳の基本単位である神経細胞やシナプス結合[3]がどのように自由エネルギー原理を実装しているかは未解明です。 今回、国際共同研究グループは、神経活動の方程式から神経生
Pyroで実践するベイズ機械学習
本書について #Pyroで実践するベイズ機械学習は、Uber AI Labsが中心となって開発を進めている確率的プログラミング言語Pyroを用いてベイズ機械学習を行う方法を解説した入門書です。ベイズ機械学習の基礎からPyroでそれをどのように実装するのかまでを解説していきます。 本ドキュメントは2021/08/08 現在、制作中です。 本ドキュメントはオープンなプロジェクトであり、そのため協力者を広く求めています。本書のソースコードは GitHub上で公開されています。 本書への追記や修正などありましたら、上記GitHubにてIssueの発行、またはPull requestをお願いいたします。 本ドキュメントは Creative Commons Attribution-ShareAlike 4.0 International License のもとで公開されています。
後編 プログラミングを学ぼうと思い立つ 行列はVBAなんかじゃ無理っぽいし、..
後編 プログラミングを学ぼうと思い立つ行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。 なんでも、統計やるならRという言語がいいらしい。 最近じゃPythonというのも人気らしい。 とりあえず両方試そうということで、RのためにRとRstudioをインストール。 Pythonはanaconda プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。 深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。 「Excelでわかるディープラーニング超入門」 https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
【論文紹介】ベイズ統計における数値計算の進歩の歴史（中編：21世紀） - Qiita
こんにちは，株式会社Nospare・千葉大学の小林です．今回は前回の記事「【論文紹介】ベイズ統計における数値計算の進歩の歴史（前編：1763年から20世紀まで）」に引き続き，Martin, Frazier and Robert (2020)によるベイズ統計における数値計算（Bayesian computation）の進歩の歴史についてまとめた論文`Computing Bayes: Bayesian computation from 1763 to the 21st Century（arXivのリンク）'について紹介します．本記事は中編として，論文の中盤部分にあたる21世紀における発展について紹介します． 21世紀：２回目の革命 なぜ２回目が必要だったか？ 20世紀終盤でMCMCによるBayesian computationの手法が台頭し，非常に多くの分野・領域で利用されるようになりました．
ソフトな推論Markov Logic Networkの紹介 - Preferred Networks Research & Development
予約したもののインフォバーを手に入れられない海野です． 人間の高度な知的処理の一つが、推論処理です．今日はその推論を、述語論理と機械学習の組み合わせで模倣したMarkov Logic Networkという手法と、そのOSS実装であるAlchemyの紹介です． 鳥とはなんですか？という質問に対してどう答えるでしょうか．大雑把には、以下のように考えるでしょう． 鳥とは、空を飛ぶ動物です． この回答に対して、「ペンギンは飛ばないよ」と反論する人がいるかも知れません． 鳥とは、くちばしを持った動物です． すると、「カモノハシは鳥じゃないよ」と言われるでしょう．人間は初めて見た生き物が鳥かそうじゃないか判断するとき、どうしているのでしょうか．思うに、少数の規則（飛ぶかどうか．くちばしをもつか）から総合的に判断しているように思われます．人間の推論というのは概ね以下のような特徴を持っているのではないかと
『施策デザインのための機械学習入門』という本を技術評論社さんから出版します - Counterfactualを知りたい
Twitterでたびたび告知させていただいていますが、『施策デザインのための機械学習入門』という本を技術評論社さんから出させていただきます。紙版は8月4日発売（本記事公開の翌日）、電子版は7月30日にすでに発売されています。 gihyo.jp www.amazon.co.jp 本書の概要は次の通りです。 予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は，機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザイン
「施策デザインのための機械学習入門 データ分析技術のビジネス活用における正しい考え方」 読んだ - 糞糞糞ネット弁慶
施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました．いくつか読むべき本があったのですが，社内で読書会をするために優先して読みました．感想を書きます． 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている，「効果検証入門」の著者でも知られる安井翔太氏．監修はホクソエム社． 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない．運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり，原著を読める人間だけが読めばいい．」と主張している背景があります) という話をしても一部の人に
カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
small large
小さな世界と大きな世界 渡辺澄夫 １ 質問 質問 学生の皆様から次の質問をいただきました。 質問 「統計学を紹介する動画を見ていたら 小さな世界 と 大きな世界 という言葉が 出てきたのですが、それらは何ですか」 このファイルでは上記の質問にお答えします。 答えのみ知りたい人は「４回答」をご覧ください。 小さな世界と大きな世界とは https://www.youtube.com/watch?v=4WVelCswXo4 40:30 あたりで、small and large worlds が説明がされています。 いただいたご質問について、小さな世界と大きな世界は 下記の動画で説明されています。 R.McElreath, Statistical Rethinking 言葉を作った人 小さな世界 という言葉は 主観ベイズ法の提案者 L.J. Savage に よって作られたようです。 用語の混同に
Interpretable Machine Learning
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
輸送問題を近似的に行列計算で解く（機械学習への応用つき） - 私と理論
輸送問題と呼ばれる問題があります． この問題は，普通は線形計画法やフローのアルゴリズムを使って解かれます． この記事では，この輸送問題を近似的に行列計算で解くアルゴリズム（エントロピー正則化 + Sinkhorn-Knopp アルゴリズム）を紹介します． 輸送問題とは アルゴリズム 得られる解の例 なぜこれで解けるのか？ 競プロの問題を解いてみる 機械学習界隈における流行 まとめ 輸送問題とは 輸送問題とは以下のような問題です． 件の工場と 件の店舗からなる，ある商品の流通圏があるとする． 各工場には 個の在庫がある.． 各店舗では 個の需要がある． 在庫の総和と需要の総和は等しいとする （すなわち ）． 工場 から店舗 に商品を一つ運ぶためには の輸送コストがかかる． 各工場 から各店舗 への輸送量 を適切に決めて，各店舗の需要を満たしつつ輸送コストの総和を最小化せよ． 輸送問題は最適化
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年度講義情報ページ
https://twitter.com/Idesan/status/1564393355743723523
GitHub - sammy-suyama/PythonBayesianMLBook: 「Pythonではじめるベイズ機械学習入門」のサポートページです。
https://twitter.com/sammy_suyama/status/1514480469894524929
須山敦志 Suyama Atsushi on Twitter: "目次はこちらです。 https://t.co/4seRfgPohS https://t.co/uLb1DLw9QZ"
須山敦志 Suyama Atsushi on Twitter: "「ルールベース」って偽物AIの代名詞みたいに言われてますが、本来理想とすべきは明確なルールや法則を抜き出すことなんであり、それができないから機械学習やら確率やら使って何とかその場をしのいでいる、という見方もできます。"