Pyroで実践するベイズ機械学習
本書について #Pyroで実践するベイズ機械学習は、Uber AI Labsが中心となって開発を進めている確率的プログラミング言語Pyroを用いてベイズ機械学習を行う方法を解説した入門書です。ベイズ機械学習の基礎からPyroでそれをどのように実装するのかまでを解説していきます。 本ドキュメントは2021/08/08 現在、制作中です。 本ドキュメントはオープンなプロジェクトであり、そのため協力者を広く求めています。本書のソースコードは GitHub上で公開されています。 本書への追記や修正などありましたら、上記GitHubにてIssueの発行、またはPull requestをお願いいたします。 本ドキュメントは Creative Commons Attribution-ShareAlike 4.0 International License のもとで公開されています。
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
Categorical Foundations of Gradient-Based Learning
We propose a categorical semantics of gradient-based machine learning algorithms in terms of lenses, parametrised maps, and reverse derivative categories. This foundation provides a powerful explanatory and unifying framework: it encompasses a variety of gradient descent algorithms such as ADAM, AdaGrad, and Nesterov momentum, as well as a variety of loss functions such as as MSE and Softmax cross
『施策デザインのための機械学習入門』という本を技術評論社さんから出版します - Counterfactualを知りたい
Twitterでたびたび告知させていただいていますが、『施策デザインのための機械学習入門』という本を技術評論社さんから出させていただきます。紙版は8月4日発売（本記事公開の翌日）、電子版は7月30日にすでに発売されています。 gihyo.jp www.amazon.co.jp 本書の概要は次の通りです。 予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は，機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザイン
「施策デザインのための機械学習入門 データ分析技術のビジネス活用における正しい考え方」 読んだ - 糞糞糞ネット弁慶
施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました．いくつか読むべき本があったのですが，社内で読書会をするために優先して読みました．感想を書きます． 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている，「効果検証入門」の著者でも知られる安井翔太氏．監修はホクソエム社． 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない．運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり，原著を読める人間だけが読めばいい．」と主張している背景があります) という話をしても一部の人に
カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
なぜ統計学では釣り鐘型の分布が使われ、物理現象では右肩下がりの分布が使われるのか - 小人さんの妄想
「なぜ統計学では釣り鐘型の分布が使われ、物理現象では右肩下がりの分布が使われるのでしょうか」 という疑問を、統計学や物理学の有識者に会うたびごとに質問するが、こんな基本的なことに誰も答えられない -- データの見えざる手 [矢野和夫](思想社) P.32 より. 釣り鐘型の分布とは、正規分布（ガウス分布）のこと。 右肩下がりの分布とは、指数分布（ボルツマン分布、上の書籍内では「Ｕ分布」）のことです。 ここに２つのグラフがあります。 １つは全国１７歳学童の身長の分布、もう１つは二人以上の世帯の貯蓄額の分布です。 見ての通り、身長は釣り鐘型の正規分布で、貯蓄額は右肩下がりの指数分布です（近似的には）。 * 学校保健統計調査 平成２７年度 全国表 > 身長の年齢別分布 >> http://www.e-stat.go.jp/SG1/estat/List.do?bid=000001070659&cy
Kenji Kashima on Twitter: "学部で習うきれいな制御理論が、一歩だけガウシアンの外に出るとどうなるか解説する機会を頂きました。「思ったほど汚くないな」でも「やっぱりガウシアンの外は沼だな」でも、ささやかな情報提供になれば幸甚です。 https://t.co/hvVYQlSLlH"
学部で習うきれいな制御理論が、一歩だけガウシアンの外に出るとどうなるか解説する機会を頂きました。「思ったほど汚くないな」でも「やっぱりガウシアンの外は沼だな」でも、ささやかな情報提供になれば幸甚です。 https://t.co/hvVYQlSLlH
small large
小さな世界と大きな世界 渡辺澄夫 １ 質問 質問 学生の皆様から次の質問をいただきました。 質問 「統計学を紹介する動画を見ていたら 小さな世界 と 大きな世界 という言葉が 出てきたのですが、それらは何ですか」 このファイルでは上記の質問にお答えします。 答えのみ知りたい人は「４回答」をご覧ください。 小さな世界と大きな世界とは https://www.youtube.com/watch?v=4WVelCswXo4 40:30 あたりで、small and large worlds が説明がされています。 いただいたご質問について、小さな世界と大きな世界は 下記の動画で説明されています。 R.McElreath, Statistical Rethinking 言葉を作った人 小さな世界 という言葉は 主観ベイズ法の提案者 L.J. Savage に よって作られたようです。 用語の混同に
Interpretable Machine Learning
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
輸送問題を近似的に行列計算で解く（機械学習への応用つき） - 私と理論
輸送問題と呼ばれる問題があります． この問題は，普通は線形計画法やフローのアルゴリズムを使って解かれます． この記事では，この輸送問題を近似的に行列計算で解くアルゴリズム（エントロピー正則化 + Sinkhorn-Knopp アルゴリズム）を紹介します． 輸送問題とは アルゴリズム 得られる解の例 なぜこれで解けるのか？ 競プロの問題を解いてみる 機械学習界隈における流行 まとめ 輸送問題とは 輸送問題とは以下のような問題です． 件の工場と 件の店舗からなる，ある商品の流通圏があるとする． 各工場には 個の在庫がある.． 各店舗では 個の需要がある． 在庫の総和と需要の総和は等しいとする （すなわち ）． 工場 から店舗 に商品を一つ運ぶためには の輸送コストがかかる． 各工場 から各店舗 への輸送量 を適切に決めて，各店舗の需要を満たしつつ輸送コストの総和を最小化せよ． 輸送問題は最適化
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016（第五回生命医薬情報学連合大会）での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に，深層生成モデル（VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。Read less
メタヒューリスティクス - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "メタヒューリスティクス" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2023年8月) メタヒューリスティクスとは、組合せ最適化問題のアルゴリズムにおいて、特定の計算問題に依存しないヒューリスティクスのことである。 近年では、上記の定義から拡張され、特定の問題に依存しない、汎用性の高いヒューリスティクス全般を指すこともある。そのため、組合せ最適化問題のアルゴリズムに限らず、連続最適化問題に対するアルゴリズムも含む解釈も存在する。 通常ある問題に対しての「解法」が存在するとき、その解法が適用できる範囲はその問題に対してのみである。 と
機械と学習する
【概要】 「深層学習による自然言語処理」の輪読会をしています 輪読会第4回目は5章が範囲でした 【目次】 はじめに 輪読会記録 資料リンク 第5章の概要 5章全体を通した感想 その他：キャッチアップについて その他：実務での利用について おわりに 参考文献 はじめに 講談社MLPシリーズの「深層学習による自然言語処理」の輪読会をしています。 輪読会の範囲で気になったことや資料のリンクなどをまとめていきます。 輪読会のリンクはこちらです。 learn-stats-ml.connpass.com 「深層学習による自然言語処理」のほか、輪読会を定期開催しているので、気になった方はグループメンバーになってもらえるとうれしいです。 また、Slackのwork groupを用意しているので、参加したい方は何らかの方法で私に連絡ください（輪読会参加してなくてもwelcome）。 【トップに戻る】 輪読会
Transformers are Graph Neural Networks
My engineering friends often ask me: deep learning on graphs sounds great, but are there any real applications? While Graph Neural Networks are used in recommendation systems at Pinterest, Alibaba and Twitter, a more subtle success story is the Transformer architecture, which has taken the NLP world by storm. Through this post, I want to establish a link between Graph Neural Networks (GNNs) and Tr
マスターアルゴリズム ー 世界を再構築する「究極の機械学習」
原著：ペドロ・ドミンゴス 翻訳：神嶌 敏弘 イラスト：六七質 出版社：講談社 発行日：2021-04-21 ISBN：978-4062192231 本書は，ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で，近年の人工知能技術の進展を支える機械学習についての解説書です．機械学習とは，作業手順を明示的に指示しなくても，それをデータから学ぶ能力を計算機に与える技術です．この機械学習について，計算機科学や統計学の高度な知識を前提とせずに，その内側に踏み込んで仕組みを明らかにし，この技術の可能性と課題を論じています． 出版社ホームページ 版元ドットコム Googleブックス ネット書店：Amazon 楽天ブックス honto 紀伊國屋書店 電子書籍：Amazon 楽天ブックス honto 紀伊國屋書店 Apple 読書ログ： 読書メーター（電子版） ブクログ（電子版） 図書
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
須山敦志 Suyama Atsushi on Twitter: "目次はこちらです。 https://t.co/4seRfgPohS https://t.co/uLb1DLw9QZ"
Katsushi Kagaya on Twitter: "個人的には同時分布も英語に合わせて結合分布といったほうが時間的意味が入ってなくていいなと思ってる。"
佐武原 on Twitter: "個人的にはディープが上手く行っている分野って相当スパースだったり簡単な問題ばかりに見えるんだけど、超知能であるように錯視するには今でも十分すぎるという話でもある"
須山敦志 Suyama Atsushi on Twitter: "あと、「if thenルールとロジスティック回帰とニューラルネットをまとめてAIと呼ぶな」という主張も、気持ちはわからんでもないですが、実はこの3つはある意味事前分布の与え方が違うだけ連続的に繋がっています。そういう統一的な見方も時には役に立つかもしれない。"