本当は奥が深いSoftmaxとそのお仲間達 - Qiita
17日目書かせていただきます．よろしくお願いします． 機械学習やってます！という方は，きっとsoftmaxに日頃お世話になっているだろう．しかし多くの方は，「softmaxを使えば，ニューラルネットとかで分類問題解けたりするんでしょ？」程度の理解ではないだろうか？私もそうだ．使えれば何でも良い．しかしこの記事では，softmaxについて少々深掘りをしてみたいと思う．本記事の流れとしては，argmaxを導入し，softmaxをラグランジュの未定乗数法で導出し，出力がスパースになるsparsemax,それらの一般化であるentmaxを紹介したいと思う． おまけとして，温度付きsoftmaxとGumbel-softmaxも入れたので，適当に興味あるところだけでも読んでくれると嬉しい． この記事では，なんちゃらmaxに入れる前の値をロジットと呼び，$\mathbf{z}$で表す．また，なんちゃらm
【PyTorch・Pyro】モデリングレシピ - HELLO CYBERNETICS
はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデル ガウス混合モデル 同時分布からのサンプリング Pyroコード ディリクレ過程混合モデル（某折過程モデル） 同時分布からのサンプリング Pyroコード 最後に はじめに Pyroで確率モデリングを書くときには「確率モデリング自体を知ること」と「Pyroの書き方を知ること」の両方が必要です。今回はPyroの書き方に重点をおいて、とある確率モデルを記述するためのPyroでのコード例を適当に記載します。 約束事として、観測変数（データ） $x$ に対して、このデータの生成にまつわるパラメータをすべてひっくるめて $\theta$ と記
『用量反応試験における患者の割り付けの深層強化学習による最適化』というタイトルで統計関連学会連合大会で発表しました - StatModeling Memorandum
ありがたいことに統計関連学会連合大会の招待講演の依頼がありましたので喜んで引き受けました。たくさんの質問ありがとうございました。 発表資料を共有します。一言で言うと、臨床試験において各患者を各用量にどう割り付けるのが良いかを強化学習を用いて求める方法です。性能が良く第2相試験の効率を大きく改善すると思っています。実際の臨床試験でぜひ使ってほしいですし、そのための協力は惜しみません。 用量反応試験における患者の割り付けの深層強化学習による最適化 by @MatsuuraKentaro 元論文はこちらです（open access）。 資料の方は分かりやすさ重視のため、評価シナリオにexponentialモデルが入っていないです。論文の方は欠点を明確にするために入っています。 ソースコードは以下です。2022/9/6にPythonのgymライブラリに互換性のない変更が入りましたので、Rayライブ
Rethinking statistical learning theory: learning using statistical invariants - Machine Learning
This paper introduces a new learning paradigm, called Learning Using Statistical Invariants (LUSI), which is different from the classical one. In a classical paradigm, the learning machine constructs a classification rule that minimizes the probability of expected error; it is data-driven model of learning. In the LUSI paradigm, in order to construct the desired classification function, a learning
科学者のあり方を変える帰納プログラミング - SmartNews Engineering Blog
こんにちは。スマートニュースの高橋力矢です。前回のブログでデータ分析+ゲーム理論を題材として、帰納と演繹をまとめる利点をお伝えしました。なんらかの入力 (e.g., ゲーム理論における利得表) があり、特定のアルゴリズム (e.g., 各プレイヤーの戦略的意思決定) を記述することで出力 (e.g., ナッシュ均衡) を得るアプローチは、ほとんどのソフトウェア・エンジニアが慣れ親しんでいるプログラミングそのものです。つまり多くのエンジニアが手がけるプログラミングの実態は演繹的プログラミングです。ではこの対極に位置する帰納プログラミング (Inductive Programming) はどの程度進歩しているでしょうか。 帰納プログラミングの一分野である確率プログラミング (Probabilistic Programming) は統計学や機械学習との関係が密接で、日本でも利用者の多いStanを
数学と実世界が出あうとき
数学と実世界が出あうとき 数学の祭典 MathPower 六本木ニコファーレ 2018年10月7日 渡辺 澄夫 東京工業大学 この講演では 中澤俊彦さん（ドワンゴ）に お世話になりました。御礼を申し上げます。 このファイルについて このファイルは2018年10月7日に数学の祭典 MathPower で講演したときのものです。 数学を愛する一般のみなさまに、数学の不思議さや広がりについて楽しんでいただく 目的で書かれています。 １ 初めて人工知能や機械学習に出会ったかたは下記をご覧ください。 http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/suzaka2016.pdf ２ 統計学や機械学習のエンジニアのかたは、下記をご覧ください。 http://watanabe-www.math.dis.titech.ac.jp/users/
Variational Bayesian Inference with Stochastic Search
Variational Bayesian Inference with Stochastic Search John Paisley1 jpaisley@berkeley.edu David M. Blei3 blei@cs.princeton.edu Michael I. Jordan1,2 jordan@eecs.berkeley.edu 1 Department of EECS, 2 Department of Statistics, UC Berkeley 3 Department of Computer Science, Princeton University Abstract Mean-field variational inference is a method for approximate Bayesian posterior inference. It approxi
How does physics connect to machine learning? – Jaan Altosaar
Mandarin translation available - 用普通话阅读这篇文章: WeChat I struggled to learn machine learning. I was used to variational tricks, MCMC samplers, and discreet Taylor expansions from years of physics training. Now the concepts were mixed up. The intuitive models of physical systems were replaced by abstract models of ‘data’ and amechanical patterns of cause and effect. I had to fit these fields together.
[R] 計量経済学と機械学習の違い - ill-identified diary
ユリウス暦2020/1/6更新: その後のこの分野の急速な発展のため, 情報を更新した ill-identified.hatenablog.com 概要 機械学習か経済学 (計量経済学) そのいずれかに関してある程度の知識がある人間向け もうすでにこのネタでブログその他がいくつも書かれたと思うがさらにダメ押し 実質的には, Mullainathan and Spiess (2017) のレビューと, 多クラス分類を例にしたデモンストレーション. 前半のレビューと後半のデモンストレーションは実はつながりがあまりないので独立して読むこともできる. エビデンスが弱いものの, 多クラス分類を利用する際に注意すべき点が示唆された. 今回も時間がないので若干手抜き気味 vs 計量経済学はモデルの説明を, 機械学習は予測の精度を求めるということは以前,[異種試合] ディープラーニングVSディープパラメー
型安全性と統計計算 | POSTD
私は大ざっぱに言って、統計学のコミュニティはコンピュータサイエンスの概念にもっと触れた方が恩恵を得られると考えています。その考えを基に、本記事では、統計計算システムの振る舞いに関する規範論の展開に 型安全性 の概念を用いる可能性を説明します。また、そのような規範論によって、現行システムの誤用のされ方を明確にできることも論じます。それとともに、統計向けのより型安全な言語を実装しようという現実的提案に立ちはだかる数々の難題についても述べていきます。 コンピュータサイエンスにおける概念としての型安全性 Vijay Saraswat は、型安全な言語を以下のように定義しています。 ある言語内でデータに対して実行できる演算がそのデータの型に許可されたもののみであれば、その言語は型安全である。 個人的にはこの簡潔さは気に入っているのですが、いくつかの例を使って上記の定義を説明すれば多くの読者の皆さんに
統計的因果推論(5): Platt's scalingで機械学習分類器による傾向スコアを調整してみる - 渋谷駅前で働くデータサイエンティストのブログ
この記事は以下の記事の続きです。 機械学習分類器で算出した傾向スコアを調整する話ですが、最後に課題として残ったのがprobability calibrationによる実践。探してみると前回の記事でもやったisotonic regressionとか色々出てくるんですが、もう一つ出てくるのがPlatt's scaling。これはあのSVMのSMOを提案したPlatt*1がprobability calibrationのために提案しているもので、web上にも幾つか資料があるようです。 Platt scaling - Wikipedia http://danielnee.com/tag/platt-scaling/ https://www.researchgate.net/publication/2594015_Probabilistic_Outputs_for_Support_Vector_Ma
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488
http://www.chugaiigaku.jp/upfile/browse/browse1970.pdf
Stochastic Gradient Annealed Importance Sampling
今までの投稿記事のまとめ（統計学/機械学習/数学 etc） - Qiita
http://www.gatsby.ucl.ac.uk/~balaji/bdl-talk-balaji.pdf
[1810.04996] A Simple Way to Deal with Cherry-picking
http://www.cs.columbia.edu/~blei/papers/RanganathGerrishBlei2014.pdf
PythonDataScienceHandbook/README.md at master · jakevdp/PythonDataScienceHandbook
Jupyter Notebook Viewer