変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。
初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似（variational approximation）とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正規化（積分して１になるようにする）しなければならないのですが、複雑な分布（例えば潜在変数モデルの事後分布）になってくると、どうしても解析的に積分ができなくなってしまいます。変分近似ではこのような複雑すぎて正規化できないような確率分布を、もっとシンプルな確率分布たちの積に分解する（＝独立性を仮定する）ことにより近似します。分解を仮定することによって変数の依存関係を簡略化し、数値最適化でいうところの偏微分を使った勾配法と似たようなことが確率分布の推論に対しても行えるようになります。 これが使えるようになると、様々なデータサイエンスの課題に
【多様体学習】LLEとちょっとT-SNE - HELLO CYBERNETICS
多様体学習の必要性 クラスタリングという観点 次元削減という観点 多様体とは 多様体学習の狙い 多様体学習の例 Locally Linear Embedding(LLE) 他の多様体学習の紹介 Modified Locally Linear Embedding t-distributed Stochastic Neighbor Embedding 多様体学習の発展版 最後に 多様体学習の必要性 クラスタリングという観点 データがD次元空間にプロットされる際には、データに意味があれば、似たようなデータは近い位置に現れることが期待できます。そのような考えに基づいて、K平均法などによってデータをクラスタリングすることが可能になります。 s0sem0y.hatenablog.com しかし、実際には似たようなデータが必ずしもD次元空間上で近い位置に現れるとは限りません。例えば以下のようなデータがあ
確率的勾配降下法
確率的勾配降下法 機械学習のアルゴリズムの多くは，考えている問題を， 何らかの目的関数の最大化もしくは最小化問題（最適化問題）に落としこんで解く． 最適化問題の解析解を簡単に求められればよいが，そうではない場合は反復法 （適当に与えた初期値を徐々に最適解に近づける方法）に頼ったりする． 今日は，そんな反復法の1つである，確率的勾配降下法のお話． 勾配降下法 まずは，「確率的」勾配降下法の前に，普通の勾配降下法 (gradient descent) について話しておく． パラメータ $\theta$，サンプル $x$ に対する誤差関数を $E(x, \theta)$ とおくと， 勾配降下法では，誤差関数のサンプルに関する期待値 を最小化する．しかし，一般に $p(x)$ は分かんないし，そもそも，上の積分を計算するためには， 起こりうる全てのサンプルを獲得しなければいけない． 普通は母集団は
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
n-best を数式で表現する方法 - ny23の日記
集合 の各要素に対して，スコア関数 が定義されているとき，その集合中のスコアの上位 n 要素から構成される部分集合 を数式で書きたくなった（ただし，スコア関数は単射とし， は一意に定まるとする）．n-best がタイトルに入った論文などを色々見てみたが，ほとんど言葉で定義されていて，数式で書いているものは少ない．すぐ思いつくのは， 外延的記法っぽいの（帰納的定義）: として， 内包的記法っぽいの（n-部分集合＋条件）: 裏技: \argmax 的に部分集合を返す \nbest (\argmaxN) を定義する どれも微妙だ．mimetex の表示品質ぐらい気に入らないが，強いて言えば一つ目が一番ましか．まどろっこしい書き方だが，一番スコアが高いものから一つずつ選ぶというのを補助関数無しで表現するとこうなる．二つ目は短いけど，どんな集合を意味しているか分かりにくいのが玉に瑕．三つ目は最終手段
統計学・機械学習でよく使われる数学記号リスト（主に自分用） - About connecting the dots.
統計学とか機械学習周りの本を読んでいると，何の説明もなくややこしい数学記号が出てきて，そういえばこれはなんだっただろう？ と途方に暮れてしまうことが少なくないので，自分用にまとめなおしてみました，というのが今回のエントリ．あくまで自分用なので，全部の数学記号を扱ってるわけではありません*1． 代数学 記号 意味 用例 用例の意味 備考 総和 要するに足し算 総乗 要するにかけ算 クロネッカーのデルタ i=jなら1，それ以外なら0 要するにブーリアン条件 ナブラ *2 3次元ベクトルの微分 要するに各要素の微分 ラプラシアン 3次元ベクトルの2階微分 要するに各要素の2階微分 下限 のとき与式は0になる との違いは，は当該値を含む必要があるが，はないこと 上限 との違いは，は当該値を含む必要があるが，はないこと 関数値が最大となるような定義域の元の集合 を最大にするような がの下にくる場合も
『統計を始める前に』（主に言語研究者向け）の公開｜Colorless Green Ideas
文書の性質 『統計を始める前に』という教科書的文書を公開したいと思う。これは、以前、勉強会のために私が作成した文書の一部を切り貼りして作ったものである。以下から、PDFファイルとしてダウンロードが可能なので、必要な方はどうぞ。なお、強制ではないが、リンクを貼るときは、PDFに直接リンクするのではなく、このページにリンクしていただければ幸いである。何か追加情報があったときには、このページに書くつもりなので。 http://id.fnshr.info/docs/stat_for_langs00.pdf これは何を目的にした文書かと言うと、タイトルの通り、「統計を始める前に」一通り知っておきたい数学的知識などをまとめたものである。この文書を一通り読んだ上で、統計の勉強を始めるとはかどるはずである。 統計を始める前に、数学の勉強をしないといけないなんて面倒だと思う人もいるかもしれない。だが、私の経
「数式を numpy に落とし込むコツ」を HMM に当てはめてみる - 木曜不足
数式をnumpyに落としこむコツ View more presentations from Shuyo Nakatani という発表を Tokyo.SciPy #2 でさせてもらったのだが、発表＆資料作成の時間の関係で、実際に数式を解釈する例を2つしか入れられなかったのが残念なところ。 今、社内 PRML 読書会で 13章の隠れマルコフをやっつけていて、その Baum-Welch の更新式がちょうどいい題材になっていることに気付いたので、ここで取り上げてみる。 (PRML 式 13.36) 結構複雑な印象のある数式だが、こいつも資料の流れに従えば簡単に実装できてしまうことを見ていこう。 数式を読み解く 数式を書き換える numpy に「逐語訳」する というわけでまず「読み解き」だが、これが一番重要なステップ。 特に今回の式の場合は , , の正体をちゃんと見極めておかないといけない。 「正
第9回 線形回帰［後編］ | gihyo.jp
前回の前編では「最小二乗法」を紹介する中で、機械学習は数多くのことを仮定して、その中で一番良い答えを見つけるものだということを見てもらいました。 特に「最小二乗法」でデータ点から直線を推定する場合、次の3つのことを仮定していたことを学びました。 変数間の関係を関数で表す 関数のモデルは直線（1次式）を考える パラメータを選ぶ指標として二乗誤差を用いる 今回はこれらの仮定を振り返りながら、一般化された、より柔軟な機械学習の手法を紹介しましょう。 戻らないけど「回帰」 先ほどの仮定の1番目、「変数間の関係を関数で表す」ことを機械学習では「回帰」と呼びます。つまり機械学習の世界で「回帰問題を解く」といった場合は、この仮定をしていることになります。 「回帰」という言葉の由来 「どうして関数を求めることを『回帰』と呼ぶの？ 何か戻るの？」と思うかもしれません。この名前は、もともと「平均回帰」という
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HADASHI RaterBug.com - Building a Respectful Video Community
Why Topological Data Analysis Works
Data and Software from James D. Hamilton
How do I compute the partial derivative of the cost function of mean regularized multi task learning?