TL;DR 勾配法はほとんどのケースで極小点に収束する(鞍点には収束しない) この事実は力学系や最適化の分野ではよく知られているが,機械学習では新しい? 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく? いや,そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は,実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類($d$ は定義域次元) 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない(もし現れても簡単に消せる) 量的な問題に関しては,結局は実験するしかない この記事を書いたきっかけ 昨夜,ある論文を見かけて,ふとこんなツイートをした. ML業界,「勾配法が鞍点に収束する確率
混合ガウスモデル クラスタリングの結果 混合ガウス分布の概要 学習とクラスタリング 学習の方針 潜在変数の導入 負担率(事後確率) パラメータのフィッティング(学習) プログラム 結果再訪 クラスターの数を多めに見積もっておいて良い 解法 コードの全体 最後に 感想 混合ガウスモデル 混合ガウスモデルは、複数のガウス分布を重ねあわせたものです。 混合ガウスモデルは、ガウス分布1つ1つをデータの発生源であると考え、そこから生起したデータを1つの塊、すなわちクラスターと見ることで、クラスタリングに応用することができます。 今回は混合ガウスモデルを用いたクラスタリングを、今年公開された確率プログラミングライブラリであるedwardを使って実装してみます(と言っても、サンプルを少しいじっただけだが)。 クラスタリングの結果 はじめに混合ガウスモデルを用いたクラスタリングが、どのような結果を出してく
ブラウザといえば、Internet Explorer(Edge?)か、Chromeである。 しかし、Chromeはどんどん遅くなっていき不便、ほかにいろいろ無いかなと探した結果、今はVivaldiに落ち着いている。 Vivaldi Community – Free webmail, blogging platform and tech forum. このVivaldi、Chromeには無いいろんな便利な機能がある。特に、ブラウザで資料を読みながらブログにまとめ上げる私のようなスタイルでは、「資料とノートを同時に表示する」という要望がある。この要望に対して、Vivaldiはピッタリなのだ。 そもそもWebパネルが便利 これはVivaldiユーザなら全員使っていると思う。ブラウザの再度の領域に別の情報を表示することができる。 これはおそらくモバイル表示モードに設定されているので、 Twitte
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く