やっと基本のEMアルゴリズム - KIWAM_KEN_DIARY
これまで勾配法で最適解を求めてきましたが、今回はEMアルゴリズムを使って解を求めていきます。 EMアルゴリズムとは、E（Expectation）ステップとM（Maximization）ステップを繰り返していき、解を求めるアルゴリズムです。 今回は、ガウス混合分布をですとデータとしてパラメータを推定します。 まずデータとして、 の正規分布にのっとったデータを生成します。この時、としました。 この時の混合ガウス分布は となります。 今回求めたいのは、です。ただし、 という条件付きです。 基本的な流れは １．平均・分散（今回は１に設定して省略）・混合係数を適当に設定 ２．現在のパラメータから事後確率計算 ＊事後確率はデータ数×混合係数の数(パラメータの数？)だけ発生する。 ３．事後確率を用いてパラメータ更新 ４．対数尤度を計算し、変化が小さくなれば終了。対数尤度は となります。 本当は事後確率の
ニュートン法，準ニュートン法 - KIWAM_KEN_DIARY
この時期になって就活のメールが届くようになってきました。 正直まだ早いなぁという気持ちですが、そろそろ準備しないとまずいんですかね。M2の皆様のアドバイス大募集中です。（身近にM2の先輩がいないので…割と本気でお願いします） さて、前回は最急降下法と共役勾配法でしたが、今回はニュートン法・準ニュートン法を忘備録として書いておきます。 ニュートン法では、共役勾配法と同様に目的関数のヘッセ行列を使って探索を行います。 ニュートン法は、線形問題の場合、目的関数のパラメータ数以下の反復で解が収束することが保証されており、式もそれほど難しいものではありません。ただし、初期値を適切に決めないと収束は保証されません。 今回は、前回まで使っていたケプラーの第三法則を非線形問題としたものを考えます。 D：太陽との距離 R：公転周期 K：定数 D R 水星 36.00 88.0 金星 67.25 2
最急降下法と共役勾配法 - KIWAM_KEN_DIARY
前期の授業で習ったまま放置してたのでちょっと復習。 最適化問題を解く際に利用される手法。 数式を書くには体力が足りないので… 今回はケプラーの第3法則をデータとして利用しました（授業で） D：太陽との距離 R：公転周期 K：定数 みたいな法則があります。 今、この式が となっていて、DとRだけデータがあるものとする。 D R 水星 36.00 88.0 金星 67.25 224.7 地球 93.00 365.3 火星 141.75 687.0 木星 483.80 4332.1 このとき、上記式に対数変換を施して、 という自乗誤差（目的関数）の式を考える。この目的関数を最小化するようなを求めることで、最初に出てきたケプラーの第三法則を満たすようなパラメータを求めることができる（はず）である。 この時の手法として、前回のの結果を改善するようにを更新していくのが反復改善法になる。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
