MAP推定は最尤推定と何が違うのか - HELLO CYBERNETICS
最も単純な思想である最小二乗誤差推定があります。 これは多変量解析や機械学習でも最も最初に学ぶであろう内容です。次には過学習を防ぐために正則化を用いることを学ぶかと思います。 これらが、確率論の導入によって最尤推定とMAP推定に含まれることを見ていきます。数式は要点だけを見ていくので、詳しい式変形は追いません。しかしそれでも、近年統計的機械学習（確率論を使う機械学習の方法）が非常に活躍している理由が分かるかと思います。 SVMやニューラルネットなどの決定論的手法も確率的に取り扱えますが、なぜそんな面倒なことをやるのかを納得していただけたらと思います。 決定論的な多項式フィッティングの過学習対策 次数の問題 過学習対策：正則化 確率論的な多項式フィッティングの過学習対策 最尤推定によるフィッティング MAP推定 まとめ 確率論を用いるメリットとは？ 決定論的な多項式フィッティングの過学習対策
カルマンフィルタのコード比較【numpy, pytorch, eager】 - HELLO CYBERNETICS
はじめに コード比較 numpy pytorch TensorFlow eager execution 速度と結果の比較 結果 第二回戦 結果 はじめに 最近わたしはTensorFlowにボコボコにされています。 計算グラフを書いて、sess.runするまでは何が起こるかわからない！何かが起こっても何が起こっているかは分からない！ そんな状態から、TensorFlow eager executionの登場で解放された！……かに思えました。 今回は下記のTensorFlowとnumpyによるカルマンフィルタの実装例に見て、 これがTensorFlow eager executionでどれくらい楽になるかを試してみました（やる前からそれほど楽ではないことは分かっていた）。 カルマンフィルタといえば理論は非常に難解ですが、実装は意外と楽チンで、実用上非常に優れた予測モデル（と言っていいかは微妙で
エントロピーからKLダイバージェンスまでの話 - HELLO CYBERNETICS
情報理論でエントロピーなる概念を導入し、情報量を定式化したことを前回の記事で紹介しました。 s0sem0y.hatenablog.com 機械学習ではパラメトリックな推定を行う際に真の確率分布p(x)をq(x|θ)で表現するために、KLダイバージェンスKL(p(x)||q(x|θ))を最小化する問題に帰着させます。 KLダイバージェンスの性質が確率分布の隔たりを表現できると考えられるため、このような学習則が用いられ、実際にKLダイバージェンスの最小化は、尤度の最大化と数学的に一致しますから尤もらしい推定を行っていると言えます。 今回はこれを情報量なる観点から見なおして、元々の定義であるエントロピーの立場から、確率分布を近似する有効な手法であることを見ていきます。KLダイバージェンスは相対エントロピーと呼ばれる概念と同等のものであり、相対エントロピーの最小化が最尤推定に一致するわけですが、で
フィッシャーの線形判別 - HELLO CYBERNETICS
フィッシャーの線形判別は、データを分類する際に統計学の分野で古くから使われている手法です。「判別」という言葉が付いていますが、事実上これはデータを分類するための都合の良い線形変換を見つける手法だと言えます。フィッシャーの線形判別は主成分分析などと同じように、古くから使われている有用な手法というだけでなく、線形代数や統計の基礎的な復習にもなるので絶好のテーマです。是非マスターしてしまいましょう。 直感的な例 問題設定 線形変換決定への戦略1 線形変換決定への戦略2 フィッシャーの線形判別の定式化 1.平均に関して 2.分散に関して フィッシャーの線形判別の評価関数 解を求める 最後に 直感的な例 この画像ではデータは二次元で、赤と青の2クラスがあるという状況です(参照BRML, PRMLではないです)。このデータを一次元の直線上に射影した場合に、直線上のどの位置にデータ点が来るのかが示されて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
