定常性についてのまとめ | DevelopersIO
はじめに 当記事は、沖本 竜義先生の著作である「経済・ファイナンスデータの計量時系列分析(朝倉書店)」の内容をもとに、データ分析の前提となる基礎的な部分に関して、要点や定義などをまとめた覚え書きです。 あくまで覚え書き程度の内容ですので、当記事を読まれて、より詳細な内容を知りたいと思われた方は、上記の著書を入手頂ければと思います。 時系列モデル 時系列分析の問題点として、観測可能なデータがその時点で一度しか観測できないという問題があります。 時系列分析の対象となる株価を例にあげると、日経平均株価の昨日の終値を一度だけ観測することはできますが、当然その終値の平均的な値、つまり期待値を一点の観測データから推定することはできません。 また、将来の予測を行おうとする場合は、将来の観測点が得られないため、存在しない値と過去の値との自己相関を評価する必要があります。このため、将来の値を含めて予測を行う
エントロピーからKLダイバージェンスまでの話 - HELLO CYBERNETICS
情報理論でエントロピーなる概念を導入し、情報量を定式化したことを前回の記事で紹介しました。 s0sem0y.hatenablog.com 機械学習ではパラメトリックな推定を行う際に真の確率分布p(x)をq(x|θ)で表現するために、KLダイバージェンスKL(p(x)||q(x|θ))を最小化する問題に帰着させます。 KLダイバージェンスの性質が確率分布の隔たりを表現できると考えられるため、このような学習則が用いられ、実際にKLダイバージェンスの最小化は、尤度の最大化と数学的に一致しますから尤もらしい推定を行っていると言えます。 今回はこれを情報量なる観点から見なおして、元々の定義であるエントロピーの立場から、確率分布を近似する有効な手法であることを見ていきます。KLダイバージェンスは相対エントロピーと呼ばれる概念と同等のものであり、相対エントロピーの最小化が最尤推定に一致するわけですが、で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
