ある言語モデルが「次に来る単語」の確率を予測したとします。$P$ を真の分布、$Q$ をモデルの予測分布としたとき、「$Q$ は $P$ にどのくらい近いか」を一つの数字で表せるでしょうか。あるいは、コインを100回投げて60回表が出たとき、「表確率 $0.5$ という仮説」と「$0.6$ という仮説」のどちらが観測データ分布に近いと言えるでしょうか。こうした「2つの確率分布の違いを定量化する」という問いに、情報理論から自然に導かれる答えが KLダイバージェンス (Kullback-Leibler divergence、KL情報量、相対エントロピー) です。 KLダイバージェンスは、機械学習・統計の中核にいる道具です。ニューラルネットの分類で使われるクロスエントロピー損失は実質KL最小化と等価ですし、画像生成で有名な VAE (変分オートエンコーダ) の損失関数には事前分布と近似事後分布の

時系列分析などに取り組んでいると、必ず自己相関グラフ（コレログラム）と呼ばれるグラフが登場します。 これは、時系列グラフにおける、自己相関係数をプロットしたもので、時系列における季節性を調査する際によく、このコレログラムを用いたりします。 とはいえ、この自己相関係数が、そもそも時系列データにおける何を意味しているか理解しないと。コレログラムについて理解することはできないでしょう。 今回は、コレログラムを書くために、自己相関係数の解説と実際にPythonを用いてコレログラムを書く方法を解説します。 本記事の内容 自己相関係数の定義をわかりやすく解説 自己相関グラフ（コレログラム）を解説 コレログラムをPythonを用いて描く 自己相関係数の定義 時系列データにおける自己相関$r_k$の定義を先に示します。 時系列データにおける自己相関係数の定義 自己相関を$r_k$とした時、自己相関係数は次