確率変数の期待値は、機械学習の学習をする中で、非常によく登場する概念です。確率変数のモーメントとも繋がりがあり、統計学や機械学習の基本書を読んでも、最新の論文を読んでも登場するので、期待値の概念について正しく理解することは非常に重要です。 また確率変数$X$そのものの期待値を考えることも多いですが、勉強を進めていくと$X^2$の期待値や、$X + Y$の期待値なども登場しますが、これらは実際なんなのか、頭を悩ませることも多いと思います。 今回は、機械学習や統計学で頻繁の登場する重要概念である期待値について、分かりやすく説明していいきます。

主成分分析(Principle Component Analysis, PCA)は、機械学習の実務等でよく使われる手法です。 主成分分析をするタイミングは非常に多くありますが、基本的に主成分分析の目的は、高次元データを低次元に変換することが一番大きな目的になります。いわゆる、次元削減というやつですね。 次元削減をすることで、扱いたいデータの大まかな傾向を人間が可視化し確認することができます。例えば、100次元以上あるようなデータを扱うことになった際、これらの次元を1つ1つ確認することは大変ですが、この多数の次元を、データが持つ関係性や傾向をできる限り保持したまま、2次元や3次元に変換することで、データの傾向を掴むことができるようになります。 また機械学習で実際にモデルを組む際には、次元の呪いという問題があります。 次元の呪いは、機械学習モデルを学習させる際に、データの次元数が多くなればなる