マルコフ連鎖とは, P(Xt+1∣Xt,Xt−1,…,X1)=P(Xt+1∣Xt)P(X_{t+1}\mid X_t,X_{t-1},\dots,X_1)=P(X_{t+1}\mid X_t)P(Xt+1∣Xt,Xt−1,…,X1)=P(Xt+1∣Xt) を満たすような確率変数の列 X1,X2,…X_1,X_2,\dotsX1,X2,… のこと。 上の式は,Xt+1X_{t+1}Xt+1 が XtX_tXt のみに依存する(Xt−1X_{t-1}Xt−1 以前には依存しない)ことを表しています。 例えば,ttt 日目の天気を XtX_tXt とし,以下の2つが成立するとしましょう。 XtX_tXt によって Xt+1X_{t+1}Xt+1 の傾向が決まる (例. 今日晴れたら明日も晴れやすい) Xt−1X_{t-1}Xt−1 以前は Xt+1X_{t+1}Xt