(转载)简述马尔可夫链

赶紧记录一下，通俗易懂。

参考：https://zhuanlan.zhihu.com/p/448575579

马尔科夫链的思想：过去所有的信息都已经被保存到了现在的状态，基于现在就可以预测未来。(用数学方法就能解释自然变化的一般规律模型)

马尔科夫链为状态空间中一个状态到另一个状态的转换随机过程，该过程要求具备“无记忆性 ”，即下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。

数学定义： P ( X t + 1 ∣ X 1 , … , X t ) = P ( X t + 1 ∣ X t ) P(X_{t+1}|X_{1},\\dots,X_{t})=P(X_{t+1}|X_{t}) P(Xt+1​∣X1​,…,Xt​)=P(Xt+1​∣Xt​)

转移概率矩阵：

可以用来求一段时间变化后的转移概率矩阵，直接用执行矩阵乘法。
例如三次运动后 $P=PPP$
状态转移矩阵有一个非常重要的特性，经过一定有限次数序列的转换，最终一定可以得到一个稳定的概率分布 ，且与初始状态概率分布无关。