随机过程 Markov 链（中）

极限定理及平稳分布

极限定理

Th：（基本极限定理）若状态 $i$ 是周期为 $d$ 的常返状态，则：
lim ⁡ n → ∞ p i i ( n d ) = d μ i \\lim\\limits_{n\\to\\infty}p_{ii}^{(nd)}=\\frac{d}{\\mu_i} n→∞lim​pii(nd)​=μi​d​
当 $i$ 为零常返状态，即 μ i = ∞ \\mu_i=\\infty μi​=∞ 时， d μ i = 0 \\frac{d}{\\mu_i}=0 μi​d​=0 ；显然，当 $i$ 为非常返状态时， ∑ n = 1 ∞ p i i ( n ) < ∞ \\sum\\limits_{n=1}^{\\infty}p_{ii}^{(n)}\\lt \\infty n=1∑∞​pii(n)​<∞ ，则 lim ⁡ n → ∞ p i i ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ii}^{(n)}=0 n→∞lim​pii(n)​=0 。

没有证明捏 ~(￣▽￣)~*

Th：设 $i$ 为常返状态，则：
i 为零常返状态 ⟺ lim ⁡ n → ∞ p i i ( n ) = 0 i\\text{为零常返状态}\\iff \\lim\\limits_{n\\to\\infty}p_{ii}^{(n)}=0 i为零常返状态⟺n→∞lim​pii(n)​=0
证明：

• 若 $i$ 为零常返状态，则 μ i = ∞ \\mu_i=\\infty μi​=∞ ，由上边的定理得 lim ⁡ n → ∞ p i i ( n d ) = d μ i = 0 \\lim\\limits_{n\\to\\infty}p_{ii}^{(nd)}=\\frac{d}{\\mu_i}=0 n→∞lim​pii(nd)​=μi​d​=0 ，并且当 $m$ 不为 $d$ 的整数倍时，由周期的定义有 p i i ( m ) = 0 p_{ii}^{(m)}=0 pii(m)​=0 ，因此综合两点得到 lim ⁡ n → ∞ p i i ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ii}^{(n)}=0 n→∞lim​pii(n)​=0 ；

• 若 lim ⁡ n → ∞ p i i ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ii}^{(n)}=0 n→∞lim​pii(n)​=0 ，反证法：设 $i$ 为正常返状态，则 μ i < ∞ \\mu_i\\lt \\infty μi​<∞ ，故 lim ⁡ n → ∞ p i i ( n d ) = d μ i > 0 \\lim\\limits_{n\\to\\infty}p_{ii}^{(nd)}=\\frac{d}{\\mu_i}\\gt 0 n→∞lim​pii(nd)​=μi​d​>0 ，矛盾。

Th：设 $i\leftrightarrow j$ 且为常返状态（上一节的定理，常返状态是个类性质），当 $i$ 为零常返状态时，$j$ 也为零常返状态（即零常返也是类性质）

证明：有：
p i i ( m + n + l ) ≥ p i j ( n ) p j j ( l ) p j i ( m ) ≥ 0 p_{ii}^{(m+n+l)}\\geq p_{ij}^{(n)}p_{jj}^{(l)}p_{ji}^{(m)}\\geq 0 pii(m+n+l)​≥pij(n)​pjj(l)​pji(m)​≥0
令 $l\to \infty$ ，则由上面的定理知，因为 $i$ 是零常返状态，所以 lim ⁡ l → ∞ p i i ( m + n + l ) = 0 \\lim\\limits_{l\\to\\infty}p_{ii}^{(m+n+l)}=0 l→∞lim​pii(m+n+l)​=0 ，因此：
0 ≥ p j j ( l ) ≥ 0 0\\geq p_{jj}^{(l)} \\geq 0 0≥pjj(l)​≥0
即 lim ⁡ l → ∞ p j j ( l ) = 0 \\lim\\limits_{l\\to\\infty}p_{jj}^{(l)}=0 l→∞lim​pjj(l)​=0 ，因此 $j$ 也是零常返状态，得证。

Th：接下来我们讨论 p i j ( n ) p_{ij}^{(n)} pij(n)​ 的极限性质：

• 若 $j$ 为非常返状态或零常返状态，则对 $\forall i\in S$ ，有：

lim ⁡ n → ∞ p i j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}=0 n→∞lim​pij(n)​=0

• 若 Markov 链为不可约、正常返，且非周期，则对于 $\forall i,j\in S$ ，有：

lim ⁡ n → ∞ p i j ( n ) = 1 μ j \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}=\\frac{1}{\\mu_j} n→∞lim​pij(n)​=μj​1​

证明：（1）由前边转移概率和首达概率的关系有： p i j ( n ) = ∑ l = 1 n f i j ( l ) p j j ( n − l ) p_{ij}^{(n)}=\\sum\\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)} pij(n)​=l=1∑n​fij(l)​pjj(n−l)​ ，对 $N<n$ ，有：（因为总有 p j j n ≤ 1 p_{jj}^{n}\\leq 1 pjjn​≤1 ）
∑ l = 1 n f i j ( l ) p j j ( n − l ) ≤ ∑ l = 1 N f i j ( l ) p j j ( n − l ) + ∑ l = N + 1 n f i j ( l ) \\sum\\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)} \\leq \\sum\\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}+\\sum\\limits_{l=N+1}^{n}f_{ij}^{(l)} l=1∑n​fij(l)​pjj(n−l)​≤l=1∑N​fij(l)​pjj(n−l)​+l=N+1∑n​fij(l)​
首先固定 $N$ ，令 $n\to \infty$ ：

• 若 $j$ 为非常返状态，由于 lim ⁡ n → ∞ ∑ i = 1 n p j j ( i ) < ∞ \\lim\\limits_{n\\to\\infty}\\sum\\limits_{i=1}^{n}p_{jj}^{(i)}\\lt \\infty n→∞lim​i=1∑n​pjj(i)​<∞ ，因此 lim ⁡ n → ∞ p j j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{jj}^{(n)}=0 n→∞lim​pjj(n)​=0 ，故 lim ⁡ n → ∞ ∑ l = 1 N f i j ( l ) p j j ( n − l ) = 0 \\lim\\limits_{n\\to\\infty}\\sum\\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}=0 n→∞lim​l=1∑N​fij(l)​pjj(n−l)​=0 ；
• 若 $j$ 为零常返状态，由上面的定理可知， lim ⁡ n → ∞ p j j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{jj}^{(n)}=0 n→∞lim​pjj(n)​=0 ，故 lim ⁡ n → ∞ ∑ l = 1 N f i j ( l ) p j j ( n − l ) = 0 \\lim\\limits_{n\\to\\infty}\\sum\\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}=0 n→∞lim​l=1∑N​fij(l)​pjj(n−l)​=0 ；

所以得到：
p i j ( n ) = ∑ l = 1 n f i j ( l ) p j j ( n − l ) ≤ ∑ l = N + 1 n f i j ( l ) p_{ij}^{(n)}=\\sum\\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)} \\leq \\sum\\limits_{l=N+1}^{n}f_{ij}^{(l)} pij(n)​=l=1∑n​fij(l)​pjj(n−l)​≤l=N+1∑n​fij(l)​
由于 ∑ l = 1 ∞ f i j ( l ) ≤ 1 < ∞ \\sum\\limits_{l=1}^{\\infty}f_{ij}^{(l)}\\leq 1\\lt \\infty l=1∑∞​fij(l)​≤1<∞ ，所以 lim ⁡ l → ∞ f i j ( l ) = 0 \\lim\\limits_{l\\to\\infty}f_{ij}^{(l)}=0 l→∞lim​fij(l)​=0 ，因此再令 $N\to \infty$ ，则 ∑ l = N + 1 n f i j ( l ) → 0 \\sum\\limits_{l=N+1}^{n}f_{ij}^{(l)}\\to 0 l=N+1∑n​fij(l)​→0 ，故：
lim ⁡ n → ∞ p i j ( n ) ≤ 0 ⇒ lim ⁡ n → ∞ p i j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}\\leq 0 \\Rightarrow \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}=0 n→∞lim​pij(n)​≤0⇒n→∞lim​pij(n)​=0
（2）利用（1）中的式子可以得到：
∑ l = 1 N f i j ( l ) p j j ( n − l ) ≤ p i j ( n ) ≤ ∑ l = 1 N f i j ( l ) p j j ( n − l ) + ∑ l = N + 1 n f i j ( l ) \\sum\\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)} \\leq p_{ij}^{(n)} \\leq \\sum\\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)} + \\sum\\limits_{l=N+1}^n f_{ij}^{(l)} l=1∑N​fij(l)​pjj(n−l)​≤pij(n)​≤l=1∑N​fij(l)​pjj(n−l)​+l=N+1∑n​fij(l)​
先固定 $N$ ，令 $n\to \infty$ ，由于 $j$ 是正常返、周期为 $1$ 的状态，由这一节的第一个定理可以得到： lim ⁡ n → ∞ p j j n = 1 μ j \\lim\\limits_{n\\to\\infty}p_{jj}^{n}=\\frac{1}{\\mu_j} n→∞lim​pjjn​=μj​1​ ，即：
1 μ j ∑ l = 1 N f i j ( l ) ≤ p i j ( n ) ≤ 1 μ j ∑ l = 1 N f i j ( l ) + ∑ l = N + 1 n f i j ( l ) \\frac{1}{\\mu_j}\\sum\\limits_{l=1}^N f_{ij}^{(l)} \\leq p_{ij}^{(n)} \\leq \\frac{1}{\\mu_j}\\sum\\limits_{l=1}^N f_{ij}^{(l)} + \\sum\\limits_{l=N+1}^n f_{ij}^{(l)} μj​1​l=1∑N​fij(l)​≤pij(n)​≤μj​1​l=1∑N​fij(l)​+l=N+1∑n​fij(l)​
又令 $N\to \infty$ ，由于这个 Markov 链是不可约的，因此 $i\leftrightarrow j$ ，故 f i j = 1 f_{ij}=1 fij​=1 ，且由（1）中证明可以得到 ∑ l = N + 1 n f i j ( l ) → 0 \\sum\\limits_{l=N+1}^{n}f_{ij}^{(l)}\\to 0 l=N+1∑n​fij(l)​→0 ，故：
1 μ j ≤ lim ⁡ n → ∞ p i j ( n ) ≤ 1 μ j ⇒ lim ⁡ n → ∞ p i j ( n ) = 1 μ j \\frac{1}{\\mu_j}\\leq \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}\\leq \\frac{1}{\\mu_j} \\Rightarrow \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}= \\frac{1}{\\mu_j} μj​1​≤n→∞lim​pij(n)​≤μj​1​⇒n→∞lim​pij(n)​=μj​1​
Th：状态有限的 Markov 链，不可能全为非常返状态，也不可能有零常返状态；从而不可约的有限 Markov 链是正常返的。

证明：（1）反证法，若状态空间为 S = { 1 , 2 , ⋯ , N } S=\\{1,\\,2,\\,\\cdots,\\,N\\} S={1,2,⋯,N} 的 Markov 链全为非常返状态，则：

• 若 $i\to j$ ，由前面定理的（2）得到， p i j ( n ) → 1 μ j = 0 p_{ij}^{(n)}\\to\\frac{1}{\\mu_j}=0 pij(n)​→μj​1​=0 （$n\to \infty$）；
• 若 $i\nrightarrow j$ ，则显然 p i j ( n ) = 0 p_{ij}^{(n)}=0 pij(n)​=0 ；

即对任意 $i$ ，当 $n\to \infty$ 时都有 ∑ j = 1 N p i j ( n ) = 0 \\sum\\limits_{j=1}^{N} p_{ij}^{(n)}=0 j=1∑N​pij(n)​=0 ；但是显然只有这 $N$ 个状态，因此 ∑ j = 1 N p i j ( n ) = 1 \\sum\\limits_{j=1}^N p_{ij}^{(n)}=1 j=1∑N​pij(n)​=1 ，矛盾，因此不可能全为非常返状态；

（2）若 $S$ 中有零常返状态，设为 $i$ ，令 C = { j ∣ i → j } C=\\{j\\,|\\,i\\to j\\} C={j∣i→j} ，有 ∑ j ∈ C p i j ( n ) = 1 \\sum\\limits_{j\\in C}p_{ij}^{(n)}=1 j∈C∑​pij(n)​=1 ；由 $i$ 为常返状态得，由于 $i$ 是常返状态，所以 f i i = 1 f_{ii}=1 fii​=1 ，又因为 $C$ 中状态有限，所以这个概率为 1 代表必然事件，即从 $i$ 出发，在有限步内必然可以回到 $i$ 。因此对于 $\forall j\in C$ ，都有 $j\to i$ 。故 $i\leftrightarrow j$ ，又因为零常返是类性质，因此 $j$ 也是零常返状态，则由前面一个定理的（1）得到 lim ⁡ n → ∞ p i j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}=0 n→∞lim​pij(n)​=0 。故当 $n\to \infty$ 时，有 ∑ j ∈ C p i j ( n ) = 0 \\sum\\limits_{j\\in C}p_{ij}^{(n)}=0 j∈C∑​pij(n)​=0 ，与 ∑ j ∈ C p i j ( n ) = 1 \\sum\\limits_{j\\in C}p_{ij}^{(n)}=1 j∈C∑​pij(n)​=1 矛盾。因此 $S$ 中不存在零常返状态。

Th：若 Markov 链有一个零常返状态，则必有无限多个零常返状态。

证明：这是一个推论，和前面一个定理一样，如果只有有限多个零常返状态，则可以推出 ∑ j ∈ C p i j ( n ) = 0 \\sum\\limits_{j\\in C}p_{ij}^{(n)}=0 j∈C∑​pij(n)​=0 与 ∑ j ∈ C p i j ( n ) = 1 \\sum\\limits_{j\\in C}p_{ij}^{(n)}=1 j∈C∑​pij(n)​=1 矛盾

例：设 Markov 链的转移矩阵为：
P = [ 1 − p p q 1 − q ] 0 < p , q < 1 P=\\begin{bmatrix} 1-p & p \\\\ q & 1-q \\end{bmatrix} \\quad 0\\lt p,\\,q \\lt 1 P=[1−pq​p1−q​]0<p,q<1
解：对于极限转移概率，需要考虑 P n P^n Pn（$n\to \infty$），对 $P$ 进行特征值分解，得到：
P = Q D Q − 1 D = [ 1 0 0 1 − p − q ] Q = [ 1 − p 1 q ] Q − 1 = [ q p + q p p + q − 1 p + q 1 p + q ] P=QDQ^{-1} \\quad D=\\begin{bmatrix} 1 & 0 \\\\ 0 & 1-p-q \\end{bmatrix} \\quad Q=\\begin{bmatrix} 1 & -p \\\\ 1 & q \\end{bmatrix} \\quad Q^{-1}=\\begin{bmatrix} \\frac{q}{p+q} & \\frac{p}{p+q} \\\\ -\\frac{1}{p+q} & \\frac{1}{p+q} \\end{bmatrix} P=QDQ−1D=[10​01−p−q​]Q=[11​−pq​]Q−1=[p+qq​−p+q1​​p+qp​p+q1​​]
则：
P n = Q D Q − 1 Q D Q − 1 ⋯ Q D Q − 1 = Q D n Q − 1 = [ q + p ( 1 − p − q ) n p + q p − p ( 1 − p − q ) n p + q q − q ( 1 − p − q ) n p + q p + q ( 1 − p − q ) n p + q ] P^n=QDQ^{-1}QDQ^{-1}\\cdots QDQ^{-1}=QD^{n}Q^{-1}= \\begin{bmatrix} \\frac{q+p(1-p-q)^n}{p+q} & \\frac{p-p(1-p-q)^n}{p+q} \\\\ \\frac{q-q(1-p-q)^n}{p+q} & \\frac{p+q(1-p-q)^n}{p+q} \\end{bmatrix} Pn=QDQ−1QDQ−1⋯QDQ−1=QDnQ−1=[p+qq+p(1−p−q)n​p+qq−q(1−p−q)n​​p+qp−p(1−p−q)n​p+qp+q(1−p−q)n​​]
故：
lim ⁡ n → ∞ P n = [ q p + q p p + q q p + q p p + q ] \\lim\\limits_{n\\to\\infty}P^{n}=\\begin{bmatrix} \\frac{q}{p+q} & \\frac{p}{p+q} \\\\ \\frac{q}{p+q} & \\frac{p}{p+q} \\end{bmatrix} n→∞lim​Pn=[p+qq​p+qq​​p+qp​p+qp​​]
可见此 Markov 链的 $n$ 步转移概率的极限存在。

例：设 Markov 的状态空间 S = { 1 , 2 , 3 , 4 , 5 } S=\\{1,\\,2,\\,3,\\,4,\\,5\\} S={1,2,3,4,5} ，转移矩阵为：
P = [ 1 0 0 0 0 0 1 0 0 0 1 2 0 0 1 2 0 0 0 1 2 0 1 2 0 1 2 0 1 2 0 ] P=\\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\\\ 0 & 1 & 0 & 0 & 0 \\\\ \\frac{1}{2} & 0 & 0 & \\frac{1}{2} & 0 \\\\ 0 & 0 & \\frac{1}{2} & 0 & \\frac{1}{2} \\\\ 0 & \\frac{1}{2} & 0 & \\frac{1}{2} & 0 \\\\ \\end{bmatrix} P= ​1021​00​010021​​00021​0​0021​021​​00021​0​ ​
试确定常返状态、瞬过状态（即非常返状态），并对常返状态 $i$ 确定其平均回转时间 μ i \\mu_i μi​ ；

解：画出状态转移图：

显然状态 1、2 的周期为 1，3、4、5 的周期为 2；用分块矩阵计算，可以得到：
$$
\\lim\\limits_{n\\to\\infty}P^n=\\begin{bmatrix}
1 & 0 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 0 \\

• & * & 0 & 0 & 0 \\
• & * & 0 & 0 & 0 \\
• & * & 0 & 0 & 0 \\
  \\end{bmatrix}
  $$
  从而 $1$ 和 $2$ 为正常返状态，3、4、5 为非常返状态。 由这节开头的极限定理可知 lim ⁡ n → ∞ p i i ( n d ) = d μ i \\lim\\limits_{n\\to\\infty}p_{ii}^{(nd)}=\\frac{d}{\\mu_i} n→∞lim​pii(nd)​=μi​d​ ，因此 μ 1 = μ 2 = 1 \\mu_1=\\mu_2=1 μ1​=μ2​=1 （由定义也可以知道，状态 1 或 2 平均一步就可以返回原来的状态）。此 Markov 链可以分为三类： { 1 } \\{1\\} {1} { 2 } \\{2\\} {2} { 3 , 4 , 5 } \\{3,\\,4,\\,5\\} {3,4,5}

平稳分布与极限分布

平稳分布：对于 Markov 链，概率分布 { p j , j ∈ S } \\{p_j,\\,j\\in S\\} {pj​,j∈S} 称为平稳分布，若：
p j = ∑ i ∈ S p i p i j p_j=\\sum\\limits_{i\\in S} p_ip_{ij} pj​=i∈S∑​pi​pij​
若 Markov 的初始分布 P ( X 0 = j ) = p j j ∈ S P(X_0=j)=p_j\\quad j\\in S P(X0​=j)=pj​j∈S 是平稳分布，则：
p ( X 1 = j ) = ∑ i ∈ S P ( X 1 = j ∣ X 0 = i ) ⋅ P ( X 0 = i ) = ∑ i ∈ S p i j p i = p j \\begin{align} p(X_1=j)=&\\,\\sum\\limits_{i\\in S}P(X_1=j|X_0=i)\\cdot P(X_0=i) \\\\ =&\\,\\sum\\limits_{i\\in S}p_{ij}p_{i} \\\\ =&\\,p_j \\end{align} p(X1​=j)===​i∈S∑​P(X1​=j∣X0​=i)⋅P(X0​=i)i∈S∑​pij​pi​pj​​​
得到任意 X i X_i Xi​ 都有着相同的分布，这就是为什么称为平稳分布。

遍历：如果所有状态相通（即不可约）且均是周期为 $1$ （即非周期）的正常返状态，则称 Markov 链是遍历的；

• 遍历的 Markov 链：不可约、正常返、非周期

极限分布：对于遍历的 Markov 链，极限：
lim ⁡ n → ∞ p i j ( n ) = π j \\lim\\limits_{n\\to\\infty}p_{ij}^{(n)}=\\pi_{j} n→∞lim​pij(n)​=πj​
称为 Markov 的极限分布；由上一节的极限定理可知， π j = 1 μ j \\pi_j=\\frac{1}{\\mu_j} πj​=μj​1​ ；

下面的定理说明对于遍历的 Markov 链，极限分布就是平稳分布，并且是唯一的平稳分布。

Th：对于不可约非周期的 Markov 链：

• 若它是遍历的，则 KaTeX parse error: Expected group after '_' at position 11: \\pi_j=\\lim_̲\\limits{n\\to\\in… （$j\in S$） 是平稳分布，并且是唯一的平稳分布；
• 若状态都是瞬过的或全为零常返的（肯定是无穷多个状态），则平稳分布不存在；

证明：

（1）对于遍历的 Markov 链，由上一节的极限定理可知， π j = 1 μ j \\pi_j=\\frac{1}{\\mu_j} πj​=μj​1​ 是存在的，首先证明 { π j , j ∈ S } \\{\\pi_j,\\,j\\in S\\} {πj​,j∈S} 是平稳分布。由于 ∑ j ∈ S p i j ( n ) = 1 \\sum\\limits_{j\\in S}p_{ij}^{(n)}=1 j∈S∑​pij(n)​=1 ，有：
lim ⁡ n → ∞ ∑ j ∈ S p i j ( n ) = 1 \\lim\\limits_{n\\to\\infty}\\sum\\limits_{j\\in S}p_{ij}^{(n)}=1 n→∞lim​j∈S∑​pij(n)​=1
显然式中的极限和求和可以交换顺序，得到：
∑ j ∈ S π j = 1 \\sum\\limits_{j\\in S}\\pi_j=1 j∈S∑​πj​=1
由 C-K 方程得到：
p i j ( n + 1 ) = ∑ k ∈ S p i k ( n ) p k j p_{ij}^{(n+1)}=\\sum\\limits_{k\\in S}p_{ik}^{(n)}p_{kj} pij(n+1)​=k∈S∑​pik(n)​pkj​
两边对 $n$ 取极限得到：
π j = lim ⁡ n → ∞ p i j ( n + 1 ) = lim ⁡ n → ∞ ∑ k ∈ S p i k ( n ) p k j = ∑ k ∈ S lim ⁡ n → ∞ ( p i k ( n ) ) p k j = ∑ k ∈ S π k p k j \\pi_j=\\lim\\limits_{n\\to\\infty}p_{ij}^{(n+1)} =\\lim\\limits_{n\\to\\infty}\\sum\\limits_{k\\in S}p_{ik}^{(n)}p_{kj} =\\sum\\limits_{k\\in S}\\lim\\limits_{n\\to\\infty}\\left(p_{ik}^{(n)}\\right)p_{kj} =\\sum\\limits_{k\\in S}\\pi_kp_{kj} πj​=n→∞lim​pij(n+1)​=n→∞lim​k∈S∑​pik(n)​pkj​=k∈S∑​n→∞lim​(pik(n)​)pkj​=k∈S∑​πk​pkj​
即 π j = ∑ k ∈ S π k p k j \\pi_j=\\sum\\limits_{k\\in S}\\pi_kp_{kj} πj​=k∈S∑​πk​pkj​ ，从而 { π j , j ∈ S } \\{\\pi_j,\\,j\\in S\\} {πj​,j∈S} 是平稳分布。

再证明 { π j , j ∈ S } \\{\\pi_j,\\,j\\in S\\} {πj​,j∈S} 是唯一的平稳分布。设还有另一个平稳分布 { π ~ j , j ∈ S } \\{\\tilde\\pi_j,\\,j\\in S\\} {π~j​,j∈S} ，则由 π ~ j = ∑ k ∈ S π ~ k p k j \\tilde\\pi_j=\\sum\\limits_{k\\in S}\\tilde\\pi_kp_{kj} π~j​=k∈S∑​π~k​pkj​ 归纳得到：
π ~ j = ∑ k ∈ S π ~ k p k j ( n ) , n = 1 , 2 , ⋯ \\tilde\\pi_j=\\sum\\limits_{k\\in S}\\tilde\\pi_kp_{kj}^{(n)},\\,n=1,\\,2,\\,\\cdots π~j​=k∈S∑​π~k​pkj(n)​,n=1,2,⋯
两边对 $n$ 取极限得到：
π ~ j = ∑ k ∈ S π ~ k lim ⁡ n → ∞ p k j ( n ) = ∑ k ∈ S π ~ k π j \\tilde\\pi_j=\\sum\\limits_{k\\in S}\\tilde\\pi_k\\lim\\limits_{n\\to\\infty}p_{kj}^{(n)}=\\sum\\limits_{k\\in S}\\tilde\\pi_k\\pi_j π~j​=k∈S∑​π~k​n→∞lim​pkj(n)​=k∈S∑​π~k​πj​
由上面的证明可知 ∑ k ∈ S π ~ k = 1 \\sum\\limits_{k\\in S}\\tilde \\pi_k=1 k∈S∑​π~k​=1 ，因此 π ~ j = π j \\tilde\\pi_j=\\pi_j π~j​=πj​ ，所以得证平稳分布唯一。

（2）反证法：假设存在一个平稳分布 { π j , j ∈ S } \\{\\pi_j,\\,j\\in S\\} {πj​,j∈S} ，则由（1）中证明得到：
π j = ∑ k ∈ S π k p k j ( n ) , n = 1 , 2 , ⋯ \\pi_j=\\sum\\limits_{k\\in S}\\pi_kp_{kj}^{(n)},\\,n=1,\\,2,\\,\\cdots πj​=k∈S∑​πk​pkj(n)​,n=1,2,⋯
$j$ 为非常返或者零常返状态，当 $n\to \infty$ 时，由上一节的 p k j ( n ) p_{kj}^{(n)} pkj(n)​ 的极限性质得， lim ⁡ n → ∞ p k j ( n ) = 0 \\lim\\limits_{n\\to\\infty}p_{kj}^{(n)}=0 n→∞lim​pkj(n)​=0 ，因此 π j = 0 \\pi_j=0 πj​=0 （$\forall j\in S$），但是这个是不可能的，因此对于非常返的或者零常返的 Markov 链，不存在平稳分布。

注意：

• 不可约、非周期的 Markov 链，只要有一个是正常返状态，就全是正常返状态；只要有一个是非常返状态，就全是非常返状态；只要有一个是零常返状态，就全是零常返状态。所有说这个定理的两种情况已经包括了所有的不可约、非周期的 Markov 链；
• π j = 1 μ j \\pi_j=\\frac{1}{\\mu_j} πj​=μj​1​ 是一种简便计算状态的平均回转时间的方法；

下面的例子你可以看到，往往是直接解对应的线性方程组来得到平稳分布。

例：设甲袋中有 $k$ 个白球和 $1$ 个黑球，乙袋中有 $k+1$ 个白球，每次从两袋中任取一球，交换后放入对方的袋中。证明经过 $n$ 次交换后，黑球仍在甲袋中的概率 p n p_n pn​ 满足 lim ⁡ n → ∞ p = 1 2 \\lim\\limits_{n\\to\\infty}p=\\frac{1}{2} n→∞lim​p=21​ ；