国科大-随机过程-马尔可夫链中的常反性及其相关概念

讨论了马尔可夫链中的常反性，以及其与转移概率、首次返回概率之间的关系。常反性是描述从某个状态出发，首次返回该状态的概率总和为一的性质。

1. 常反性的定义

常反性指的是某个状态的性质，具体来说，若从状态 $i$ 出发，首次返回该状态的概率和为1，则称该状态为常反状态。常反性的公式表达为：

\[ \sum_{n=1}^{\infty} P_{ii}(n) = 1 \]

其中 $P_{ii}(n)$ 表示从状态 $i$ 在 $n$ 步后返回到状态 $i$ 的概率。

转移概率是描述从一个状态转移到另一个状态的概率，通常用转移概率矩阵表示。转移概率的计算较为简单，且其和可能是发散的，这为判断常反性提供了便利。

首次返回概率则是指从某一状态首次返回到该状态的概率。这些路径不允许重复，因此其求和产生的结果小于等于1。这种性质使得理解状态的访问频率变得更加清晰。

在一维随机游动中，每个状态的转移只涉及上下两种可能。通过对转移概率的分析，能得出随机游动的返回频率，从而判断该状态是否具备常反性。在一维游动中，只有常反状态能够保证频繁回归。

与一维游动相比，二维随机游动更为复杂，涉及到四个方向的移动（上下左右）。在步数为偶数时，若移动态势保持平衡，能够更好地分析常反性的问题。随着维度的增加，常反性可能受到影响，尤其是三维情况。

在三维及更高维的随机游动中，常反性可能会失效，表现出更大的自由度和复杂性。这样，系统趋于平衡的能力显著下降，进而导致发散现象的出现。

在马尔可夫链中，首达概率与转移概率的求和存在本质的不同。由于首达概率的路径不允许重复，因此其和总是小于等于1。这使得我们能够更好地理解状态的存在频率和稳定性。

有限状态马尔可夫链必定存在常反状态。状态空间的有限性意味着可达性强，从而确保状态之间会频繁返回，形成自然的常反状态。

长反性是指在足够长的时间内，状态总是可以被返回。有效的判断和计算复杂级数的收敛性，是理解常反性和长反性的重要组成部分。

在计算返回次数时，通过观察均值的变化可以帮助更好地掌握概率的计算。期望值反映出某一事件发生的平均概率，有助于深入分析复杂随机过程。

在马尔可夫链中，第一次返回的概率涉及几何分布，这种分布的均值与命中率直接相关。几何分布的公式为：

$$ P(X = k) = (1 - p)^{k-1} p $$

其中 $p$ 是成功的概率，$X$ 为首次成功的步骤。

进行概率计算时，需通过空间分解与时间分解来深化对返回次数的理解。空间分解强调在特定时间点观察状态，而时间分解则关注状态转移过程的整体行为。

讨论周期性对极限存在性的影响时，如果状态具有周期性，则返回到某一状态的步数将遵循特定规律。这种规律性使得访达行为具有一定的可预测性。

尽管极限存在性的问题在理论研究中引发质疑，但在实践中，通过转移概率的观察可以获得有效的认识，帮助理解系统的随机性质。

在非周期性状态下，返回的步数可能不存在共同的非一公因子，这种状态的混乱性使得极限的存在性问题更加复杂。