设马尔可夫链的转移概率矩阵为 求每一个不可约闭集的平稳分布．

设齐次马尔可夫链的一步转移概率矩阵为

试求此马尔可夫链的二步转移矩阵，此链是否具有遍历性？试求其平稳分布。

设马尔可夫链的转移概率矩阵为

求该链的平稳分布及各状态的平均返回时间．

设马尔可夫链有状态0，1，2，3和转移概率矩阵

试求f00(n)(n=1，2，3，4，5，…)，其中fij(n)由P{Xn=i，Xk≠i，k=1，…，n一1｜X0=i}定义．

设齐次马尔可夫链的一步转移概率矩阵为

试证明此链是遍历的。

设齐次马尔可夫链{X(n)，n≥0}的状态空间为1，2，3，4，一步转移概率矩阵为

设齐次马尔可夫链的一步转移概率矩阵为

试证明此马尔可夫链具有遍历性，并求其平稳分布。

设{X(n)，n≥0}为齐次马尔可夫链，状态空间E={0，1，2}，其一步转移概率矩阵为

设{X(n)，n≥0}为一齐次马尔可夫链，其状态空间E={0,1,2},初始状态的概率分布为，一步转移概率矩阵为

设{X(n)，n≥0}为一齐次马尔可夫链，其状态空间E={0，1，2}，且其初始分布，其一步转移概率矩阵为

，选中A的概率为p，选中B的概率为q；之后再将选出的球放入选好的罐中．设Xn为每次试验时A罐中的球数，试求此马尔可夫链的转移概率矩阵．