## Recurrence of Continuous Time Markov Process in General State Space

Zhu Zhifeng,, Huang Hong

 基金资助: 湖北省教育厅项目.  B2019150孝感市自然科学计划项目.  XGKJ2020010046湖北工程学院教研项目.  2018C19

 Fund supported: the Hubei Education Department Foundation.  B2019150the NSF of Xiaogan.  XGKJ2020010046the Teaching Research Project of Hubei Engineering University.  2018C19

Abstract

In this paper, the uniform extraordinary recurrent set of continuous time Markov processes is defined, and the determination method of uniform extraordinary recurrent set of continuous time Markov processes is discussed. Some conclusions on the recurrence of continuous time Markov processes with Ψ irreducibility are obtained, and some recurrence results related to petite sets are also obtained.

Keywords： Markov process ; Ψ Irreducible ; Recurrence

Zhu Zhifeng, Huang Hong. Recurrence of Continuous Time Markov Process in General State Space. Acta Mathematica Scientia[J], 2021, 41(3): 860-873 doi:

## 1 引言

Markov链$\Phi$是非常返的, 如果它是$\Psi$不可约且$X$是非常返的.

$x\in X, C\in{\cal B}(X)$, 记

$\tau_{C}$为首次返回集合$C$的时间. $L(x, C)$表示从状态$x$出发, 有限时间内返回到集合$C$的概率.

${\rm (i)}\;$Markov链$\Phi$是非常返的$\iff $$m 骨架链 \Phi^{m} 是非常返的; {\rm (ii)}\; Markov链 \Phi 是常返的 \iff$$ m$骨架链$\Phi^{m}$是常返的.

$(1)$连续时间Markov过程$\{X_t, t\in {{\Bbb R}} _{+}\} $$\varphi 不可约的; (2)$$ \varphi(A)>0$时, $x\in X$, 存在(或任意的)$t>0,$

$(3) $$\varphi(A)>0 时, x\in X , 有 (4)$$ \varphi(A)>0$时, $x\in X$, 有

(2) 对任意其它测度$\upsilon$, Markov过程$\{X_t, t\in {{\Bbb R}} _{+}\} $$\upsilon 不可约的 \iff$$ \upsilon\ll\Psi;$

(3) 当$\Psi(A) = 0$时, $\Psi\{x\in X:P_{x}(\tau_{A}<\infty)>0\} = 0$.

## 3 一致非常返集

$\forall x\in X, W(x, A)\leq 1+M$.

$x_i\in A$时, 存在正数$M_i<\infty, W(x, A_i)\leq M_i, (i = 1, 2, \cdot, \cdot, \cdot, n)$.

$\forall x\in \bigcup\limits_{i = 1}^{n}A_i ,$

$\bigcup\limits_{i = 1}^{n}A_i$是一致非常返集.

$a(\cdot) $${{\Bbb R}} _{+} 上的概率分布, 记 引理 3.1 ^{[4]} {\quad} {\rm (i)}$$ a $$b$$ {{\Bbb R}} _{+}$上的分布, 则具有转移法则$K_{a} $$K_{b} 的抽样链满足广义的C-K方程 $$K_{a\star b}(x, A) = \int K_{a}(x, {\rm d}y)K_{b}(y, A),$$ 这里 a\star b 表示 a$$ b$的卷积.

${\rm (ii)} $$a$$ {{\Bbb R}} _{+}$上的分布, 则具有转移法则$K_{a}$的抽样链满足关系:

$$$W(x, A)\geq\int W(x, {\rm d}y)K_{a}(y, A),$$$

$B$也是一致非常返集.

$M = \frac{1+M_{1}}{\delta}$, 则对

$A$是一致非常返集.

$\tau_{A^{(k)}}$表示第$k$次返回$A$的时刻. 则有

$\forall x\in A,$

$A$是一致非常返集.

## 4 $\Psi$不可约连续时间Markov过程的常返性

(b) 记$A_{r}: = \{y\in A:W(y, A)\leq r\}, $$\forall y\in X, W(y, A_{r})\leq r+1 . (c) 记 \overline{A}_{r}(M) 是一致非常返集. (d) \bigcup\limits_{M}\overline{A}_{r}(M) = X. (a) 记 A_{\star}: = \{y\in X:W(y, A) = \infty\}, 用反证法证明 \Psi(A_{\star}) = 0 . 假设 \Psi(A_{\star})>0 , 由引理 2.1 不可约知, \exists t\geq 0 , 使得 P(t, x, A_{\star})>0 应用C-K方程 与假设 W(x, A)<\infty 相矛盾, 故 \Psi(A_{\star}) = 0 . (b) 记 A_{r}: = \{y\in A:W(y, A)\leq r\} 由于 \Psi(A_{\star}) = 0$$ \Psi(A\cap A_{\star}) = 0$. 又由于

(i) Markov过程$P(t)$是非常返的$\iff $$h 骨架链 \{X_{nh}, n\in Z_{+}\} 是非常返的. (ii) Markov过程 P(t) 是常返的 \iff$$ h$骨架链$\{X_{nh}, n\in Z_{+}\}$是常返的.

(i)

"$\Leftarrow$"设$h$骨架链$\{X_{nh}, n\in Z_{+}\} $$m 步转移概率函数为 若集合 A$$ h$骨架链是一致非常返集, 则$\exists 0<M<\infty,$使

"$\Rightarrow$"由于

$P(t)$是非常返的, 即$\exists 0<M<\infty,$使$W(x, A)\leq M$. 从而$\sum\limits_{n = 1}^{\infty}P_{h}^{n}(x, A)\leq M$.$h$骨架链$\{X_{nh}, n\in Z_{+}\}$是非常返的.

(ii) "$\Leftarrow$"若$h$骨架链$\{X_{nh}, n\in Z_{+}\}$是常返的, 即$\sum\limits_{n = 1}^{\infty}P_{h}^{n}(x, A) = \infty.$又由于

$W(x, A) = \infty, $$P(t) 是常返的. " \Rightarrow " 若 P(t) 是常返的, 假设其 h 骨架链 \{X_{nh}, n\in Z_{+}\} 不是常返的, 则 h 骨架链 \{X_{nh}, n\in Z_{+}\} 是非常返的, 又由(i)可得 P(t) 是非常返的, 矛盾. 从而其 h 骨架链 \{X_{nh}, n\in Z_{+}\} 是常返的. \Pi(x, {\rm d}y) 是一个概率核, 它确定的离散时间Markov链称为嵌入过程(或跳跃链). 引理 4.1[1] 设 (q(x), q(x, A)) 是保守 q 对, 则 其中 P^{\min}(t, x, A)$$ (q(x), q(x, A))$确定的最小$q$过程.

(i) Markov过程$P(t)$是非常返的$\iff$其跳跃链$\Pi(x, A)$是非常返的.

(ii) Markov过程$P(t)$是常返的$\iff$其跳跃链$\Pi(x, A)$是常返的.

(i)由引理4.1知

(ii) 由引理4.2知, Markov过程$P(t, x, A) $$\varphi 不可约的 \iff 其跳跃链 \Pi(x, A)$$ \varphi$不可约的.

"$\Rightarrow$" 若$P(t)$是常返的, 假设其跳跃链$\Pi(x, A)$不是常返的, 由于Markov过程$P(t) $$\Psi 不可约的, 从而其跳跃链 \Pi(x, A) 也是 \Psi 不可约的. 故 \Pi(x, A) 是非常返的. 由(i)知 P(t) 也是非常返的.与假设矛盾. 从而 \Pi(x, A) 是常返的. " \Leftarrow "若 \Pi(x, A) 是常返的, 假设 P(t) 不是常返的, 由 P(t)$$ \Psi$不可约性知$P(t)$是非常返的. 由(i)知$\Pi(x, A)$也是非常返的.与假设矛盾. 故$P(t)$也是常返的.

## 5 细集与常返性

$a_\varepsilon(t) = (-\ln\varepsilon)\varepsilon^{t}, 0<\varepsilon<1, t\in {{\Bbb R}} _{+} $$[0, +\infty] 上的概率分布, 则 定义 5.2 称一个集合 B\in {\cal B}(X) 是从另一集合 A\in {\cal B}(X) 用a一致可达的, 记为 A\mathop{\rightsquigarrow}\limits^{a} B , 如果存在一 \delta>0 使得 定理 5.1 设 \{P(t), t\in {{\Bbb R}} _{+}\}$$ \Psi$不可约Markov过程, $A$是细集, 则存在一抽样分布$a$, 使得对任意的$B\in {\cal B^{+}}(X)$, 有$A\mathop{\rightsquigarrow}\limits^{a} B$.

可假设$A $$\Psi_{b} 细集, \Psi_{b} 是一最大不可约测度, 则对所有的 y\in A , 都有 对任意的 x\in A, B\in {\cal B^{+}}(X) , 由(3.1)式有 B\in {\cal B^{+}}(X) , 有 所以 即对任意的 B\in {\cal B^{+}}(X) , 有 A\mathop{\rightsquigarrow}\limits^{a} B . 定理 5.2 若 A, B\in{\cal B}(X), A 是常返集, 且对某抽样分布 a, A\mathop{\rightsquigarrow}\limits^{a} B , 则 B 也是常返集. 由 A\mathop{\rightsquigarrow}\limits^{a} B 知, 存在一 \delta>0 使得 { }\inf_{y\in A}K_{a}(y, B)>\delta . 再由 (3.2) 式有 A 是常返集知 W(x, A) = \infty, 从而 W(x, B) = \infty . B 也是常返集. 定理 5.3 设 \{P(t), t\in {{\Bbb R}} _{+}\}$$ \Psi$不可约Markov过程, 若存在常返细集$A\in{\cal B}(X),$则Markov过程$\{P(t), t\in {{\Bbb R}} _{+}\}$是常返的.

由定理5.1知, 存在一抽样分布$a$, 使得对任意的$B\in {\cal B^{+}}(X)$, 有$A\mathop{\rightsquigarrow}\limits^{a} B$. 再由定理$5.2$知, $B$也是常返集. 故对$\forall B\in {\cal B^{+}}(X)$都是常返的, 所以马氏过程$\{P(t), t\in {{\Bbb R}} _{+}\}$是常返的.

设$D^{c}$是吸收集, 记

$\{P(t), t\in {{\Bbb R}} _{+}\} $$\Psi 不可约Markov过程, D 是一 \Psi 零测集. 由引理 5.1$$ D^{c}$包含吸收集$F$, 由定理$5.6 $$F^{c} 能被一致非常返集覆盖. 由 F\subseteq D^{c}$$ D\subseteq F^{c}$.$D$是非常返集.

## 参考文献 原文顺序 文献年度倒序 文中引用次数倒序 被引期刊影响因子

Chen M F . From Markov Chains to Non-Equilibrium Particle Systems. Singapore: World Scientific, 2004

Meyn S P , Tweedie R L . Markov Chains and Stochastic Stability. London: Springer, 1992

Lindvall T . Lectures on the Coupling Method. New York: Wiley, 1992

Zhang Shuili. Stochastic Stability of Jump Processes in General State Space[D]. Wuhan: Hubei University, 2014

Levy型算子所生成马氏过程的稳定性

Wang Jian .

Stability of Markov processes generated by levy type operators

Annals of Mathematics, 2011, 32A (1): 33- 50

Zhu Zhifeng , Zhang Shaoyi .

Study on the convergence of non-homogeneous Markov chains by probability distance

Acta Mathematica Scientia, 2018, 38A (5): 963- 969

Zhu Zhifeng , Zhang Shaoyi .

Study on f-exponential ergodicity of Markov chain by coupling method

Acta Mathematica Sinica, 2019, 62 (3): 287- 292

Zhang S Y .

Existence of the optimal measurable coupling and ergodicity for markov processes

Science in China, 1999, 42A, 58- 67

Zhang S Y .

Regularity and existence of invariant measures for jump processes

Acta Mathematica Sinica, 2005, 48, 785- 788

Gutjahr W J , Pflug G C .

Simulated annealing for noisy cost functions

Journal of Global Optimization, 1996, 8, 1- 13

Ahmed M A , Alkhamis T M .

Simulation-based optimization using simulated an nealing with ranking and selection

Computers Operations Research, 2002, 29 (4): 387- 402

/

 〈 〉