数学物理学报, 2019, 39(5): 1192-1204 doi:

论文

具有不连续激活函数的复数神经网络的全局指数周期性

邹瑶,1, 曾春娜,2, 胡进,1

Global Exponential Periodicity of Complex-Valued Neural Networks with Discontinuous Activation Functions

Zou Yao,1, Zeng Chunna,2, Hu Jin,1

通讯作者: 胡进, E-mail: jhu@cqjtu.edu.cn

收稿日期: 2018-10-31  

基金资助: 国家自然科学基金.  61773004
国家自然科学基金.  11801048
重庆高校创新团队建设计划资助项目.  CXTDX201601022
重庆市基础科学与前沿技术研究资助项目.  cstc2017jcyjAX0172
重庆市基础科学与前沿技术研究资助项目.  cstc2017jcyjAX0022
重庆市基础科学与前沿技术研究资助项目.  cstc2017jcyjAX0082
重庆市基础科学与前沿技术研究资助项目.  cstc2018jcyjAX0606
重庆市教委科学技术研究资助项目.  KJ1705118
重庆市教委科学技术研究资助项目.  KJQN201800740
重庆市留学人员回国创业创新支持计划.  cx2018034

Received: 2018-10-31  

Fund supported: the NSFC.  61773004
the NSFC.  11801048
the Program of Chongqing Innovation Team Project in University.  CXTDX201601022
the Natural Scinece Foundation Project of CQ CSTC.  cstc2017jcyjAX0172
the Natural Scinece Foundation Project of CQ CSTC.  cstc2017jcyjAX0022
the Natural Scinece Foundation Project of CQ CSTC.  cstc2017jcyjAX0082
the Natural Scinece Foundation Project of CQ CSTC.  cstc2018jcyjAX0606
the Technology Research Foundation of Chongqing Educational Committee.  KJ1705118
the Technology Research Foundation of Chongqing Educational Committee.  KJQN201800740
the Venture & Innovation Support Program for Chongqing Overseas Returnees.  cx2018034

作者简介 About authors

邹瑶,E-mail:18323190385@163.com , E-mail:18323190385@163.com

曾春娜,E-mail:zengchn@163.com , E-mail:zengchn@163.com

摘要

具有不连续激活函数的神经网络是一类非常重要的神经网络模型.虽然对具有不连续激活函数的实数神经网络已经有了非常深入的研究,但是对相应的复数神经网络研究成果还不太多.该文利用Filippov微分包含理论,Leray-Schauder替换定理以及Lyapunov函数,对一类具有不连续激活函数的复数神经网络进行了研究,给出了神经网络周期解全局指数稳定的充分条件,最后给出具有仿真的数值例子验证了结果的有效性.

关键词: 不连续激活函数 ; 复数神经网络 ; 周期性

Abstract

In this paper, we investigate a type of complex-valued neural networks with discontinuous activation functions. By using Filippov differential inclusion theory, Leray-Schauder alternative theorem and Lyapunov function, we obtain the sufficiet conditions for the global exponential periodicity of the neural network. The simulation shows the effectiveness of the results.

Keywords: Complex-valued neural networks ; Discontinuous activation functions ; Global exponential periodicity

PDF (503KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

邹瑶, 曾春娜, 胡进. 具有不连续激活函数的复数神经网络的全局指数周期性. 数学物理学报[J], 2019, 39(5): 1192-1204 doi:

Zou Yao, Zeng Chunna, Hu Jin. Global Exponential Periodicity of Complex-Valued Neural Networks with Discontinuous Activation Functions. Acta Mathematica Scientia[J], 2019, 39(5): 1192-1204 doi:

1 引言

近几十年来,复数神经网络得到了深入的研究并取得了广泛的应用.复数神经网络是实数神经网络的扩展,其状态向量,连接权和激活函数均为复值.在许多工程应用中,例如自适应信号处理,通信工程和医学影像,系统的输入和输出以复数形式表示,而复数神经网络由于能够直接处理复数信息,因此非常适合处理这类问题.此外,复数神经网络还可以解决一些实数神经网络无法解决的问题,如文献[1].

对神经网络的动力学行为的研究是神经网络应用的理论基础.在实数神经网络中,激活函数往往被要求是连续函数,甚至要求满足Lipstchiz条件.这样的条件是非常严格的,在实际应用中很多函数是不连续的,无法满足这个条件,因此产生了具有不连续激活函数的神经网络. Forti和Nistri在文献[2]中指出,具有不连续激活函数的神经网络是非常重要的,经常在应用中出现并广泛用于解决许多工程应用中的问题,如冲击机、电力电路、电子电路的开关、线性互补系统等.因此,对于具有不连续激活函数的神经网络动力学性质的研究,也得到了越来越多的关注,见文献[3-9].在文献[3]中,作者研究了一类具有不连续激活函数的时滞神经网络,给出了平衡点的存在唯一性以及全局稳定性的充分条件.在文献[4]中,作者结合Filippov理论, M-矩阵及Lyapnov函数方法研究了具有不连续激活函数的神经网络平衡点的存在唯一性及全局指数稳定性.在文献[5]中,作者研究了具有不连续激活函数的时滞Cohn-Grossberg神经网络,给出了平衡点存在唯一性及全局稳定性的充分条件.在文献[6]中,作者利用Leray-Schauder替换定理,矩阵理论和Lyapunov方法,给出了周期解存在唯一性及全局渐进稳定性的充分条件.在文献[9]中,作者利用微分包含方法研究了一类具有不连续激活函数的离散型神经网络,并给出了神经网络全局渐进稳定性的充分条件.

另一方面,在复数域中,根据刘维尔定理,有界整函数必为常数,因此,在实数神经网络中经常用作激活函数的sigmoid函数就无法作为复数神经网络的激活函数.故在设计复数神经网络中,我们往往选取不连续函数作为激活函数,这样也产生了具有不连续激活函数的复数神经网络.近年来,大批学者对复数神经网络的动力学性质进行了深入的研究,见文献[10-16],但对于具有不连续激活函数的复数神经网络的研究还很欠缺.在文献[17]中,作者研究了具有不连续激活函数的复数神经网络,并给出了平衡点全局渐进稳定以及有限时间收敛的充分条件.鉴于此,本文将在文献[17]的基础上,对具有不连续激活函数的复数神经网络的动力学性质进行进一步的探讨,并给出神经网络周期解指数稳定的充分条件.本文剩余内容结构如下:在第2节中,我们将介绍具有不连续激活函数的复数神经网络模型,复值微分方程的Filippov包含,以及一些相关的预备知识;第3节和第4节中,我们分别对周期解的存在性和全局指数稳定性进行了讨论,给出了周期解全局指数稳定性的充分条件;第5节中,我们给出了一个仿真例子验证结果的有效性;最后在第6节中我们对本文的研究内容进行了总结.

符号说明:在本文中, $\mathbb{R} $${\mathbb{C}}$分别表示实数域和复数域. $\mathbb{R} ^n$${\mathbb{C}}^n$分别表示$n$维实空间和$n$维复空间. $\mathbb{R} ^{n\times n}$${\mathbb{C}}^{n\times n}$分别表示所有$n$阶实矩阵和复矩阵的集合. $||\cdot||$表示向量的欧氏范数.如果$A\in\mathbb{R} ^{n\times n}$, $A^{T}$表示$A$的转置, $A>0(A < 0)$表示$A$是正定的(负定的), $\lambda_M(A)$$\lambda_m(A)$分别表示$A$的最大和最小特征值.给定一个集合$E$, $K(E)$表示$E$的闭凸包. $I$表示一个单位矩阵.

2 预备知识

本文中,我们考虑如下的具有不连续激活函数的复数神经网络

$\begin{equation}\dot z(t) = - Dz(t) + Af(z(t)) + u(t), \end{equation}$

其中$z(t)=[z_1(t), z_2(t), \cdots, z_n(t)]^{T}\in{\mathbb{C}}^n$是状态向量, $D={\rm{diag}}\{d_1, d_2, \cdots, d_n\}\in\mathbb{R} ^{n\times n} $$(d_i>0, $$i=1, 2, \cdots, n)$是自反馈连接权矩阵, $A = {\left[{{a_{ij}}} \right]_{n \times n}} \in {{\mathbb{C}}^{n \times n}}$是反馈连接权矩阵, $f(z(t)) = [{f_1}({z_1}(t)), {f_2}({z_2}(t)), \cdots, {f_n}({z_n}(t))]^{T}\in {{\mathbb{C}}^n}$表示不连续的复向量值激活函数, $u(t)=[u_1(t), u_2(t), \cdots, u_n(t)]^{T}\in {\mathbb{C}}^n$表示周期为$\omega$的外部输入向量值函数,即$u_i(t+\omega)=u_i(t), $$i=1, 2, \cdots, n$.

假设不连续激活函数$f_i(z_i(t)), i=1, 2, \cdots, n$满足以下性质:

(H$_1$) $f_i(z_i(t))$在有限开区域$G_k\; (k=1, 2, \cdots, s)$上是连续的,在$G_k$的边界上不连续且由有限条光滑曲线组成. $G_k$满足$\bigcup\limits_{k=1}^s(G_k\cup\partial G_k)={\Bbb C}$并且对于$1\leq l\neq k\leq s$, $G_l\bigcap G_k=\varnothing$.

(H$_2$) 对于$ k = 1, 2, \cdots, s$,存在${\lim\limits_{z \to {z_0}, z \in {G_k}}}{f_i}(z)$,其中${z_0} \in \partial {G_k}$.

(H$_3$) 存在非负常数$\alpha_i$使得: $\left\| {{f_i}({z_i}(t))} \right\| \le {\alpha _i}\left\| {{z_i}(t)} \right\|.$

我们首先介绍下述右端不连续的复值微分方程的Filippov微分包含

$\begin{equation}\dot z(t) = f(z(t)), \end{equation}$

其中$f:{{\mathbb{C}}^n} \mapsto {{\mathbb{C}}^n}$是可测且局部有界的.

定义2.1  设$E\subset{\mathbb{C}}^n$,映射$F:E\mapsto{\mathbb{C}}^n$称为集值映射,如果集合$E$中的每一点$z$都对应一个非空集合$F(z)\subset{\mathbb{C}}^n$.非空集值映射$F$$z_0\in E$上是上半连续的,如果对包含$F(z_0)$的任何开集$P$存在$z_0$的一个邻域$Q$,使得$F(Q)\subset P$,其中$F(Q)=\bigcup\limits_{z\in Q}F(z)$. $F(z)$称为闭(凸,紧)映像,如果对每一个$z\in E$, $F(z)$是闭的(凸的,紧的).

定义2.2  对于复值微分方程(2.2),集值映射$F$定义如下

$\begin{equation}F(z) = \bigcap\limits_{\delta > 0} {\bigcap\limits_{\mu ({\cal N} ) = 0} {K\left[ {f(B(z, \delta )\backslash {\cal N} )} \right]} } , \end{equation}$

其中, $f(B(z, \delta)\backslash {\cal N})=\bigcup\limits_{w\in B(z, \delta)\backslash {\cal N}}f(w)$, $B(z, \delta) = \{w|\| w - z \| \le \delta \}$是以$z$为中心,以$\delta$为半径的球, $\mu({\cal N})$${\cal N}\subset{\mathbb{C}}^n$的勒贝格测度.复值微分方程(2.2)的Filippov意义上的解是在$[0, +\infty)$的任何紧子区间上绝对连续的复向量值函数$z(t)$,它满足初始条件$z(0)=z_0$和下述微分包含

注2.1  根据实函数绝对连续性的定义,我们可以类似地定义复函数的绝对连续性.假设$f(t):[a, b]\mapsto {\mathbb{C}}$是定义在$[a, b]$上的复值函数.如果对于任意的$\varepsilon>0$,存在$\delta>0$,使得对于任意有限开区域$({a_i}, {b_i}), \; i = 1, 2, \cdots, n$,满足

那么$f(t)$是绝对连续函数.显然,当$f(t)$$[a, b]$上绝对连续时, $f(t)$的实部和虚部$x(t)$$y(t)$$[a, b]$上也是绝对连续的.

注2.2  集值映射$F:T=[0, \omega] \mapsto {P_f}({{\mathbb{C}}^n})$是可测的,如果对于任意$z\in{\mathbb{C}}^n$, $\mathbb{R} _+$ -值函数$t \mapsto {\rm{dist}}(z, F(t)) = \inf \{\| {z - \nu ||:\nu \in F(t)} \}$是可测的,其中$P_f({\mathbb{C}}^n)$表示${\mathbb{C}}^n$所有的非空的闭子集.

定义2.3  当以下两个条件成立时,向量函数$z\left(t \right) = {\left[{{z_1}\left(t \right), {z_2}\left(t \right), \cdots, {z_n}\left(t \right)} \right]^{T}}$是系统(2.1)在$[0, +\infty)$上的状态解:

(1)  $z(t)$$[0, +\infty)$上绝对连续;

(2)  存在可测函数$\gamma (t) = {\left[{{\gamma _1}(t), {\gamma _2}(t), \cdots, {\gamma _n}(t)} \right]^{T}}, {\rm{ }}{\gamma _j}(t) \in K\left[{{f_j}({z_j}(t))} \right]\; (j=1, 2, \cdots, n), {\mathrm{ a.e. }}\; t \in \left[{0, + \infty } \right)$,满足如下微分方程

$\begin{equation} {\dot z_i}(t) = - {d_i}{z_i}(t) + \sum\limits_{j = 1}^n {{a_{ij}}{\gamma _j}(t) + {u_i}(t), {\mathrm{ a.e. }}} \;t \in \left[ {0, + \infty } \right), \end{equation}$

满足(2.4)的可测函数$\gamma(t)$称为与状态解$z(t)$相关联的输出解.根据这个定义, $z(t)$是系统(2.1)的解,因为它满足

下面我们给出与复数神经网络模型(2.1)相关联的初值问题(IVP)解的定义.

定义2.4  与可测函数$\gamma (t) = [\gamma _1(t), \gamma _2(t), \cdots, \gamma _n(t)]^{T}$相关联的绝对连续函数$z(t)=[z_1(t), z_2(t), \cdots, z_n(t)]^{T}$是满足初始条件$z(0)=z_0$的系统(2.1)上的IVP解,如果对于所有的$i=1, 2, \cdots, n$,以下条件成立:

注2.3  系统(2.1)的解满足$\dot z(t) \in - Dz(t) + AK[f(z(t))] + u(t), {\rm{ }}t \in \left[{0, + \infty } \right)$.可以看出$\phi (z, t):(z, t) \mapsto - Dz(t) + AK[f(z(t))] + u(t)$是一个上半连续集值映射,且集合$\phi (z, t)$是非空紧凸集,因此它是可测的[6].通过可测选择定理[6],我们可以得到,如果$z(t)$是方程(2.1)的一个解,那么存在一个有界的可测函数${\gamma _j}(t) \in K\left[{{f_j}({z_j}(t))} \right](j=1, 2, \cdots, n), $ a.e. $ t \in \left[{0, + \infty } \right)$使得

$\begin{equation}\dot z(t) = - Dz(t) + A\gamma (t) + u(t), {\mathrm{ a.e. }}\;t \in \left[ {0, + \infty } \right), \end{equation}$

注2.4  考虑下列微分包含

$\begin{equation}\left\{ \begin{array}{l}\dot z(t) \in - Dz(t) + A\gamma (t) + u(t), \;{\rm{ a.e. }}\;t \in \left[ {0, \omega } \right], \\z(0) = z(\omega ).\end{array} \right.\end{equation}$

可以得到,如果$z(t)$是(2.6)式的一个解,那么如下定义的$\bar z(t)$:

是微分方程(2.1)的一个$\omega$ -周期解.因此,求解微分方程(2.1)的周期解等价于求解微分包含(2.6)的解.

定义2.5  设${z^{\rm{*}}}\left(t \right) = {\left[{{z_1^{\rm{*}}}\left(t \right), {z_2^{\rm{*}}}\left(t \right), \cdots, {z_n^{\rm{*}}}\left(t \right)} \right]^{T}}$是系统(2.1)的周期解.称系统(2.1)的状态向量$z(t)$是全局指数稳定的,如果存在正数$\sigma$$M$,使得

在本文中,我们选择下列函数作为系统(2.1)中的激活函数

$\begin{equation}f_i(z_i)=f_i^{{\rm{R}}}({\rm{Re}}(z_i))+{\boldsymbol{\rm i}} f_i^{{\rm{I}}}({\rm{Im}}(z_i)), \end{equation}$

其中$f_i^{{\rm{R}}}({\rm{Re}}(z_i))$$f_i^{{\rm{I}}}({\rm{Im}}(z_i))$是不连续函数.为了研究系统(2.1)的周期性,我们将系统分解成实部和虚部两个部分.令${z_i}(t) = {x_i}(t) + {\boldsymbol{\rm i}}{y_i}(t), {a_{ij}} = {a^{\rm{R}}_{ij}} + {\boldsymbol{\rm i}}{a^{\rm{I}}_{ij}}, {f_i}({z_i}(t)) = {f_i}^{\rm{R}}({x_i}(t)) + {\boldsymbol{\rm i}}{f_i}^{\rm{I}}({y_i}(t)), u_i(t) = {u_i^{\rm{R}}}(t) + {\boldsymbol{\rm i}}{u_i^{\rm{I}}}(t)$,其中${\boldsymbol{\rm i}}$表示虚数单位,即${\boldsymbol{\rm i}}=\sqrt{-1}$.再令$x = {\left[{{x_1}, {x_2}, \cdots, {x_n}} \right]^{T}} \in {\mathbb{R} ^n}, $$y = {\left[{{y_1}, {y_2}, \cdots, {y_n}} \right]^{T}} \in {\mathbb{R} ^n}$,则系统(2.1)可以被分离成如下形式

$\begin{equation}\left\{\begin{array}{ll}\dot{x} = - Dx(t) + {A^{\rm{R}}}{f^{\rm{R}}}(x) - {A^{\rm{I}}}{f^{\rm{I}}}(y) + {u^{\rm{R}}}(t), \\\dot{y} = - Dy(t) + {A^{\rm{I}}}{f^{\rm{R}}}(x) + {A^{\rm{R}}}{f^{\rm{I}}}(y) + {u^{\rm{I}}}(t), \end{array}\right.\end{equation}$

其中$f^{\rm{R}}(x)=[f_1^{\rm{R}}(x_1), f_2^{\rm{R}}(x_2), \cdots, f_n^{\rm{R}}(x_n)]^{T}, $$ f^{\rm{I}}(y)=[f_1^{\rm{I}}(y_1), $$f_2^{\rm{I}}(y_2), \cdots, f_n^{\rm{I}}(y_n)]^{T}, $$A^{\rm{R}}=[a_{ij}^{\rm{R}}]_{n\times n}, $$A^{\rm{I}}=[a_{ij}^{\rm{I}}]_{n\times n}, $$u^{\rm{R}}(t)=[u_1^{\rm{R}}(t), u_2^{\rm{R}}(t), \cdots, u_n^{\rm{R}}(t)]^{T}, $$ u^{\rm{I}}(t)=[u_1^{\rm{I}}(t), u_2^{\rm{I}}(t), \cdots, u_n^{\rm{I}}(t)]^{T}$.

根据(H$_1$)和(H$_2$),我们可以定义(2.7)式的复集值映射如下:

$\begin{equation}F(z) = \bigcap\limits_{\delta > 0} {\bigcap\limits_{\mu ({\cal N} ) = 0} {K\left[ {{f^{\rm{R}}}(B(x, \delta )\backslash {\cal N} )} \right]} } + {\boldsymbol{\rm i}}\bigcap\limits_{\delta > 0} {\bigcap\limits_{\mu ({\cal N} ) = 0} {K\left[ {{f^{\rm{I}}}(B(y, \delta )\backslash {\cal N} )} \right]} } , \end{equation}$

其中${f^{\rm{R}}}(B(x, \delta)\backslash {\cal N})={ \bigcup \limits _{\bar x \in (B(x, \delta)\backslash {\cal N})}}{f^{\rm{R}}}(\bar x), {f^{\rm{I}}}(B(y, \delta)\backslash {\cal N})={ \bigcup \limits _{\bar y \in (B(y, \delta)\backslash {\cal N})}}{f^{\rm{I}}}(\bar y)$, $B(x, \delta) = \{ \bar x|$$ \left\| {\bar x - x} \right\| \le \delta \}$是以$x$为中心,以$\delta$为半径的球, $B(y, \delta) = \left\{ {\bar y|\left\| {\bar y - y} \right\| \le \delta } \right\}$是以$y$为中心,以$\delta$为半径的球, $\mu({\cal N})$${\cal N}\subset{\mathbb{C}}^n$的勒贝格测度.

根据(H$_3$),存在$\alpha_i^{\rm{R}}$$\alpha_i^{\rm{I}}$满足

$\begin{equation}\left\{ \begin{array}{l}{\sup\limits_{\gamma _i^{\rm{R}} \in K\left[ {f_i^{\rm{R}}({x_i})} \right]}}\left| {\gamma _i^{\rm{R}}} \right| \le \alpha _i^{\rm{R}}\left| {{x_i}} \right|, \\[3mm] {\sup\limits_{\gamma _i^{\rm{I}} \in K\left[ {f_i^{\rm{I}}({y_i})} \right]}}\left| {\gamma _i^{\rm{I}}} \right| \le \alpha _i^{\rm{I}}\left| {{y_i}} \right|, \end{array} \right.\end{equation}$

其中

根据定义2.2,可知系统(2.1)的解$z(t)=x(t)+{\boldsymbol{\rm i}} y(t)$相当于系统(2.8)的解$[x^{T}(t), y^{T}(t)]^{T}$,即

$\begin{equation}\left\{ \begin{array}{l}\dot x(t) \in - Dx(t) + {A^{\rm{R}}}K\left[ {{f^{\rm{R}}}(x)} \right] - {A^{\rm{I}}}K\left[ {{f^{\rm{I}}}(y)} \right] + {u^{\rm{R}}}(t), \\\dot y(t) \in - Dy(t) + {A^{\rm{I}}}K\left[ {{f^{\rm{R}}}(x)} \right] + {A^{\rm{R}}}K\left[ {{f^{\rm{I}}}(y)} \right] + {u^{\rm{I}}}(t).\end{array} \right.\end{equation}$

则(2.11)式可以重写为

$\begin{equation}\dot w(t) \in - \bar Dw + \bar AK\left[ {f(w(t))} \right] + \bar u(t).\end{equation}$

根据注2.4及上述分析,系统(2.1)的$\omega$ -周期解等价于下述IVP问题的解:

$\begin{equation}\left\{\begin{array}{ll}\dot w(t) \in - \bar Dw + \bar AK\left[ {f(w(t))} \right] + \bar u(t), \\w(0)=w(\omega).\end{array}\right.\end{equation}$

因此,我们可以通过分析问题(2.13)的解来分析系统(2.1)周期解的存在性和全局指数稳定性.

下面,我们介绍证明周期解存在性的Leray-Schauder替换定理以及复合函数求导的计算法则.

引理2.1[6]  (Leray-Schauder替换定理)  如果$X$是一个巴拿赫空间, $E\subset X$是凸集, $0\in E$,并且$G:E \mapsto {P_k}(E)$是一个把有界集映射成相对紧集的上半连续的集值映射,其中$P_k(E)$表示$E$的所有非空的紧子集,则下面两个结论有一个成立:

(1)  $\Gamma =\left\{ {x \in E:x \in \lambda G(x), \lambda \in (0, 1)} \right\}$是无界的;

(2)  $G(\cdot)$$E$上有一个不动点,即:存在$x\in E$,使得$x\in G(x)$.

引理2.2[6]  如果$V(x):{\mathbb{R} ^n} \to \mathbb{R} $$C$ -正则, $x(t)$是区间$[0, +\infty)$的任何紧子区间上的绝对连续函数.那么$x(t)$$V(x(t)):\left[{0, + \infty } \right) \to \mathbb{R}, t \in \left[{0, + \infty } \right)$是可微的,并且

其中${\partial _c}V(x(t))$$V$$x(t)$上的Clark广义梯度, $\gamma(t)$是可测函数.

为讨论复数神经网络模型(2.1)的周期解的存在性,我们引入一些记号.令$W^{1, 1}(T=[0, \omega], \mathbb{R} \times\mathbb{R})$表示$[0, \omega]$上所有绝对连续的函数的集合, ${L^1}(T, {\mathbb{R} \times\mathbb{R} })$表示$[0, \omega]$上所有绝对收敛的函数的集合, $W_p^{1, 1}(T, \mathbb{R} \times\mathbb{R}) = \{x \in W_p^{1, 1}(T, {\mathbb{R} \times\mathbb{R} }):x(0) = x(\omega)\}$, $L(w) = \frac{{{\rm{d}} w}}{{{\rm{d}} t}} + w$, $w \in W_p^{1, 1}(T, {\mathbb{R} \times\mathbb{R} })$,则$L:W_p^{1, 1}(T, {\mathbb{R} \times\mathbb{R} }) \mapsto {L^1}(T, {\mathbb{R} \times\mathbb{R} })$是线性算子.

引理2.3[6]  $L:W_p^{1, 1}(T, {\mathbb{R} \times\mathbb{R}}) \to {L^1}(T, {\mathbb{R} \times\mathbb{R}})$是双射的(即,一对一和满射的),并且$L^{-1}$是完全连续的(即,它是连续的,并把有界集映射成相对紧集).

$N(w) = \left\{ {v \in {L^{ - 1}}(T, {\mathbb{R} \times\mathbb{R} }):v(t) \in F(t, w(t)), {\rm{a.e.}}\; t \in \left[{0, \omega } \right], w \in {L^1}(T, {\mathbb{R} \times\mathbb{R} })} \right\}$,其中$F(t, w) = w - Dw + AK[f(w)] + u(t)$,那么$N(\cdot)$有以下性质.

引理2.4[6]  $N:{L^1}(T, {\mathbb{R} \times\mathbb{R} }) \to {2^{{L^1}(T, {\mathbb{R} \times\mathbb{R} })}}$是上半连续集值映射,且集合$N(\cdot)$是非空闭凸集.

3 周期解的存在性

在这一节中,我们将研究系统(2.1)周期解的存在性.首先,我们考察系统的可行性,即在$[0, +\infty)$上至少存在一个系统(2.1)的解,这是研究周期解的存在性、唯一性和全局指数稳定性的前提.

定理3.1  如果假设(H$_1$)-(H$_3$)成立,则系统(2.1)在区间$[0, +\infty)$上至少存在一个满足初始值$z(0)=z_0$的解.

  根据上一节中(2.12)式的分析,可以得到集值映射

是上半连续的,且集合$w(t)$是非空紧凸集,则可以保证(2.12)式的解$w(t)$的局部存在性[20].根据(H$_1$)-(H$_3$)和(2.10)式,得到存在非负常数$\bar \alpha $,使得

$\begin{equation}\left\| {K\left[ {f(w(t))} \right]} \right\| \le \bar \alpha \left\| {w(t)} \right\| , \end{equation}$

从而有

$\begin{eqnarray}\left\| { - \bar Dw(t) + \bar AK\left[ {f(w(t))} \right] + \bar u(t)} \right\|&\le& \left\| {\bar D} \right\|\left\| {w(t)} \right\| + \left\| {\bar A} \right\|\bar \alpha \left\| {w(t)} \right\| + \left\| {\bar u(t)} \right\| \\ & = & \tilde \alpha \left\| {w(t)} \right\| + \|\bar{u}(t)\| , \end{eqnarray}$

其中$\tilde \alpha =\left\| {\bar D} \right\|{\rm{ + }}\bar \alpha \left\| {\bar A} \right\|$.

根据(2.12)式,对于不动点$w$

由此可得

根据Gronwall-Bellman不等式[18-19],得到

因此可知$w(t)$定义于区间$[0, +\infty)$,即存在$x(t), {\rm{ }}y(t) \in \left[{0, + \infty } \right)$.$z(t) = x(t) + {\boldsymbol{\rm i}} y(t)$,存在系统(2.1)的解并满足

证毕.

定理3.2  如果假设(H$_1$)-(H$_3$)成立,且有

(H$_4$) 对于任意$({u_1}, {v_1}) \in {\mathbb{R} \times\mathbb{R} }$$({u_2}, {v_2}) \in {\mathbb{R} \times\mathbb{R} }$,存在两个常数$L_i^{\rm{R}}$$L_i^{\rm{I}}$,使得

$\begin{equation}\frac{{\gamma _i^{\rm{R}} - \zeta _i^{\rm{R}}}}{{{u_1} - {u_2}}} \ge - L_i^{\rm{R}}, \ \ \frac{{\gamma _i^{\rm{I}} - \zeta _i^{\rm{I}}}}{{{v_1} - {v_2}}} \ge - L_i^{\rm{I}}, \end{equation}$

其中$ \gamma _i^{\rm{R}} \in K\left[{f_i^{\rm{R}}({u_1})} \right], {\rm{ }}\zeta _i^{\rm{R}} \in K\left[{f_i^{\rm{R}}({u_2})} \right], {\rm{ }}\gamma _i^{\rm{I}} \in K\left[{f_i^{\rm{I}}({v_1})} \right], {\rm{ }}\zeta _i^{\rm{I}} \in K\left[{f_i^{\rm{I}}({v_2})} \right]$.

(H$_5$) 存在$P ={\rm{diag}}\left\{ {{p_1}, {p_2}, \cdots, {p_n}} \right\} \; ({p_i} > 0, i=1, 2, \cdots, n)$,使得$P{A^{\rm{I}}} = {({A^{\rm{I}}})^{T}}P, $$P{A^{\rm{R}}} + {({A^{\rm{R}}})^{T}}P < 0$,且有

$\begin{equation}\frac{{{L_i}{p_i}\left\| {{{({A^{\rm{R}}})}^{T}}{A^{\rm{R}}} + {{({A^{\rm{I}}})}^{T}}{A^{\rm{I}}}} \right\|}}{{{\lambda _m}{d_m}}} < \frac{1}{4}, \end{equation}$

其中$ d_m=\min_{1\le i\le n}\{d_i\}$, $\lambda_m=-\lambda_M\{PA^{\rm{R}}+(A^{\rm{R}})^{T}P\}$, $\lambda_M(\cdot)$表示矩阵的最大特征值, $L_i=\max\{L_i^{\rm{R}}, L_i^{\rm{I}}\}$,则系统(2.1)至少存在一个周期解.

  该定理等价于不动点问题$w \in {L^{ - 1}}N(w)$.根据引理2.4,得到${L^{ - 1}}:{L^1}(T, {\mathbb{R} \times\mathbb{R} }{\rm{)}} \to {P_k}({L^1}(T, {\mathbb{R} \times\mathbb{R} }))$是完全连续的,根据引理2.5,得到$N(\cdot)$是上半连续集值映射,且集合$N(\cdot)$是非空闭凸集,可以得到${L^1}(T, {\mathbb{R} \times\mathbb{R} }{\rm{)}} \to {P_k}({L^1}(T, {\mathbb{R} \times\mathbb{R} }))$是把有界集映射成相对紧集的上半连续集值映射.根据引理2.4,只需证明集合$\Gamma = \{ w \in {\mathbb{R} \times\mathbb{R} }:w \in \theta \Phi (w), \theta \in (0, 1)\}$是有界的,就能得到集值映射$\Phi (w)$有一个不动点,即微分包含(2.6)有一个解,因此可以得到神经网络系统(2.1)有一个$\omega$ -周期解.令

$\begin{equation}\Phi (w, \theta ) \in - (1 - \theta )w + \theta \left\{ - \bar Dw + \bar AK\left[ {f(w)} \right] + \bar u(t) \right\}, \theta \in \left( {0, 1} \right), \end{equation}$

因为$\Gamma = \left\{ {w \in {\mathbb{R} \times\mathbb{R} }:{\rm{ 0}} \in \Phi (w, \theta), \theta \in (0, 1)} \right\}$,所以(3.5)式可以写成以下形式:

$\begin{equation}\Phi (w, \theta ) \in - (1 - \theta )w + \theta \left\{ - \bar Dw + \bar AK\left[ {\tilde f(w)} \right] + \tilde u(t) \right\}, \end{equation}$

其中$\tilde f(w) = f(w) - \tilde \eta, \tilde u(t) = \bar A\tilde \eta + \bar u(t), \tilde \eta \in K\left[{f(0)} \right]$.

由假设(H$_4$)-(H$_5$),我们可以得到:对于任意$({x_i}, {y_i}) \in \mathbb{R} \times\mathbb{R} $,存在正的常数$c, \varepsilon$,使得

$\begin{equation}\frac{{\hat \gamma _i^{\rm{R}}}}{{x_i^{}}} \ge \frac{1}{{c{P_i}}}(\varepsilon - 1), \frac{{\hat \gamma _i^{\rm{I}}}}{{y_i^{}}} \ge \frac{1}{{c{P_i}}}(\varepsilon - 1), \forall {z_i} \ne 0, \forall \hat \gamma _i^{} \in K\left[ {\tilde f(w(t))} \right].\end{equation}$

因此可以得到

$\begin{equation}\begin{array}{l}- ({x^{T}}Dx + 2c{\left( {{\gamma ^{\rm{R}}}} \right)^{T}}PDx) \le - \varepsilon {d_m}{x^{T}}x, \\- ({y^{T}}Dy + 2c{\left( {{\gamma ^{\rm{I}}}} \right)^{T}}PDy) \le - \varepsilon {d_m}{y^{T}}y, \end{array}\end{equation}$

其中$\varepsilon = {\min\limits_{1 \le i \le n}}(1 - 2c{p_i}{L_i})>0$.

考虑以下Lyapunov函数

$\begin{equation}V\left[ {x, y} \right] = {x^{T}}x + {y^{T}}y + 2c\sum\limits_{i = 1}^n {{p_i}\int_0^{{x_i}} {\tilde f_i^{\rm{R}}} } (s ){\rm{d}} s + 2c\sum\limits_{i = 1}^n {{p_i}\int_0^{{y_i}} {\tilde f_i^{\rm{I}}} } (s ){\rm{d}} s .\end{equation}$

因为$P{A^{\rm{I}}} = {({A^{\rm{I}}})^{T}}P$,可以得到${({\hat \gamma ^{\rm{R}}})^{T}}P{A^{\rm{I}}}{\hat \gamma ^{\rm{I}}} = {({\hat \gamma ^{\rm{I}}})^{T}}P{A^{\rm{I}}}{\hat \gamma ^{\rm{R}}}$.

根据引理3,计算$V[x, y]$沿着(3.5)式的导数得到

其中$\alpha =\min \left\{ {\varepsilon, \varepsilon {d_m}} \right\}, M = 2(1 + c{P_M}\bar \alpha)\left\| {\tilde u(t)} \right\|, $$N = 2c{P_M}\bar \beta \left\| {\tilde u(t)} \right\|, {P_M} = {\max\limits_{1 \le i \le n}}\{ {p_i}\}$.如果$R_0$足够大,则

$\begin{equation}{\frac{{{\rm d}V\left[ {x, y} \right]}}{{\rm d}t}} < 0, \ \mbox{并且}\ \left\| w \right\| > {R_0}.\end{equation}$

这意味着当$||w||>R_0$时, $0 \notin \Phi (\omega, \theta)$,即,只有当$\left\| w \right\| \le {R_0}$时, $0 \in \Phi (\omega, \theta)$,所以$\Gamma $是有界的.根据引理2.1可知,集值映射$\Phi (w)$有一个不动点,即,存在${w^*} = {\big[{{{\left({{x^*}} \right)}^{T}}, {{\left({{y^*}} \right)}^{T}}} \big]^{T}} \in \mathbb{R} \times\mathbb{R} $,使得${w^*} \in \Phi ({w^*})={L^{ - 1}}N({w^*})$.因此,我们得到$L{w^*} \in N({w^*})$,即:存在一个可测函数${\gamma ^{\rm{*}}}(t) = {\big[{{\gamma ^{\rm{R}}}^{\rm{*}}(t), {\gamma ^{\rm{I}}}^{\rm{*}}(t)} \big]^{T}} \in K[f(w(t))]$,使得

$\begin{equation}\begin{array}{l}{{\dot x}^*}(t)=-D{x^*}+{A^{\rm{R}}}{\gamma ^{R*}}(t) - {A^{\rm{I}}}{\gamma ^{I*}}(t) + {u^{\rm{R}}}(t), \\{{\dot y}^*}(t)=-D{y^*}+{A^{\rm{I}}}{\gamma ^{R*}}(t) + {A^{\rm{R}}}{\gamma ^{I*}}(t) + {u^{\rm{I}}}(t).\end{array}\end{equation}$

通过$L^{-1}$的定义,可以得到${w^*} \in W_p^{1, 1}(T, {\mathbb{R} \times\mathbb{R} })$.另外,通过定义2.4, (3.11)式以及(2.12)式可以得到$w^*$是微分包含(2.13)的解,以及(2.12)式的$\omega$ -周期解.令${z^*} = {x^*} + {\boldsymbol{\rm i}}{y^*}$,则$z^*$是神经网络(2.1)的一个$\omega$ -周期解.

4 周期解的全局指数稳定性

为了证明周期解的全局指数稳定性,我们首先将周期解${z^*}(t) = {x^*}(t) + {\boldsymbol{\rm i}}{y^*}(t)$进行平移,令$\tilde z(t) = z(t) - {z^*}(t), \tilde \gamma (t) = \gamma (t) - {\gamma ^*}(t)$,可以得到

$\begin{equation}\dot {\tilde{ z}}(t) = - D\tilde z(t) + A\tilde \gamma (t), \end{equation}$

其中$\tilde \gamma (t) \in K\big[{\tilde f(\tilde z(t))} \big], {\rm{ }}{\tilde f_i}({\tilde z_i}(t)) = {f_i}({\tilde z_i}(t) + z_i^*(t))-f_i(z_i^*(t)), i = 1, 2, \cdots, n$.显然, $f_i(\tilde z_i)$满足(H$_1$)-(H$_3$)并且$0 \in K\big[{\tilde f(0)} \big]$.用实部和虚部分离上式可以得到

$\begin{equation}\left\{ \begin{array}{l}\dot {\tilde {x}} = - D\tilde x(t) + {A^{\rm{R}}}{{\tilde \gamma }^{\rm{R}}}(t) - {A^{\rm{I}}}{{\tilde \gamma }^{\rm{I}}}(t), \\\dot {\tilde {y}} = - D\tilde y(t) + {A^{\rm{I}}}{{\tilde \gamma }^{\rm{R}}}(t) - {A^{\rm{R}}}{{\tilde \gamma }^{\rm{I}}}(t), \end{array} \right.\end{equation}$

其中$\tilde x(t) = x(t) - {x^*}(t), \tilde y(t) = y(t) - {y^*}(t), {\rm{ }}{\tilde \gamma ^{\rm{R}}}(t) \in K\big[{{{\tilde f}^{\rm{R}}}(\tilde x)} \big], $${\tilde \gamma ^{\rm{I}}}(t) \in K\big[{{{\tilde f}^{\rm{I}}}(\tilde y)} \big], {\rm{ }}\tilde f_i^{\rm{R}}({\tilde x_i}) = \tilde f_i^{\rm{R}}({\tilde x_i}+{x_i}^*)-f_i^{\rm{R}}(x_i^*), \tilde f_i^{\rm{I}}({y_i}) = \tilde f_i^{\rm{I}}({\tilde y_i}+{y_i}^*)-f_i^{\rm{I}}(y_i^*)$.显然,从假设(H$_4$)我们可以得到$\forall ({\tilde x_i}, {\tilde y_i}) \in {\mathbb{R} \times\mathbb{R} }, $$\tilde \gamma _i^{\rm{R}} \in K\big[{\tilde f_i^{\rm{R}}({{\tilde x}_i})} \big], \tilde \gamma _i^{\rm{I}} \in K\big[{\tilde f_i^{\rm{I}}({{\tilde y}_i})} \big]$,对于$\forall ({\tilde x_i}, {\tilde y_i}) \in\mathbb{R} \times\mathbb{R}, $$\tilde \gamma _i^{\rm{R}} \in K\big[{\tilde f_i^{\rm{R}}({{\tilde x}_i})} \big], $$\tilde \gamma _i^{\rm{I}} \in K\big[{\tilde f_i^{\rm{I}}({{\tilde y}_i})} \big]$,以下不等式成立:

定理4.1  如果假设(H$_1$)-(H$_5$)成立,则(2.1)式的周期解是唯一且全局指数稳定的.

  选择一个常数$\sigma$使得$\frac{\varepsilon d_m}{1+c\zeta} > \sigma > 0$,其中$\zeta=\max\limits_{1\le i\le n}\{\alpha_i^{\rm{R}}p_i, \alpha_i^{\rm{I}}p_i\}$.构造Lyapunov函数如下:

$\begin{equation}V_1\left[ {\tilde z, \tilde \gamma } \right] = {{\rm{e}}^{\sigma t}}{V}\left[ {\tilde z, \tilde \gamma } \right], \end{equation}$

其中$V\left[{\tilde z, \tilde \gamma } \right]$如(3.9)式中定义.

根据引理2.3,我们将${V_1}\left[{\tilde z, \tilde \gamma } \right]$沿(4.2)式的导数写成如下形式:

其中$\Lambda^{\rm{R}}={\rm diag}(\alpha_1^{\rm{R}}, \alpha_2^{\rm{R}}, \cdots, \alpha_n^{\rm{R}}), $$\Lambda^{\rm{I}}={\rm diag}(\alpha_1^{\rm{I}}, \alpha_2^{\rm{I}}, \cdots, \alpha_n^{\rm{I}}), $$\rho = c{\lambda _m} - \frac{{2\left\| {{{({A^{\rm{I}}})}^{T}}{A^{\rm{I}}} + {{({A^{\rm{R}}})}^{T}}{A^{\rm{R}}}} \right\|}}{{{d_m}}} > 0, $$\zeta^{\rm{R}}=\max\limits_{1\le i\le n}\{\alpha_i^{\rm{R}}p_i\}, \zeta^{\rm{I}}=\max\limits_{1\le i\le n}\{\alpha_i^{\rm{I}}p_i\}$,所以$\dot V_1\left[{\tilde z, \tilde \gamma } \right] \le 0\; \rm{a.e.}\; t \in \left[{0, + \infty } \right)$从而可以得到

根据(3.8)式可以得到$V_1(\left[{\tilde z, \tilde \gamma } \right])(t) \ge \varepsilon {{\rm{e}}^{\sigma t}}{\left\| {\tilde z(t)} \right\|^2}$,所以,我们可以得到以下结果:

这就证明了系统(2.1)的周期解的唯一性和全局指数稳定性.

5 仿真结果

本节给出一个实例来验证上述的结果.

例5.1  考虑下述由两个神经元构成的复数神经网络:

$\begin{equation}\dot z(t) = - Dz(t) + Af(z(t)) + u(t), \end{equation}$

其中

$f(z)=[f_1(z_1), f_2(z_2)]^{T}$,其中$f_1(z_1), f_2(z_2)$均选择如下的不连续复值激活函数

其中$z=x+y{\boldsymbol{\rm i}}\in{\mathbb{C}}$.容易验证$f_i(z_i)$满足假设(H$_4$)$L_i^{\rm{R}}=L_i^{\rm{I}}=-1$.$P$为单位矩阵,容易判断$PA^{\rm{I}}=(A^{\rm{I}})^{T} P$, $PA^{\rm{R}}+(A^{\rm{R}})^{T} P < 0$, $d_m=3$.经过计算可得, $\|A^{\rm{R}}(A^{\rm{R}})^{T}+A^{\rm{I}}(A^{\rm{I}})^{T}\|=0.2125$, $\lambda_m=0.3$,且有

根据定理3.2和定理4.1,该神经网络的周期解存在且是全局指数稳定的.我们选择初始值$z=[3+2{\boldsymbol{\rm i}}, -2+{\boldsymbol{\rm i}}]^{T}$, 图 1图 2给出了$z_1, z_2$的实部和虚部的运动轨迹.

图 1

图 1   例5.1中实部$x_1, x_2$关于时间的瞬态响应


图 2

图 2   例5.1中虚部$y_1, y_2$关于时间的瞬态响应


6 结论

近年来,复数神经网络的动力学性质的研究得到了广泛而深入的研究,但是对具有不连续激活函数的复数神经网络的研究还很缺乏.本文针对一类具有不连续激活函数的复数神经网络的周期性进行了研究,利用Filippov微分包含理论,得到了周期解指数稳定性的充分条件.下一步,我们将对具有更广泛类型的不连续激活函数的复数神经网络的动力学性质进行进一步探讨.

参考文献

Nitta T .

Solving the XOR problem and the detection of symmetry using a single complex-valued neuron

Neural Networks, 2003, 16 (8): 1101- 1105

DOI:10.1016/S0893-6080(03)00168-0      [本文引用: 1]

Forti M , Nistri P .

Global convergence of neural networks with discontinuous neuron activations

IEEE Transactions on Circuits and Systems Ⅰ:Fundamental Theory and Applications, 2003, 50 (11): 1421- 1435

DOI:10.1109/TCSI.2003.818614      [本文引用: 1]

Lu W , Chen T .

Dynamical behaviors of delayed neural network systems with discontinuous activation functions

Neural Computation, 2006, 18: 683- 708

DOI:10.1162/neco.2006.18.3.683      [本文引用: 2]

Li L , Huang L .

Dynamical behaviors of a class of recurrent neural networks with discontinuous neuron activations

Applied Mathematical Modelling, 2009, 33 (12): 4326- 4336

DOI:10.1016/j.apm.2009.03.014      [本文引用: 1]

Meng Y , Huang L , Guo Z , Hu Q .

Stability analysis of Cohen-Grossberg neural networks with discontinuous neuron activations

Applied Mathematical Modelling, 2010, 34 (2): 358- 365

DOI:10.1016/j.apm.2009.04.016      [本文引用: 1]

Huang L , Wang J , Zhou X .

Existence and global asymptotic stability of periodic solutions for Hopfield neural networks with discontinuous activations

Nonlinear Analysis:Real World Applications, 2009, 10 (3): 1651- 1661

DOI:10.1016/j.nonrwa.2008.02.022      [本文引用: 7]

Wang D , Huang L .

Periodicity and global exponential stability of generalized Cohen-Grossberg neural networks with discontinuous activations and mixed delays

Neural Networks, 2014, 51: 80- 95

DOI:10.1016/j.neunet.2013.12.005     

Qin S , Cheng Q , Chen G .

Global exponential stability of uncertain neural networks with discontinuous Lurie-type activation and mixed delays

Neurocomputing, 2016, 198: 12- 19

DOI:10.1016/j.neucom.2015.07.147     

Bao G , Zeng Z .

Global asymptotical stability analysis for a kind of discrete-time recurrent neural network with discontinuous activation functions

Neurocomputing, 2016, 193: 242- 249

DOI:10.1016/j.neucom.2016.02.017      [本文引用: 2]

Zhou W , Zurada J M .

Discrete-time recurrent neural networks with complex-valued linear threshold neurons

IEEE Transactions on Circuits and Systems Ⅱ:Express Briefs, 2009, 56 (8): 669- 673

DOI:10.1109/TCSII.2009.2025625      [本文引用: 1]

Hirose A . Complex-Valued Neural Networks. Heidelberg: Springer, 2006

Hu J , Wang J .

Global stability of complex-valued recurrent neural networks with time-delays

IEEE Transcations on Neural Networks and Learning Systems, 2012, 23 (6): 853- 865

DOI:10.1109/TNNLS.2012.2195028     

Chen X , Song Q .

Global stability of complex-valued neural networks with both leakage time delay and discrete time delay on time scales

Neurocomputing, 2013, 121: 254- 264

DOI:10.1016/j.neucom.2013.04.040     

Hu J , Wang J .

Global exponential periodicity and stability of discrete-time complex-valued recurrent neural networks with time-delays

Neural Networks, 2015, 66: 119- 130

DOI:10.1016/j.neunet.2015.03.001     

Liu X , Chen T .

Global exponential stability for complex-valued recurrent neural networks with asynchronous time delays

IEEE Transactions on Neural Networks and Learning Systems, 2015, 27 (3): 593- 606

URL    

Chen X , Zhao Z , Song Q , Hu J .

Multistability of complex-valued neural networks with time-varying delays

Applied Mathematics and Computation, 2017, 294: 18- 35

DOI:10.1016/j.amc.2016.08.054      [本文引用: 1]

Wang Z , Guo Z , Huang L , Liu X .

Dynamical behavior of complex-valued hopfield neural networks with discontinuous activation functions

Neural Processing Letters, 2017, 45 (3): 1039- 1061

DOI:10.1007/s11063-016-9563-5      [本文引用: 2]

Gronwall T H .

Note on the derivative with respect to a parameter of the solutions of a system of differential equations

Annals of Math, 1919, 20: 292- 296

DOI:10.2307/1967124      [本文引用: 1]

Bellman R .

The stability of solutions of linear differential equations

Duke Mathematical Journal, 1943, 10: 643- 647

DOI:10.1215/S0012-7094-43-01059-2      [本文引用: 1]

Filippov A . Differential Equations with Discontinuous Right-Hand Side. Boston: Kluwer Academic, 1998

[本文引用: 1]

/