该文致力于研究如下的分数阶Schrödinger方程

(1.1) $ \begin{equation} (-\Delta)^{s}u+\lambda V(x)u+V_{0}(x)u=P(x)|u|^{p-2}u+Q(x)|u|^{q-2}u, ~~~~~x\in {\Bbb R}^{N}, \end{equation}$

其中$\lambda$是正参数, $0<s<1$, $N>2s$, $2<q<p<2_{s}^{\ast}$ ($2_{s}^{\ast}=\frac{2N}{N-2s}$), $(-\Delta)^{s}u$是分数阶拉普拉斯算子.分数阶拉普拉斯可以理解为稳定的Lévy扩散过程的无穷维算子,其也出现在等离子体中的不规则的扩散,火焰的扩散,液体的化学反应,种群动态.更多的物理背景,请参看文献[20, 23].

最近,分数阶Schrödinger方程

(1.2) $ \begin{equation}(-\Delta)^{s}u+ V(x)u= f(x, u), ~~~~~x\in {\Bbb R}^{N}, \end{equation} $

引起了许多物理学家和数学家的兴趣.对于存在性,唯一性,正则性,渐进衰减性请参看文献[3, 7-8, 11, 14, 27, 28].另外,文献[2, 9, 26]研究了有界区域的分数阶方程.文献[9]研究了结点解.通过$s$ -调和延拓,文献[8]把非局部问题转化为局部问题.

许多学者也在研究如下问题的半经典解

(1.3) $ \begin{equation}\label{eq1.2}\varepsilon^{2s}(-\Delta)^{s}u+ V(x)u=f(x, u), ~~~~~x\in {\Bbb R}^{N}.\end{equation}$

在量子力学中,当$\varepsilon\rightarrow0$,方程(1.3)的解的存在性和集中现象很重要,见文献[1, 6, 10, 13, 15-18, 28-29].如果$f(x, u)=|u|^{p-2}u$, $\varepsilon^{2s}=\lambda^{-1}, v=\lambda ^{\frac{-1}{p-2}}u$,方程(1.3)同如下方程等价

$ \begin{eqnarray*}(-\Delta)^{s}v+ \lambda V(x)v= f(x, v), ~~~~~x\in {\Bbb R}^{N}.\end{eqnarray*}$

然而,对于一般的$f$ (如$f(x, u)=|u|^{p-2}u+|u|^{q-2}u$, $p\neq q$),情况是不同的.受到上面提到文献的启发,结合文献[12],本文的主要目标是:研究当位势$V$变号, $\lambda$充分大时,问题(1.1)解的存在性和集中性.据我们所知,还没有文献研究方程(1.1), $V$变号,解的存在性和集中性.

为了陈述我们的结果,对$V_{0}$, $V$, $P$和$Q$,我们做如下假设

$(V_{0})$$V_{0}\in L^{\infty}({\Bbb R}^{N})$并且$V_{0}:=\inf\limits_{x\in{\Bbb R}^{N}} V_{0}(x)>0$.

$(V_{1})$$V \in C ({\Bbb R}^{N}, {\Bbb R})$并且$V$下方有界.

$(V_{2})$存在$b>0$使得非空集合$\{x\in{\Bbb R}^{N}~ :~ V(x)< b\}$测度有限.

$(V_{3})$$\Omega=int V^{-1}(0)$非空,边界光滑并且$\overline{\Omega}=V^{-1}(0)$.

$(P)$$P(x)\in L^{\infty}({\Bbb R}^{N})$, $P_{0}:=\inf\limits_{x\in{\Bbb R}^{N}} P(x)>0$.

$(Q)$$Q(x)\in L^{\infty}({\Bbb R}^{N})$, $Q$变号或是负的并且$\{x\in{\Bbb R}^{N}~ :~ Q(x)\geq0\}$测度有限.

定理1.1  假设$(V_{0})-(V_{3})$, $(P)$和$(Q)$成立, $2<q<p<2_{s}^{\ast}$并且$V$变号,则当$\lambda$充分大并且$\|V_{0}\|_{L^{\infty}}\leq C(\lambda)$时,问题(1.1)至少有一个非平凡解$u_{\lambda}$.

定理1.2  假设$(V_{0})-(V_{3})$, $(P)$和$(Q)$成立, $2<q<p<2_{s}^{\ast}$并且$V(x)\geq0$,则当$\lambda$充分大并且$\|V_{0}\|_{L^{\infty}}\leq C(\lambda)$时,问题(1.1)至少有一个非平凡解$u_{\lambda}$.此外,在$H^{s}({\Bbb R}^{N})$中, $u_{\lambda}\mathop{\longrightarrow}\limits^{\lambda\rightarrow\infty} \bar{u}$,其中$\bar{u}$是如下方程的非平凡解

(1.4) $\begin{equation}\label{eq1.6}\left\{\begin{array}{ll} (-\Delta)^{s}u+V_{0}(x)u=P(x)|u|^{p-2}u+Q(x)|u|^{q-2}u, &x\in \Omega, \\ u=0, &x\in \partial\Omega. \end{array}\right.\end{equation}$

注1.1  如果$Q$满足$Q(x)\in L^{\infty}({\Bbb R}^{N})$, $Q_{0}:=\inf\limits_{x\in{\Bbb R}^{N}} Q(x)>0$.定理1.1和1.2仍然成立.

位势$V(x)$满足$(V_{1})-(V_{3})$被文献[4]中的作者首次称为是深阱位势的.他们研究了非线性Schrödinger方程.我们也可参看文献[12, 32].在文献[19]中,作者研究了深阱位势的Schrödinger-Poisson方程.最近,文献[33]研究了带有变号深势阱位势的Schrödinger-Poisson方程.文献[20]和[34]研究了深阱位势的分数阶Schrödinger方程.但他们要求$V$是正的.本文结果不同于文献[33],我们需要重新建立分数阶Schrödinger方程的特征值问题.并且在研究过程中遇到的困难是空间的嵌入缺乏紧性.我们通过证明临界值$c_{\lambda}$关于$\lambda$一致有界去恢复紧性.我们需要更精细的估计(参看引理3.4).这篇文章最初的想法是研究当$V$变号,解的集中现象,然而失败了.我们想证明$\{u_{\lambda}\}$在$E$中有界, $V(x)\geq0$这个条件在(4.1)式中似乎很重要($E$的定义请看第2部分).

记集合$A$的Lebesgue测度为$|A|$. $|\cdot| _{p}$为$L^{p}({\Bbb R}^{N} )$的范数.首先,我们回顾$(-\Delta)^{s}:{\cal S}\rightarrow L^{2}({{\Bbb R}^{N}})$定义如下

$(-\Delta)^{ s}u(x) = C_{N, s} P.V.\int_{{\Bbb R}^{ N}}\frac{u(x)-u(y)}{|x-y|^{N+2s}}{\rm d}y, $

其中${\cal S}$是速降$C^{ \infty}$ Schwartz函数空间.

分数阶Sobolev空间$H ^{s}({\Bbb R}^{N})$定义为

$H^{s}({\Bbb R}^{N})= \bigg\{u\in L^{2}({{\Bbb R}^{N}})~:~\frac{|u(x)-u(y)|^{2}}{|x-y|^{N+2s}}\in L^{1}({{\Bbb R}^{N}\times{\Bbb R}^{N}}) \bigg\}.$

$H ^{s}({\Bbb R}^{N})$中定义内积

$(u, v)_{H ^{s}}=\int_{{\Bbb R}^{N}}\bigg((-\Delta)^{\frac{s}{2}}u(-\Delta)^{\frac{s}{2}}v+uv\bigg){\rm d}x$

和范数

$\|u\|_{H ^{s}}^{2}=\int_{{\Bbb R}^{N}}\bigg(|(-\Delta)^{\frac{s}{2}}u|^{2}+u^{2}\bigg){\rm d}x, $

其是一个Hilbert空间.

记$V^{\pm}(x)=\max\{\pm V(x), 0\}$,则$V(x)=V^{+}(x)-V^{-}(x)$.设

$E=\bigg\{u\in H ^{s}({\Bbb R}^{N})~:~\int_{{\Bbb R}^{N}}V^{+}(x)u^{2}{\rm d}x<\infty \bigg\}, $

赋予内积和范数

$(u, v)=\int_{{\Bbb R}^{N}}\bigg((-\Delta)^{\frac{s}{2}}u(-\Delta)^{\frac{s}{2}}v+V^{+}(x)uv\bigg){\rm d}x, ~~~~~\|u\|=(u, u)^{\frac{1}{2}}.$

对于固定的$\lambda$,记

$ (u, v)_{\lambda}=\int_{{\Bbb R}^{N}}\bigg((-\Delta)^{\frac{s}{2}}u(-\Delta)^{\frac{s}{2}}v+\lambda V^{+}(x)uv\bigg){\rm d}x, ~~ \|u\|_{\lambda}=(u, u)_{\lambda}^{\frac{1}{2}}. $

记$E_{\lambda}=(E, \|\cdot\|_{\lambda})$.

引理2.1  当$p\in[2, 2^{\ast}_{s}]$时, $E\hookrightarrow H^{s}({\Bbb R}^{N})\hookrightarrow L^{p}({\Bbb R}^{N})$连续.此外,当$p\in[2, 2^{\ast}_{s})$时, $E\hookrightarrow L^{p}({\Bbb R}^{N})$是局部紧的.

证  注意到$(V_{2})$, $V^{+}(x)\not\equiv0$.设

$A(R):=\{x\in{\Bbb R}^{N}~;~|x|>R, V^{+}(x)\geq b\}, $

$B(R):=\{x\in{\Bbb R}^{N}~;~|x|>R, V^{+}(x)< b\}.$

因此

$\int_{A(R)}u^{2}{\rm d}x\leq\frac{1}{b}\int_{{\Bbb R}^{N}}u^{2}{\rm d}x.$

由Hölder不等式和文献[30]中式子$(4)$,结合$ |B(R)|<\infty$,我们得

$\int_{B(R)}u^{2}{\rm d}x\leq C\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}u|^{2}{\rm d}x.$

类似的,有

$\int_{|x|\leq R}u^{2}{\rm d}x\leq C\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}u|^{2}{\rm d}x.$

因此$E\hookrightarrow H^{s}({\Bbb R}^{N})$.众所周知$H^{s}({\Bbb R}^{N})\hookrightarrow L^{p}({\Bbb R}^{N})$连续.紧嵌入可由文献[5,引理3.2]得到.

易知问题(1.1)的能量泛函为

(2.1) $\begin{eqnarray}\label{eq2.1} \nonumber I_{\lambda}(u)&=&\frac{1}{2}\int_{{\Bbb R}^{N}}\bigg(|(-\Delta)^{\frac{s}{2}}u|^{2}+\lambda V(x)u^{2}+V_{0}(x)u^{2}\bigg){\rm d}x\\ &&-\frac{1}{p}\int_{{\Bbb R}^{N}}P(x)|u|^{p}{\rm d}x-\frac{1}{q}\int_{{\Bbb R}^{N}}Q(x)|u|^{q}{\rm d}x. \end{eqnarray}$

显然, $I_{\lambda}$在$E$上是$C^{1}$的. $u \in H ^{s}({\Bbb R}^{N})$是问题(1.1)的弱解当且仅当$ I'_{\lambda}(u)=0$.由于$V$变号,二次型

$a_{\lambda}(u, u)=\int_{{\Bbb R}^{N}}\bigg(|(-\Delta)^{\frac{s}{2}}u|^{2}+\lambda V(x)u^{2}\bigg){\rm d}x$

是不定的.沿用文献[33]的想法,记

$D:=\{u\in E~:~{\rm supp}u \subset V^{-1}([0, \infty])\}, $

(2.2) $\begin{equation}\label{eq2.2} F=\overline{D}^{\|\cdot\|_{\lambda}}=\overline{\{u\in E~:~{\rm supp}u \subset V^{-1}([0, \infty])\}}^{\|\cdot\|_{\lambda}}, \end{equation}$

即$F$是$D$在范数$\|\cdot\|_{\lambda}$的完备化.根据文献[24,定理12.4],存在闭子空间$M$使得$E_{\lambda}=F\oplus M$.如果$V(x)\geq0$,则$E=F$.我们可以直接跳到第4部分.

考虑双线性型

$ \begin{eqnarray*} a_{\lambda}(u, v)=\int_{{\Bbb R}^{N}}\bigg((-\Delta)^{\frac{s}{2}}u(-\Delta)^{\frac{s}{2}}v+\lambda V(x)uv\bigg){\rm d}x\end{eqnarray*}$

及特征值问题

(2.3) $\begin{equation}\label{eq2.3} (-\Delta)^{s}u+\lambda V^{+}(x)u=\alpha\lambda V^{-}(x)u, ~~~u\in M.\end{equation}$

记$A:={\rm supp}V^{-}$,由$(V_{2})$,得$|A|<\infty$.易证存在$C>0$,使得对任意的$u\in M$有

(2.4) $\begin{equation}\label{eq2.4} \int_{{\Bbb R}^{N}}\bigg(|(-\Delta)^{\frac{s}{2}}u|^{2}+\lambda V^{+}(x)u^{2}\bigg){\rm d}x\geq C\int_{A}\lambda V^{-}(x)u^{2}{\rm d}x.\end{equation}$

(2.5) $ \begin{equation}\label{eq2.5} Q(u):=\int_{{\Bbb R}^{N}}\bigg(|(-\Delta)^{\frac{s}{2}}u|^{2}+\lambda V^{+}(x)u^{2}\bigg){\rm d}x. \end{equation} $

引理2.2  $\alpha_{1}(\lambda)=\inf\limits_{0\neq u\in M}\frac{Q(u)}{\int_{A}\lambda V^{-}(x)u^{2}{\rm d}x}>0$可达并且$\alpha_{1}(\lambda)$是(2.3)式的最小特征值.

证  证明类似于文献[22, p74].不同之处在于$M$不是全空间,但很幸运$M$是凸闭的.设$\{u_{k}\}\subset M$是极小化序列.由于$M$是凸闭的,存在$u\in M$使得在$E_{\lambda}$中, $u_{k}\rightharpoonup u$.结合引理2.1嵌入的紧性,类似于文献[22]的证明易知结论成立.

类似于文献[22, p80], $\lambda>0$固定,我们定义$\alpha_{j}(\lambda)$$ (j=2, 3, \cdots ).$我们有如下性质.

性质2.1  每一特征值的特征函数空间是有限维的.

性质2.2  $\alpha_{j}(\lambda)\mathop{\longrightarrow}\limits^{j\rightarrow\infty}\infty$.

性质2.3  不同特征值对应的特征函数在$E_{\lambda}$中正交.

引理2.3  每一个固定的$j$, $\alpha_{j}(\lambda)\mathop{\longrightarrow}\limits^{\lambda\rightarrow\infty}0$.

证  不妨设$j\geq2$.设$u_{i}\in M$是$\alpha_{i}(\lambda)$相应的特征函数$(i=1, 2, \cdots , j-1).$记$V_{j-1}={\rm span}\{u_{i}, i=1, 2, \cdots , j-1\}$. $V_{j-1}^{\perp}$是$V_{j-1}$在$L^{2}$的正交补.设$u\in C^{\infty}_{0}({\Bbb R}^{N})$使得${\rm supp}u\subset {\rm supp}V^{-}$, ${\rm supp}u\cap {\rm supp}u_{i}=\emptyset$, $1\leq i\leq j-1.$这意味着

$\alpha_{j}(\lambda)\leq\frac{\int_{{\Bbb R}^{N}}|\nabla u|^{2}}{\lambda\int_{{\Bbb R}^{N}} V^{-}(x)u^{2}}\rightarrow0, ~~ \lambda\rightarrow\infty.$

引理2.3证毕.

根据引理2.3,存在$\Lambda>0$使得当$\lambda>\Lambda$时

(2.6) $\hat{E}_{\lambda}:={\rm span}\{e_{j}, \alpha_{j}(\lambda)\leq1\}$

非空并且$a_{\lambda}(u, u)$在$\hat{E}_{\lambda}$上是负半定的,其中$e_{j}$是$\alpha_{j}(\lambda)$相应的特征函数.记$E^{+}_{\lambda}:={\rm span}\{e_{j}, \alpha_{j}(\lambda)>1\}$.根据性质2.1和性质2.3, $E_{\lambda}=M\oplus F=\hat{E}_{\lambda}\oplus E^{+}_{\lambda}\oplus F$并且dim$\hat{E}_{\lambda}<\infty$.

我们将证明$I_{\lambda}$满足环绕定理^{[31,定理2.12]}中的环绕几何结构和$(C)_{c}$条件.

引理3.1  对于固定的$\lambda$,存在$\rho_{\lambda}>0$和$\kappa_{\lambda}>0$使得当$u\in E ^{+}_{\lambda}\oplus F$, $\|u\|_{\lambda}=\rho_{\lambda}$时,有

$I _{\lambda} (u)\geq \kappa _{\lambda}.$

证  由$E^{+}_{\lambda}$的定义,存在$\delta_{\lambda}$使得

$a_{\lambda}(u, u) \geq \delta_{\lambda} \| u \|^{ 2}_{\lambda}, ~~\forall~~ u \in E^{+}_{\lambda}, $

$a_{\lambda}(u, u)=\| u \|^{ 2}_{\lambda}, ~~\forall~~ u \in F. $

因此,当$u=v+w\in E^{+}_{\lambda}\oplus F$时,利用Sobolev嵌入,我们得

(3.1) $ \begin{eqnarray} \nonumber I_{\lambda}(u) &=& \frac{1}{2}a_{\lambda}(v, v)+\frac{1}{2}a_{\lambda}(w, w)+\frac{1}{2}\int_{{\Bbb R}^{N}}V_{0}(x)u^{2}{\rm d}x\\ \nonumber&&-\frac{1}{p}\int_{{\Bbb R}^{N}}P(x)|u|^{p}{\rm d}x-\frac{1}{q}\int_{{\Bbb R}^{N}}Q(x)|u|^{q}{\rm d}x\\ &\geq& \frac{1}{2}\min\{\delta_{\lambda}, 1\}\| u \|^{ 2}_{\lambda}-C_{1} \|u\|_{\lambda}^{p}-C_{2}\|u\|_{\lambda}^{q}.\end{eqnarray}$

选取$\varepsilon>0$, $\rho_{\lambda}>$0和$\kappa_{\lambda}>0$充分小易知结论成立.

由$(V_{3})$,我们可以取$e_{0}\in C_{0}^{\infty}(\Omega)$,则$e_{0}\in F$.

引理3.2  对于固定的$\lambda$,存在$R_{\lambda}>0$使得

$\sup\limits _{u\in \partial Q}I _{\lambda} (u)<\kappa _{\lambda} , $

其中$Q=\{u=v+te_{0}~:~v\in\hat{E}_{\lambda}, t\geq0, \|u\|_{\lambda}\leq R_{\lambda}\}$.

证  根据$(P)$和$(Q)$,存在$C_{1}>0, C_{2}>0$使得

$\frac{1}{p}P(x)|u|^{p}+ \frac{1}{q}Q(x)|u|^{q}\geq C_{1}|u|^{p}-C_{2}|u|^{q}.$

如果$u=v+w\in\hat{E}_{\lambda}\oplus Re_{0}$,注意到

$ a_{\lambda}(u, u)=a_{\lambda}(v, v)+a_{\lambda}(w, w)\leq \|u\|_{\lambda}^{2}, $

结合有限维空间中所有范数等价和$q<p$,我们得

$\begin{eqnarray*} I_{\lambda}(u)\leq C\|u\|_{\lambda}^{2}+C_{3}\|u\|_{\lambda}^{q}-C_{4}\|u\|_{\lambda}^{p}\mathop{ \longrightarrow}\limits^{\|u\|_{\lambda}\rightarrow\infty}-\infty. \end{eqnarray*}$

因此,存在$R_{\lambda}>0$使得当$u\in\hat{E}_{\lambda}\oplus Re_{0}$并且$\|u\|_{\lambda}=R_{\lambda}$时, $I_{\lambda}(u)\leq0$,

如果$u\in \hat{E}_{\lambda}$,则$I_{\lambda}(u)\leq\frac{1}{2}\int_{{\Bbb R}^{N}}V_{0}(x)u^{2}{\rm d}x+C_{3}\|u\|_{\lambda}^{q}-C_{4}\|u\|_{\lambda}^{p}$,易知结论成立.

由引理3.1和引理3.2, $I_{\lambda}$存在$(C)_{c}$序列$\{u_{n}\}\subset E_{\lambda}$,即

(3.2) $ \begin{equation}\label{eq3.2} I_{\lambda}(u_{n})\rightarrow c, ~~~~~~~(1+\|u_{n}\|_{\lambda})I'_{\lambda}(u_{n})\rightarrow 0. \end{equation}$

引理3.3  $\{u_{n}\}$在$E_{\lambda}$中有界(依赖于$\lambda)$.

证  对充分大的$n$,有

(3.3) $ \begin{eqnarray}\label{eq3.3} \nonumber I_{\lambda}(u_{n})-\frac{1}{q}\langle I'_{\lambda}(u_{n}), u_{n}\rangle&=&\bigg(\frac{1}{2}-\frac{1}{q}\bigg)\|u_{n}\|_{\lambda}^{2} -\bigg(\frac{1}{2}-\frac{1}{q}\bigg)\int_{{\Bbb R}^{N}}\lambda V^{-}(x)u_{n}^{2}{\rm d}x\\ \nonumber&&+\bigg(\frac{1}{2}-\frac{1}{q}\bigg)\int_{{\Bbb R}^{N}}V_{0}(x)u_{n}^{2}{\rm d}x+\bigg(\frac{1}{q}-\frac{1}{p}\bigg)\int_{{\Bbb R}^{N}}P(x)|u_{n}|^{p}{\rm d}x\\ &\leq&c+1.\end{eqnarray}$

结合条件$(V_{1})$知$\|u_{n}\|_{\lambda}^{2}\leq C_{1}\int_{{\Bbb R}^{N}}u_{n}^{2}{\rm d}x+ C_{2}$.从而只需证明$\{u_{n}\}$在$L^{2}({\Bbb R}^{N})$中有界即可.事实上,若$\int_{{\Bbb R}^{N}}u_{n}^{2}{\rm d}x\mathop{\longrightarrow}\limits^{n\rightarrow\infty}\infty$,记$v_{n}=\frac{u_{n}}{|u_{n}|_{2}}$,则$|v_{n}|_{2}=1$.

一方面,由(3.3)式知

(3.4) $\|v_{n}\|_{\lambda}^{2}+\int_{{\Bbb R}^{N}}V_{0}(x)v_{n}^{2}{\rm d}x-\int_{{\Bbb R}^{N}}\lambda V^{-}(x)v_{n}^{2}{\rm d}x\leq\frac{C}{|u_{n}|^{2}_{2}}.$

因此$\{\|v_{n}\|_{\lambda}^{2}\}$是有界的并且

(3.5) $ \int_{{\Bbb R}^{N}}V(x)v_{n}^{2}{\rm d}x\leq\frac{C}{|u_{n}|^{2}_{2}}\mathop{\longrightarrow}\limits^{n\rightarrow\infty}0. $

由$E_{\lambda}$自反,在子列意义下可设在$E_{\lambda}$中$v_{n}\rightharpoonup v$.

另一方面,由(3.4)式和嵌入的紧性知$v=0$.因此

$ \begin{eqnarray*} \int_{{\Bbb R}^{N}} V(x)v_{n}^{2}{\rm d}x&=&\int_{\{x ~:~V(x)\geq b\}} V(x)v_{n}^{2}{\rm d}x+\int_{\{x~:~V(x)< b\}}V(x)v_{n}^{2}{\rm d}x\\ &\geq&b\bigg(1-\int_{\{x~:~V(x)< b\}} V(x)v_{n}^{2}{\rm d}x\bigg)+o_{n}(1)\\ &\geq&b+o_{n}(1)>0. \end{eqnarray*}$

这与(3.5)式矛盾.

引理3.4  $c_{\lambda}$关于$\lambda$一致有界.

证  由文献[31,定理2.12], $c_{\lambda}\in[\kappa_{\lambda}, \sup\limits _{u\in Q}I _{\lambda} (u)]$,我们只需证明$\sup\limits _{u\in Q}I _{\lambda} (u)$有与$\lambda$无关的正上界.设

$J_{\lambda}(u):=\frac{1}{2}a_{\lambda}(u, u)+\frac{1}{2}\int_{{\Bbb R}^{N}}V_{0}(x)u^{2}{\rm d}x-C_{1}\int_{\Omega}|u|^{q}{\rm d}x, ~~u\in E_{\lambda}.$

显然, $I_{\lambda}(u)\leq J_{\lambda}(u)$.

任给$\eta>0$,存在$r_{\eta}>0$,使得

$\begin{eqnarray*}\left\{\begin{array}{ll}C_{ 1}|u|^{q}\geq \frac{1}{2}\eta u^{2}, ~~~&|u|\geq r_{\eta}, \\[3mm]C_{1}|u|^{q}\leq \frac{1}{2}\eta u^{2}, ~~~&|u|\leq r_{\eta}.\end{array}\right.\end{eqnarray*}$

设$u=v+w\in\hat{E}_{\lambda}\oplus Re_{0}$.我们得

(3.6) $\begin{eqnarray}\label{eq3.6} \nonumber J_{\lambda}(u)&\leq& \frac{1}{2}\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}w|^{2}{\rm d}x+\frac{1}{2}\int_{{\Bbb R}^{N}}V_{0}(x)u^{2}{\rm d}x -\frac{1}{2}\eta\int_{\Omega}u^{2}{\rm d}x \\ \nonumber&& +\int_{\{x\in\Omega~:~|u(x)|\leq r_{\eta}\}}\bigg(\frac{1}{2}\eta u^{2}-C_{1}|u|^{q}\bigg){\rm d}x\\ &\leq&\frac{1}{2}\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}w|^{2}{\rm d}x+C\|V_{0}\|_{L^{\infty}}\|u\|^{2}_{\lambda}-\frac{\eta}{2}\int_{\Omega}u^{2}{\rm d}x+C(\eta). \end{eqnarray}$

由于$e_{0}\in C_{0}^{\infty}(\Omega)$,故

(3.7) $\begin{equation}\label{eq3.7} \int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}w|^{2}{\rm d}x =a_{\lambda}(u, w)=\int_{\Omega}u(-\Delta)^{s}w{\rm d}x\leq\|(-\Delta)^{s}w \|_{L^{2}(\Omega)}\|u\|_{L^{2}(\Omega)}.\end{equation} $

让$(\varphi_{k}, \mu_{k})$为$-\Delta$在$\Omega$中带有Dirichlet边界条件的特征函数和特征值.根据文献[2,引理3.4,引理3.5],我们得

(3.8) $\|(-\Delta)^{s}w\|_{L^{2}(\Omega)}=(\Sigma_{k=1}^{\infty}a^{2}_{k}\mu^{s}_{k})^{\frac{1}{2}}<\infty, $

其中$a_{k}=\int_{\Omega}w\varphi_{k}{\rm d}x$.由$0<\mu_{1}\leq\mu_{2}\cdot\cdot\cdot\leq\mu_{k}\cdot\cdot\cdot$和$\mu_{k}\rightarrow\infty$,我们有

(3.9) $\|(-\Delta)^{\frac{s}{2}}w\|_{L^{2}(\Omega)}=(\Sigma_{k=1}^{\infty}a^{2}_{k}\mu^{\frac{s}{2}}_{k})^{\frac{1}{2}}<\infty. $

因此$\|(-\Delta)^{s}w\|_{L^{2}(\Omega)}\leq C_{0}\|(-\Delta)^{\frac{s}{2}}w\|_{L^{2}(\Omega)}$ ($C_{0}$只依赖于$e_{0}$).注意到(3.7)-(3.9)式,结合Young不等式,易证

(3.10) $\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}w|^{2}{\rm d}x\leq \frac{2}{\eta}C^{2}_{0}\|(-\Delta)^{\frac{s}{2}}w\|^{2}_{L^{2}(\Omega)}+\frac{\eta}{2}\|u\|^{2}_{L^{2}(\Omega)}.$

让$\eta\geq4C_{0}^{2}$,则$\int_{{\Bbb R}^{N}}|(-\Delta)^{\frac{s}{2}}w|^{2}{\rm d}x\leq\eta\|u\|^{2}_{L^{2}(\Omega)}$.如果$\|V_{0}\|_{L^{\infty}}\leq\frac{2}{CR_{\lambda}^{2}}$,根据(3.6)式,我们有$J_{\lambda}(u)\leq C(\eta)+1$.

引理3.5  任给$M>0$,存在$\Lambda=\Lambda(M)>0$使得$(C)_{c}$序列$\{u_{n}\}$满足,在$E_{\lambda}$中, $u_{n} \rightharpoonup u$,其中$u$是$I_{\lambda}$的非平凡临界点或者$I_{\lambda}$满足$(C)_{c}$条件如果$c\leq M$.

证  由引理3.3,在子列意义下,在$E_{\lambda}$中, $u_{n} \rightharpoonup u$.由于$V$变号,我们需要分为两种情形:

情形(ⅰ) $I_{\lambda}(u)<0$;

情形(ⅱ) $I_{\lambda}(u)\geq0$.

如果(ⅰ)发生,则$u$显然是非平凡解.如果(ii)发生,我们将证明在$E_{\lambda}$中, $u_{n} \rightarrow u$.事实上,记$v_{n}=u_{n}-u$.根据$(V_{2})$,有

(3.11) $\int_{{\Bbb R}^{N}} v^{2}_{n}{\rm d}x=\int_{\{x~:~V(x)\geq b\}}v^{2}_{n}{\rm d}x+\int_{\{x~:~V(x)< b\}} v_{n}{\rm d}x\leq\frac{1}{\lambda b}\|v_{n}\|^{2}_{\lambda}+o_{n}(1).$

这样我们利用内插不等式和Sobolev不等式得

(3.12) $|v_{n}|_{p}\leq|v_{n}|^{\sigma}_{2}|v_{n}|^{1-\sigma}_{2^{\ast}_{s}}\leq d|v_{n}|^{\sigma}_{2}|(-\Delta)^{\frac{1}{2}}v_{n}|_{2}^{1-\sigma} \leq d(\lambda b)^{-\frac{\sigma}{2}}\|v_{n}\|_{\lambda}+o_{n}(1), $

其中$0<\sigma<1$并且常数$d$与$\lambda$无关.根据Brézis-Lieb引理我们得

(3.13) $I_{\lambda}(v_{n})=I_{\lambda}(u_{n})-I_{\lambda}(u)+o_{n}(1), ~~~I_{\lambda}'(v_{n})=I_{\lambda}'(u_{n})+o_{n}(1). $

简单计算易知

$\begin{eqnarray}\label{eq3.14} \nonumber \bigg(\frac{1}{q}-\frac{1}{p}\bigg)\int_{{\Bbb R}^{N}}P(x)|v_{n}|^{p}{\rm d}x&\leq&I_{\lambda}(v_{n})-\frac{1}{q}\langle I'_{\lambda}(v_{n}), v_{n}\rangle\\ \nonumber &=& c-I_{\lambda}(u)+o_{n}(1)\\ \nonumber &\leq&M+o_{n}(1).\end{eqnarray}$

因此

(3.14) $|v_{n}|^{p}_{p}\leq\frac{Mpq}{P_{0}(p-q)}+o_{n}(1).$

注意到条件$(Q)$和$\int_{{\Bbb R}^{N}}\lambda V^{-}(x)v^{2}_{n}{\rm d}x=o_{n}(1)$,结合(3.11)-(3.14)式,我们得

(3.15) $\begin{eqnarray}\label{eq3.16} \nonumber o_{n}(1)&=&\langle I_{\lambda}'(v_{n}), v_{n}\rangle\geq \|v_{n}\|^{2}_{\lambda}-C_{1}|v_{n}|^{p}_{p}+o_{n}(1)\\ &\geq& \bigg(1-C_{1}\bigg(\frac{Mpq}{P_{0}(p-q)}\bigg)^{\frac{p-2}{p}}\frac{d^{2}}{(\lambda b)^{\sigma}}\bigg)\|v_{n}\|^{2}_{\lambda}+o_{n}(1).\end{eqnarray}$

选择$\lambda$充分大,我们得在$E_{\lambda}$中$v_{n}\rightarrow0$.

根据定理1.2的假设,我们知$I_{\lambda}$具有山路几何结构.借用文献[25,定理2.2], $I_{\lambda}$存在一个$(C)_{c}$序列.注意到$\hat{E_{\lambda}}=\{0\}$,其不影响引理3.3至引理3.5的结果.类似于引理3.3至引理3.5,当$\lambda$充分大时,我们获得$I_{\lambda}$有一个非平凡临界点$u_{\lambda}$并且$I_{\lambda}(u_{\lambda})\in[\kappa_{\lambda}, C_{0}]$,其中$\kappa_{\lambda}\geq0$依赖于$\lambda$但$C_{0}$与$\lambda$无关.记$u_{n}:=u_{\lambda_{n}}$.

步骤1  我们首先证明$\{u_{n}\}$在$E$中有界.直接计算我们得

(4.1) $c_{\lambda_{n}}=I_{\lambda_{n}}(u_{n})-\frac{1}{q}\langle I'_{\lambda_{n}}(u_{n}), u_{n}\rangle \geq \bigg(\frac{1}{2}-\frac{1}{q}\bigg)\|u_{n}\|_{\lambda_{n}}^{2}.$

由(4.1)式知$\{u_{n}\}$在$E$中有界.在子列意义下,我们设在$E$中$u_{n}\rightharpoonup \bar{u}$.

步骤2  $\bar{u}$是方程(1.4)的弱解.根据Fatou's引理,我们有

(4.2) $\int_{{\Bbb R}^{N}}V(x)\bar{u}^{2}{\rm d}x\leq\liminf\limits_{n\rightarrow\infty}\int_{{\Bbb R}^{N}}V(x)\bar{u}_{n}^{2}{\rm d}x \leq\liminf\limits_{n\rightarrow\infty}\frac{\|u_{n}\|^{2}_{\lambda_{n}}}{\lambda_{n}}=0.$

因此,注意到$(V_{3})$, $\bar{u}=0$ a.e. ${\Bbb R}^{N}\setminus V^{-1}(0)$, $\bar{u}\in H_{0}^{s}(\Omega)$.任给$\varphi\in C_{0}^{\infty}(\Omega)$, $\langle I'_{\lambda_{n}}(u_{n}), \varphi\rangle =0$,易知$\bar{u}$是方程(1.4)的弱解.

步骤3  在$E$中$u_{n}\rightarrow \bar{u}$并且$\bar{u}\neq0$.

类似于文献[21, 33]或[34].首先,易证在$L^{t}({\Bbb R}^{N})$中$u_{n}\rightarrow \bar{u}$ ($2<t<2^{\ast}_{s}$).其次,结合

$\langle I'_{\lambda_{n}}(u_{n}), u_{n}\rangle=0, ~~\langle I'_{\lambda_{n}}(u_{n}), \bar{u}\rangle=0, $

我们得

$\lim\limits_{n\rightarrow\infty}\|u_{n}\|^{2}_{\lambda_{n}}= \lim\limits_{n\rightarrow\infty}(u_{n}, \bar{u})_{\lambda_{n}}=\|\bar{u}\|^{2}.$

众所周知

$\|\bar{u}\|^{2}\leq\liminf\limits_{n\rightarrow\infty}\|u_{n}\|^{2}\leq \lim\limits_{n\rightarrow\infty}\|u_{n}\|^{2}_{\lambda_{n}}.$

因此,在$E$中$u_{n}\rightarrow \bar{u}$.最后,当$n$充分大时,有

$\|u_{n}\|^{2}\leq \|u_{n}\|^{2}_{\lambda_{n}}\leq C' \|u_{n}\|^{p}+C'' \|u_{n}\|^{q}, $

这蕴含了$\bar{u}\neq0$.