近些年来,非局部微分积分方程,特别是分数阶Laplace方程,被人们广泛研究. 不但在基础数学中会遇到这类非局部方程,它们在应用自然科学中也会自然地出现, 并且在不同领域都有重要的应用,比如薄障碍问题、最优化问题、金融、相变、 分层材料、不规则扩散、晶体转位、半渗透膜、火焰传播、守恒律、准地转流、 多重散射、极小曲面、材料学、水波、等等. Di Nezza,Palatucci 和 Valdinoci 的综述性文章 ^[5] 对分数阶Sobolev空间给出了清晰而全面的介绍, 是学习分数阶Laplace方程极好的参考资料.

一类典型的非局部微分积分方程的Dirichlet问题可表示为 \begin{equation}\label{e1.0} \left\{ \begin{array}{*{35}{l}} {{L}_{K}}u+f(x,u)=0, & x\in \Omega , \\ u=0, & x\in \mathbb{R}\setminus \Omega , \\ \end{array} \right. \tag{1} \end{equation} 其中 \[{{L}_{K}}u(x)=\frac{1}{2}\int_{{{\mathbb{R}}^{n}}}{(u(x+y)+u(x-y)-2u(x))K(y)\text{d}y}\] 是非局部算子,$\Omega \subset {{\mathbb{R}}^{n}}$ 具Lipschitz边界的有界开集,$K:\ {{\mathbb{R}}^{n}}\backslash \left\{ 0 \right\}\to (0,+\infty )$是满足下列性质的函数:

(i) $\gamma K\in {{L}^{1}}({{\mathbb{R}}^{n}})$, 这里 $\gamma (x)=\min \{{{\left| x \right|}^{2}},1\}$;

(ii) 存在 $\lambda > 0$,使得对任 $x\in {{\mathbb{R}}^{n}}\backslash \left\{ 0 \right\}$ 有 $K(x) \ge \lambda {\left| x \right|^{ - (n + 2s)}}$;

(iii) 对任 $x\in {{\mathbb{R}}^{n}}\backslash \left\{ 0 \right\}$,$K(x) = K( - x)$.

对 $K(x) = {\left| x \right|^{ - (n + 2s)}}$,${L_K}$ 就是 Laplace 算子${( - \Delta )^s}$,问题 (1.1) 就变成 \[\left\{ \begin{array}{*{35}{l}} {{(-\Delta )}^{s}}u=f(x,u),~~ & x\in \Omega , \\ u=0, & x\in {{\mathbb{R}}^{n}}\backslash \Omega , \\ \end{array} \right.\] 这里 $s \in (0,1)$, $$ {( - \Delta )^s}u(x) = \frac{1}{2}\int_{{R^n}} {\frac{{u(x + y) + u(x - y) - 2u(x)}}{{{{\left| y \right|}^{n + 2s}}}}{\rm d}y}.$$

由后面知道可把问题 (1.1) 的解看成是某泛函的临界点. 应用山路引理,在条件 (i)--(iii) 及非线性项$f(x,u)$ 次临界增长的假设之下,Servadei 和 Valdinoci^[14] 证明了问题 (1.1) 非平凡解的存在性.其它有关分数阶方程的问题可见文献^{[2, 7, 8, 9]}等.

因为 Schrödinger 方程的孤波解常常满足具有变分结构的椭圆型方程, 因而用极小作用原理来证明 Schrödinger 方程孤波解的存在性已经是一个标准的方法^{[4, 12]}. 和单个方程相比,耦合 Schrödinger 方程组的问题要复杂得多. 在研究耦合非线性 Schrödinger 方程组的孤波解的重要论文^[6]中,Maia,Montefusco 和 Pellacci 证明了方程组 $$\left\{ \begin{array}{ll} - \Delta u + u = {\left| u \right|^{2q - 2}}u + b{\left| v \right|^q} {\left| u \right|^{q - 2}} u, &x \in {{\Bbb R}^N},\\ - \Delta v +{\omega ^2}u = {\left| v \right|^{2q - 2}}v +b{\left| u \right|^q} {\left| v \right|^{q - 2}}v, ~~ & x \in {{\Bbb R}^N},\\ u(x) \to 0,\;\; v(x) \to 0,& \left| x \right| \to \infty \end{array} \right.$$ 正解的存在性. 他们用的是变分的方法,但是必需要综合运用山路引理、Nehari流形、Pohozaev等式等工具.

近年来,许多学者对发展型分数阶非线性 Schrödinger 方程进行了研究.对孤波解而言,就是研究分数阶非线性椭圆型方程. 受文献^[6]启发,利用文献^[14]中技巧, 本文要研究的是下面分数阶耦合非线性 Schrödinger 方程组Dirichlet 问题非平凡解的存在性 \begin{equation}\label{e1.1} \left\{ \begin{array}{*{35}{l}} {{(-\Delta )}^{s}}u=|u{{|}^{2q-2}}u+b|v{{|}^{q}}|u{{|}^{q-2}}u,~~ & x\in \Omega , \\ {{(-\Delta )}^{s}}v=|v{{|}^{2q-2}}v+b|u{{|}^{q}}|v{{|}^{q-2}}v, & x\in \Omega , \\ u=0,\ \ v=0, & x\in {{\mathbb{R}}^{n}}\backslash \Omega . \\ \end{array} \right.\tag{1} \end{equation} 此外,在对非线性项做一定假设后人们还可以研究以下更一般的问题 \begin{equation}\label{e1.2} \left\{ \begin{array}{*{35}{l}} {{(-\Delta )}^{s}}u=f(u,v),~~ & x\in \Omega , \\ {{(-\Delta )}^{s}}v=g(u,v), & x\in \Omega , \\ u=0,\ \ v=0, & x\in {{\mathbb{R}}^{n}}\backslash \Omega . \\ \end{array} \right. \tag{1} \end{equation} 当 $f(u,v) = {|u|^{2q - 2}u} + b{|v|^q}{|u|^{q - 2}u}$ 及 $g(u,v) = {|v|^{2q - 2}v} + b{|u|^q}{v^{q - 2}v}$ 时, 问题 (1.3)即是问题 (1.2).

本文中假设 $s \in (0,1)$,$2s < n < 4s,2 < 2q < {2^*},{2^*}= \frac{{2n}}{{n - 2s}}$,$\Omega \subset {{\mathbb{R}}^{n}}$是具 Lipschitz 边界的有界集. 记 $X$ 为满足下列条件的 Lebesgue 可测函数 $f:{{\mathbb{R}}^{n}}\to \mathbb{R}$ 构成的线性空间: $f \in {L^2}(\Omega )$ 并且 $$(x,y) \mapsto \displaystyle\frac{{f(x) - f(y)}}{{\sqrt {{{\left| {x - y} \right|}^{n + 2s}}} }} \in {L^2}{\rm{(}}Q,{\rm d}x{\rm d}y),$$ 其中 $C\Omega :={{\mathbb{R}}^{n}}\backslash \Omega ,\ \ Q:={{\mathbb{R}}^{2n}}\backslash (C\Omega \times C\Omega ).$

记 \[E:={{X}_{0}}\times {{X}_{0}}=\left\{ \left( f,g \right)\in F:{{\mathbb{R}}^{n}}\backslash \Omega \text{ 中几乎处处有 }\left( f,g \right)=\left( 0,0 \right) \right\},\] 其中 ${{X}_{0}}=\left\{ f\in X:{{\mathbb{R}}^{n}}\backslash \Omega \text{ 中几乎处处有}f=0 \right\}$,$F: = X \times X$. 因为 \begin{equation}\label{e1.4} C_0^2\left( \Omega \right) \times C_0^2\left( \Omega \right) \subset E. \tag{1} \end{equation} 所以 $E$ 和 $F$ 非空(见文献 [13,引理 11]).

问题 (1.2) 有变分结构,它是泛函 $J:E \to {\Bbb R}$ 的 Euler-Lagrange 方程 \begin{eqnarray}\label{J} & J\left( u,v \right)=\frac{1}{2}\int\limits_{Q}{\frac{{{\left| u\left( x \right)-u\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}+\frac{1}{2}\int\limits_{Q}{\frac{{{\left| v\left( x \right)-v\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & -\frac{1}{2q}\int\limits_{\Omega }{{{\left| u \right|}^{2q}}\text{d}x}-\frac{1}{2q}\int\limits_{\Omega }{{{\left| v \right|}^{2q}}\text{d}x}-\frac{b}{q}\int\limits_{\Omega }{{{\left| uv \right|}^{q}}\text{d}x}. \\ \tag{1}\end{eqnarray}

另外还有如下事实. $J$ 是 Fréchet 可微的,对 $\left( {u,v} \right) \in E$ 及 $\left( {\varphi ,\psi } \right) \in E$ 有 \begin{eqnarray} \left\langle {J'\left( {u,v} \right),\left( {\varphi ,\psi } \right)} \right\rangle &=& \int_Q {\frac{{\left( {u\left( x \right) - u\left( y \right)} \right)\left( {\varphi \left( x \right) - \varphi \left( y \right)} \right)}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ && + \int_Q {\frac{{\left( {v\left( x \right) - v\left( y \right)} \right) \left( {\psi \left( x \right) - \psi \left( y \right)} \right)}} {{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &&- \int_\Omega {\left( {{|u|^{2q -2}u}\varphi + {|v|^{2q - 2}v}\psi } \right){\rm d}x} \\ && - b\int_\Omega {\left( {{|u|^{q - 2}u}{|v|^q}\varphi + {|v|^{q -2}v}{|u|^q}\psi } \right){\rm d}x.} \end{eqnarray} $J$ 的临界点是问题 (1.2) 的解(更多的变分方法,可见文献^{[1, 3, 15]}).

因为算子是非局部的,Dirichlet数据是在 ${{\Bbb R}^n}\backslash \Omega $ 上给定, 而不是简单地在 $\partial \Omega $ 上. 本文证明思路是: 首先, 在验证了 $J$ 满足山路几何和 PS 紧性条件后,由山路引理得到方程组的一个非零向量解. 其次,证明得到的向量解的两个分量都是非平凡的,即都是非零的, 此时需对 $ b$ 作一些限制.

本文主要结果如下:

定理1.1 设 $s \in (0,1)$,$2s < n < 4s,2 < 2q < {2^*},{2^*} = \frac{{2n}}{{n - 2s}}$,$\Omega$ 是 ${{\Bbb R}^n}$ 中具 Lipschitz 边界的有界集. 则问题 (1.2) 存在非平凡的解 $\left( {u,v} \right) \in E$.

推论1.1 设 $b > {2^{q - 1}} - 1$, $2 < 2q < {2^*},2s < n < 4s$. 则问题(1.2) 存在极小能量解$(u,v)$ 且 $u > 0,v > 0$.

本文组织如下. 第2节介绍一些基本定义,符号及后面用到的辅助结果. 第3节证明问题(1.2) 存在山路解. 第4节证明了问题 (1.2) 正解的存在性.

本节先给出关于空间 $X$ 和 ${X_0}$ 的一些基础知识,然后证明后文将用到的一些有用结果.

赋予空间 $X$ 范数 \begin{equation}\label{e2.1} \left\| f \right\|_X^2 = \left\| f \right\|_{{L^2}\left( \Omega \right)}^2{\rm{ + }}\int_Q {\frac{{{{\left| {f\left( x \right) - f\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} .\tag{1} \end{equation}

记 $Q={{\mathbb{R}}^{2n}}\backslash \sigma $,$\sigma \text{=(C}\Omega )\times (C\Omega )\subset {{\mathbb{R}}^{2n}}$,$\text{C}\Omega ={{\mathbb{R}}^{n}}\backslash \Omega $.

定义 $$ \left\| {\left( {f,g} \right)} \right\|_F^2 = \left\| f \right\|_X^2 + \left\| g \right\|_X^2.$$

验证 ${\left\| {\;{\rm{\cdot}}\;} \right\|_F}$ 是 $F$ 上的范数是比较容易的,这里仅证: ${\left\| {\left( {f,g} \right)} \right\|_F} = 0$ 时,必有在 ${{\mathbb{R}}^{n}}$ 上几乎处处成立 $\left( {f,g} \right) = \left( {0,0} \right)$.事实上,由 ${\left\| {\left( {f,g} \right)} \right\|_F} = 0$,得 ${\left\| f \right\|_{{L^2}\left( \Omega \right)}} = {\left\| g \right\|_{{L^2}\left( \Omega \right)}} = 0$. 所以 \begin{equation}\label{e2.2} \mbox{在$ \Omega $ 上几乎处处有 }~ f = g = 0 \tag{1} \end{equation} 及 \begin{equation}\label{e2.3} \int_Q {\frac{{{{\left| {f\left( x \right) - f\left( y \right)} \right|}^2}}} {{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} = \int_Q {\frac{{{{\left| {g\left( x \right) - g\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} = 0 .\tag{1} \end{equation}

由 (2.3)式知,对几乎处处的 $ \left( {x,y} \right) \in Q$, $f\left( x \right) = f\left( y \right),\;\; g\left( x \right) = g\left( y \right)$,所以 $f$,$g$ 在 ${{\mathbb{R}}^{n}}$ 上几乎处处是常数,不妨设 $f = c ,\; g = d $. 由 (2.2)式,$c = 0,\; d = 0$. 证毕.

下面 $G = {H^s}\left( \Omega \right) \times {H^s}\left( \Omega \right)$ 表示通常的分数阶 Sobolev 空间并赋予以下范数 $$\left\| {\left( {f,g} \right)} \right\|_G^2 = \left\| f \right\|_{{H^s}\left( \Omega \right)}^2 + \left\| g \right\|_{{H^s}\left( \Omega \right)}^2,$$ 其中 \begin{equation}\label{e2.4} \left\| f \right\|_{{H^s}\left( \Omega \right)}^2 = \left\| f \right\|_{{L^2}\left( \Omega \right)}^2{\rm{ + }}\int_{\Omega \times \Omega } {\frac{{{{\left| {f\left( x \right) - f\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} .\tag{1} \end{equation} 要注意的是范数(2.1)和(2.4)并不等价,因为 $\Omega \times \Omega$ 是严格包含在 $Q$ 中的. 另外, $\left\| \left( \centerdot \right) \right\|_{p}^{p}=\left\| \centerdot \right\|_{p}^{p}+\left\| \centerdot \right\|_{p}^{p}$ 表示 ${L^p}\left( \Omega \right) \times {L^p}\left( \Omega \right)$ 上的范数.

引理2.1  a)  若 $(u,v) \in F$,则 $(u,v) \in G$,且 $$\displaystyle{\left\| {\left( {u,v} \right)} \right\|_G} \le {\left\| {\left( {u,v} \right)} \right\|_F} .$$

b)  若 $(u,v) \in E,$ 则 $\left( u,v \right)\in {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)$,且 \[{{\left\| \left( u,v \right) \right\|}_{G}}\le {{\left\| \left( u,v \right) \right\|}_{{{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)}}={{\left\| \left( u,v \right) \right\|}_{F}}.\]

证  a)  若 $(u,v) \in F = X \times X$,则 $$\int_{\Omega \times \Omega } {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \le \int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} < + \infty .$$ 类似地, $$\int_{\Omega \times \Omega } {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} < + \infty. $$ 所以 $(u,v) \in G = {H^s}\left( \Omega \right) \times {H^s}\left( \Omega \right)$, \begin{eqnarray} \left\| {\left( {u,v} \right)} \right\|_G^2 &= &\left\| u \right\|_{{H^s}\left( \Omega \right)}^2 + \left\| v \right\|_{{H^s}\left( \Omega \right)}^2 \\ &= &\left\| u \right\|_2^2 + \displaystyle\int_{\Omega \times \Omega } {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}} {{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \left\| v \right\|_2^2 + \int_{\Omega \times \Omega } {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &\leq &\left\| u \right\|_2^2 + \displaystyle \int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \left\| v \right\|_2^2 + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}} {{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &=& \left\| u \right\|_X^2 + \left\| v \right\|_X^2 = \left\| {\left( {u,v} \right)} \right\|_F^2.\end{eqnarray}

b)  由于 $E=\left\{ \left( u,v \right)\in F:{{\mathbb{R}}^{n}}\backslash \Omega 中几乎处处有\left( u,v \right)=\left( 0,0 \right) \right\}$,所以如果 $(u,v) \in E,$ 则 \[{{\left\| u \right\|}_{{{L}^{2}}\left( {{\mathbb{R}}^{n}} \right)}}={{\left\| u \right\|}_{{{L}^{2}}\left( \Omega \right)}}\text{}+\infty ,{{\left\| v \right\|}_{{{L}^{2}}\left( {{\mathbb{R}}^{n}} \right)}}={{\left\| v \right\|}_{{{L}^{2}}\left( \Omega \right)}}<+\infty ,\] \[\int_{{{\mathbb{R}}^{2n}}}{\frac{{{\left| u\left( x \right)-u\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}=\int_{Q}{\frac{{{\left| u\left( x \right)-u\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}<+\infty .\] 类似地, \[\int_{{{\mathbb{R}}^{2n}}}{\frac{{{\left| u\left( x \right)-u\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}<+\infty .\] 从而 $\left( u,v \right)\in {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)$.

同时,${{\left\| \left( u,v \right) \right\|}_{{{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)}}={{\left\| \left( u,v \right) \right\|}_{F}}$ 及 \[{{\left\| \left( u,v \right) \right\|}_{{{H}^{s}}\left( \Omega \right)\times {{H}^{s}}\left( \Omega \right)}}\le {{\left\| \left( u,v \right) \right\|}_{{{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)}},\] 即 \[{{\left\| \left( u,v \right) \right\|}_{G}}\le {{\left\| \left( u,v \right) \right\|}_{{{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)}}={{\left\| \left( u,v \right) \right\|}_{F}}.\] 证毕.

引理2.2 存在依赖于$n,s$ 和 $\Omega$ 的常数 $C > 1$,使得对任意 $\left( {u,v} \right) \in E$ 有 \begin{eqnarray} &&\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &\le& \left\| {\left( {u,v} \right)} \right\|_F^2\\ & \le&\displaystyle C\bigg( {\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} } \bigg), \end{eqnarray} 从而 \begin{equation}\label{e2.5} \left\| {\left( {u,v} \right)} \right\|_E^2 = \int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \tag{1} \end{equation} 是 $E = {X_0} \times {X_0}$ 上与范数 (2.1) 等价的范数.

证  首先由 (2.1) 式得到 $$\left\| {\left( {u,v} \right)} \right\|_F^2 \ge \int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y}.$$ 再利用连续嵌入 ${L^{{2^*}}}\left( \Omega \right)$ $\hookrightarrow $ ${L^2}\left( \Omega \right)$ (注意到$\Omega$ 是有界的且 $2 < {2^*} = \frac{{2n}}{{n - 2s}}$)可得 \begin{eqnarray} \left\| u \right\|_X^2 & =& \left\| u \right\|_{{L^2}\left( \Omega \right)}^2{\rm{ + }}\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &\le &{\left| \Omega \right|^{\frac{{{2^{\rm{*}}}{\rm{ - }}2}}{{{2^{\rm{*}}}}}}}\left\| u \right\|_{{L^{{2^*}}}\left( \Omega \right)}^2 + \int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y}.\end{eqnarray}

若 $\left( {u,v} \right) \in E = {X_0} \times {X_0}$,由引理 2.1 知 $\left( u,v \right)\in {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)$,从而 $u\in {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)$. 由文献 [5,定理 6.5] (这里 $p = 2$)可得 \[\left\| u \right\|_{{{L}^{{{2}^{*}}}}\left( {{\mathbb{R}}^{n}} \right)}^{2}\le C\int_{{{\mathbb{R}}^{2n}}}{\frac{{{\left| u\left( x \right)-u\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y},\] 其中 $C$ 是仅依赖 $n$ 和 $s$ 的常数. 取 $C\left( {n,s,\Omega } \right) = C{\left| \Omega \right|^{\frac{{{2^{\rm{*}}}{\rm{ - }}2}}{{{2^{\rm{*}}}}}}} + 1 > 1$,则 $$\left\| u \right\|_X^2 \le C\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y}. $$ 所以 $$\left\| {\left( {u,v} \right)} \right\|_F^2 = \left\| u \right\|_X^2 + \left\| v \right\|_X^2 \le C \bigg(\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \bigg).$$

要证 (2.5)式是 $E$ 上的范数,只需证若 ${\left\| {\left( {u,v} \right)} \right\|_E} = 0$,则有$\left( {u,v} \right) = \left( {0,0} \right)$ 在 ${{\mathbb{R}}^{n}}$ 中几乎处处成立即可. 事实上,由 ${\left\| {\left( {u,v} \right)} \right\|_E} = 0$ 可得 $$\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} = \int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} = 0.$$ 同本节开始的说明一样可证 ${{\mathbb{R}}^{n}}$ 中几乎处处有$u = v = 0$. 所以 (2.5) 式是 $E$ 上的范数.

引理2.3 $\left( {E,{{\left\| {\left( {u,v} \right)} \right\|}_E}} \right)$ 是 Hilbert 空间.

证  首先,对任意 $\left( {u,v} \right) \in E$,考虑映射 \begin{eqnarray} &&\left( {u,v} \right) \mapsto \left\langle {\left( {u,v} \right),\left( {\varphi ,\psi } \right)} \right\rangle : \\ &&= \int_Q {\frac{{\left( {u\left( x \right) - u\left( y \right)} \right)}}{{{{\left| {x - y} \right|}^{n + 2s}}}}\left( {\varphi \left( x \right) - \varphi \left( y \right)} \right){\rm d}x{\rm d}y} + \int_Q {\frac{{\left( {v\left( x \right) - v\left( y \right)} \right)}}{{{{\left| {x - y} \right|}^{n + 2s}}}}\left( {\psi \left( x \right) - \psi \left( y \right)} \right){\rm d}x{\rm d}y} .\end{eqnarray} 易知 $\left\langle {{\kern 1pt} {\kern 1pt} {\rm{\cdot}}{\kern 1pt} {\kern 1pt} {\kern 1pt} ,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\rm{\cdot}}{\kern 1pt} {\kern 1pt} {\kern 1pt} } \right\rangle $ 是 $E$ 上的内积,它对应的范数和 (2.5)式是一致的.

为证 $E$ 是一个 Hilbert 空间,只需证 $E$ 在范数 ${\left\| {\left( {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\rm{\cdot}}{\kern 1pt} {\kern 1pt} } \right)} \right\|_E}$ 下是完备的. 为此,令 $\left( {{u_j},{v_j}} \right)$ 是 $E$ 中的 Cauchy 列. 因而,对任 $\varepsilon > 0$ 存在 ${u _\varepsilon }$ 使得 $i,j \ge {u _\varepsilon }$ 时就有 \begin{eqnarray}\label{e2.6} & \varepsilon \ge \left\| \left( {{u}_{i}}-{{u}_{j}},{{v}_{i}}-{{v}_{j}} \right) \right\|_{E}^{2} \\ & \ge \frac{1}{C}\left\| \left( {{u}_{i}}-{{u}_{j}},{{v}_{i}}-{{v}_{j}} \right) \right\|_{F}^{2} \\ & =\frac{1}{C}\left\| {{u}_{i}}-{{u}_{j}} \right\|_{X}^{2}+\frac{1}{C}\left\| {{v}_{i}}-{{v}_{j}} \right\|_{X}^{2} \\ & \ge \frac{1}{C}\left\| {{u}_{i}}-{{u}_{j}} \right\|_{{{L}^{2}}\left( \Omega \right)}^{2}+\frac{1}{C}\left\| {{v}_{i}}-{{v}_{j}} \right\|_{{{L}^{2}}\left( \Omega \right)}^{2} \\ & =\frac{1}{C}\left\| \left( {{u}_{i}}-{{u}_{j}},{{v}_{i}}-{{v}_{j}} \right) \right\|_{{{L}^{2}}\left( \Omega \right)}^{2}. \\ \tag{1}\end{eqnarray} 由于 ${L^2}\left( \Omega \right) \times {L^2}\left( \Omega \right)$ 是完备的, 所以存在 $\left( {{u_\infty },{v_\infty }} \right) \in {L^2}\left( \Omega\right) \times {L^2}\left( \Omega \right)$ 使得 $j \to + \infty $ 时在 ${L^2}\left( \Omega \right) \times {L^2}\left( \Omega \right)$中有${w_j} = \left( {{u_j},{v_j}} \right) \to \left( {{u_\infty },{v_\infty }} \right)$. 因而存在一个子列 $\left( {{u_{{j_k}}},{v_{{j_k}}}} \right)\subset E$,使得在 ${{\mathbb{R}}^{n}}$ 中几乎处处有 $\left( {{u_{{j_k}}},{v_{{j_k}}}} \right){\kern 1pt} \to \left( {{u_\infty },{v_\infty }} \right)$ (见文献[5,定理 IV.9]).

下证 $\left( {{u_\infty },{v_\infty }} \right) \in E$. 由 Fatou 引理和 (2.6) 式中第一个不等式(取 $\varepsilon = 1$) 得 \[\begin{align} & \int_{Q}{\frac{{{\left| {{u}_{\infty }}(x)-{{u}_{\infty }}(y) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}+\int_{Q}{\frac{{{\left| {{v}_{\infty }}(x)-{{v}_{\infty }}(y) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & =\int_{Q}{\underset{k\to +\infty }{\mathop{\lim \inf }}\,\left( \frac{{{\left| {{u}_{{{j}_{k}}}}(x)-{{u}_{{{j}_{k}}}}(y) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y+\frac{{{\left| {{v}_{{{j}_{k}}}}(x)-{{v}_{{{j}_{k}}}}(y) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y \right)} \\ & \le \underset{k\to +\infty }{\mathop{\lim \inf }}\,\left\| \left( {{u}_{{{j}_{k}}}},{{v}_{{{j}_{k}}}} \right) \right\|_{E}^{2} \\ & \underset{k\to +\infty }{\mathop{\lim \inf }}\,\left\| \left( {{u}_{{{j}_{k}}}}-{{u}_{{{u}_{1}}}}+{{u}_{{{u}_{1}}}},{{v}_{{{j}_{k}}}}-{{v}_{{{u}_{1}}}}+{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2} \\ & =\underset{k\to +\infty }{\mathop{\lim \inf }}\,\left\| \left( {{u}_{{{j}_{k}}}}-{{u}_{{{u}_{1}}}},{{v}_{{{j}_{k}}}}-{{v}_{{{u}_{1}}}} \right)+\left( {{u}_{{{u}_{1}}}},{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2} \\ & \le \underset{k\to +\infty }{\mathop{\lim \inf }}\,\left[ 2\left\| \left( {{u}_{{{j}_{k}}}}-{{u}_{{{u}_{1}}}},{{v}_{{{j}_{k}}}}-{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2}+2\left\| \left( {{u}_{{{u}_{1}}}},{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2} \right] \\ & \le \underset{k\to +\infty }{\mathop{\lim \inf }}\,2\left( 1+\left\| \left( {{u}_{{{u}_{1}}}},{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2} \right)\le 2\left( 1+\left\| \left( {{u}_{{{u}_{1}}}},{{v}_{{{u}_{1}}}} \right) \right\|_{E}^{2} \right)<+\infty . \\ \end{align}\] 故 $\left( {{u_\infty },{v_\infty }} \right) \in E$.

现在只需证整个序列在 $E$ 中收敛到 $\left( {{u_\infty },{v_\infty }} \right)$. 为此,令 $i \ge {u _\varepsilon }$. 由 (2.6) 式的第一个不等式,引理 2.2 及 Fatou 引理可得 \begin{eqnarray} && \left\| {\left( {{u_i},{v_i}} \right) - \left( {{u_\infty },{v_\infty }} \right){\kern 1pt} } \right\|_E^2 = \left\| {\left( {{u_i} - {u_\infty },{v_i} - {v_\infty }} \right)} \right\|_E^2 \\ &\le& \left\| {\left( {{u_i} - {u_\infty },{v_i} - {v_\infty }} \right)} \right\|_F^2 = \left\| {{u_i} - {u_\infty }} \right\|_X^2 + \left\| {{v_i} - {v_\infty }} \right\|_X^2\\ & =& \left\| {{u_i} - {u_\infty }} \right\|_{{L^2}\left( \Omega \right)}^2 + \displaystyle \int_Q {\frac{{{{\left| {{u_i}(x) - {u_\infty }(x) - {u_i}(y) + {u_\infty }(y)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ && + \left\| {{v_i} - {v_\infty }} \right\|_{{L^2}\left( \Omega \right)}^2 + \displaystyle \int_Q {\frac{{{{\left| {{v_i}(x) - {v_\infty }(x) - {v_i}(y) + {v_\infty }(y)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &=& \int_\Omega {\mathop {\lim \inf }\limits_{k \to + \infty } ({{\left| {{u_i} - {u_{{j_k}}}} \right|}^2} + } {\left| {{v_i} - {v_{{j_k}}}} \right|^2}){\rm d}x{\rm d}y\\ && + \displaystyle \int_Q {\mathop {\lim \inf }\limits_{k \to + \infty } \bigg(\frac{{{{\left| {{u_i}\left( x \right) - {u_{{j_k}}}(x) - {u_i}(y) + {u_{{j_k}}}(y)} \right|}^2}}}{{{\left| {x - y} \right|}^{n + 2s}}}} \\ && + \frac{{{{\left| {{v_i}\left( x \right) - {v_{{j_k}}}(x) - {v_i}(y) + {v_{{j_k}}}(y)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}\bigg){\rm d}x{\rm d}y \\ &\le& \mathop {\lim \inf }\limits_{k \to + \infty } \left( {\left\| {{u_i} - {u_{{j_k}}}} \right\|_2^2 + \left\| {{v_i} - {v_{{j_k}}}} \right\|_2^2} \right) + \mathop {\lim \inf }\limits_{k \to + \infty } \left(\left\| {{u_i} - {u_{{j_k}}}} \right\|_{{X_0}}^2 + \left\| {{v_i} - {v_{{j_k}}}} \right\|_{{X_0}}^2\right)\\ & =& \mathop {\lim \inf }\limits_{k \to + \infty } \left\| {{u_i} - {u_{{j_k}}},{v_i} - {v_{{j_k}}}} \right\|_2^2 + \mathop {\lim \inf }\limits_{k \to + \infty } \left\| {{u_i} - {u_{{j_k}}},{v_i} - {v_{{j_k}}}} \right\|_E^2 \\ &\le& \mathop {\lim \inf }\limits_{k \to + \infty } \left\| {\left( {{u_i} - {u_{{j_k}}},{v_i} - {v_{{j_k}}}} \right)} \right\|_F^2 \\ & \le& C\mathop {\lim \inf }\limits_{k \to + \infty } \left\| {\left( {{u_i} - {u_{{j_k}}},{v_i} - {v_{{j_k}}}} \right)} \right\|_E^2 \le C\varepsilon .\end{eqnarray} 也就是,在 $E$ 中当 $i \to + \infty $ 时 $\left( {{u_i},{v_i}} \right) \to \left( {{u_\infty },{v_\infty }} \right) $. 引理得证.

引理2.4  设 $\left( {{u_j},{v_j}} \right)$ 是 $E$ 中的有界列. 则对任意的 $u \in \left[{1,{2^*}} \right)$,存在子列 (仍记为$\left( {{u_j},{v_j}} \right)$) 和 $\left( {{u}_{\infty }},{{v}_{\infty }} \right)\in {{L}^{u}}\left( {{\mathbb{R}}^{n}} \right)\times {{L}^{u}}\left( {{\mathbb{R}}^{n}} \right)$,使得该子列当 $j \to + \infty $ 时在 ${{L}^{u}}\left( {{\mathbb{R}}^{n}} \right)\times {{L}^{u}}\left( {{\mathbb{R}}^{n}} \right)$ 中 \[\left( {{u_j},{v_j}} \right) \to \left( {{u_\infty },{v_\infty }} \right).\] 证  由引理 2.1 b),$\left( {{u}_{j}},{{v}_{j}} \right)\in {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)\times {{H}^{s}}\left( {{\mathbb{R}}^{n}} \right)$. 具体讲,由引理 2.1 b)、引理 2.2,可得 \[{\left\| {\left( {{u_j},{v_j}} \right)} \right\|_G} \le {\left\| {\left( {{u_j},{v_j}} \right)} \right\|_{{H^s}\left( {{{\Bbb R}^n}} \right) \times {H^s}\left( {{{\Bbb R}^n}} \right)}} = {\left\| {\left( {{u_j},{v_j}} \right)} \right\|_F} \le C{\left\| {\left( {{u_j},{v_j}} \right)} \right\|_E}, \] 其中 $C$ 只依赖 $n$,$s$ 和 $\Omega $. 因 $\left( {{u_j},{v_j}} \right)$ 在 $E$ 中有界,所以在 $G$ 中有界,从而也在 ${L^2}\left( \Omega \right) \times {L^2}\left( \Omega \right)$ 中有界. 故 $\left\{ {{u_j}} \right\}$, $\left\{ {{v_j}} \right\}$ 在 ${L^2}\left( \Omega \right)$ 中有界.

由文献 [5,推论 7.2] 和 $\Omega $ 的条件可知,对任意 $m \in [1,{2^*})$, 存在 ${u_\infty },{v_\infty } \in {L^m}\left( \Omega \right)$ 和该序列的一个子列(下标仍记为$j$),使得在 $ {L^m}\left( \Omega \right)$ 中 $j \to + \infty $ 时有${u_j} \to {u_\infty },\; {v_j} \to {v_\infty }. $因为 $\left( {{u_j},{v_j}} \right)$ 在 ${{\mathbb{R}}^{n}}\backslash \Omega $ 中等于0,所以在 ${{\mathbb{R}}^{n}}\backslash \Omega $ 中可以定义 $\left( {{u_\infty },{v_\infty }} \right): = \left( {0,0} \right)$,从而在 ${{L}^{m}}\left( {{\mathbb{R}}^{n}} \right)$ 中收敛.

本节要利用山路引理^[10]来寻找临界点. 为此,首先验证泛函 $J$ 的几何特征及满足 Palais-Smale 紧性条件.

命题3.1 \label{pr3.1} 对泛函 $J$,存在 $\rho > 0,\beta > 0$ 使得对任意满足 ${\left\| {\left( {u,v} \right)} \right\|_E} = \rho $ 的 $\left( {u,v} \right) \in E$ 有 $J\left( {u,v} \right) \ge \beta $.

证  对于任意的 $\left( {u,v} \right)\in E$,因为 $\frac{1}{q}b{\left| u \right|^q}{\left| v \right|^q} \le \frac{1}{{2q}}b\big( {{{\left| u \right|}^{2q}} + {{\left| v \right|}^{2q}}} \big)$,所以 \begin{eqnarray} \displaystyle J\left( {u,v} \right)& = &\displaystyle \frac{1}{2}\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \frac{1}{2}\int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &&-\displaystyle \frac{1}{{2q}}\int_\Omega {{{\left| u \right|}^{2q}}{\rm d}x} - \frac{1}{{2q}}\int_\Omega {{{\left| v \right|}^{2q}}{\rm d}x} - \frac{b}{q}\int_\Omega {{{\left| {uv} \right|}^q}{\rm d}x} \\ &\ge & \displaystyle \frac{1}{2}\int_Q {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \frac{1}{2}\int_Q {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ && - \displaystyle\frac{1}{{2q}}\int_\Omega {{{\left| u \right|}^{2q}}{\rm d}x} - \frac{1}{{2q}}\int_\Omega {{{\left| v \right|}^{2q}}{\rm d}x} - \frac{b}{{2q}}\int_\Omega {\left( {{{\left| u \right|}^{2q}} + {{\left| v \right|}^{2q}}} \right){\rm d}x} \\ &=&\displaystyle \frac{1}{2}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{1}{{2q}}\left( {b + 1} \right){\left( {\left\| u \right\|_{2q}^2 + \left\| v \right\|_{2q}^2}\right)^q}.\end{eqnarray} 由 $\Omega$ 有界且 $2 < 2q < {2^*}$ 知嵌入 ${H^s}\left( \Omega \right)$ $\hookrightarrow$ ${L^{2q}}\left( \Omega \right)$ 是连续的. 所以存在 $C,C' > 0$ 使得 $$ \left\| u \right\|_{2q}^2 \le C'\left\| u \right\|_{{H^s}\left( \Omega \right)}^2 = C'\bigg( {\left\| u \right\|_{{L^2}\left( \Omega \right)}^2{\rm{ + }}\int_{\Omega \times \Omega } {\frac{{{{\left| {u\left( x \right) - u\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} } \bigg) \le C'\left\| u \right\|_X^2,$$ $$\left\| v \right\|_{2q}^2 \le C'\left\| v \right\|_{{H^s}\left( \Omega \right)}^2 = C'\bigg( {\left\| v \right\|_{{L^2}\left( \Omega \right)}^2{\rm{ + }}\int_{\Omega \times \Omega } {\frac{{{{\left| {v\left( x \right) - v\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} } \bigg) \le C'\left\| v \right\|_X^2.$$ 从而 $$\left\| u \right\|_{2q}^2{\rm{ + }}\left\| v \right\|_{2q}^2 \le C'\left\| {\left( {u,v} \right)} \right\|_F^2.$$ 由引理 2.2 得 $$\left\| u \right\|_{2q}^2 + \left\| v \right\|_{2q}^2 \le C'\left\| {\left( {u,v} \right)} \right\|_F^2 \le C\left\| {\left( {u,v} \right)} \right\|_E^2.$$ 所以 \begin{eqnarray} \displaystyle J\left( {u,v} \right)& \ge & \frac{1}{2}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{1}{{2q}}\left( {b + 1} \right)C\left\| {\left( {u,v} \right)} \right\|_E^{2q}\\ & =& \left\| {\left( {u,v} \right)} \right\|_E^2\bigg[{\frac{1}{2} - \frac{1}{{2q}}\left( {b + 1} \right)C\left\| {\left( {u,v} \right)} \right\|_E^{2q - 2}} \bigg].\end{eqnarray} 现令 $\left( {u,v} \right) \in E$,${\left\| {\left( {u,v} \right)} \right\|_E} = \rho > 0$ 并且取充分小的$\rho>0$,则有 $$\displaystyle\mathop {\inf }\limits_{\mathop {\left( {u,v} \right) \in E}\limits_{{{\left\| {\left( {u,v} \right)} \right\|}_E} = \rho } } J\left( {u,v} \right) \ge {\rho ^2}\bigg[{\frac{1}{2} - \frac{1}{{2q}}\left( {b + 1} \right)C{\rho ^{2q - 2}}} \bigg] = :\beta > 0.$$ 命题得证.

命题3.2 \label{pr3.2} 存在 $\left( {u,v} \right) \in E$ 使得 ${\left\| {\left( {u,v} \right)} \right\|_E} > \rho $,$J\left( {u,v} \right) < \beta $,且在 ${{\mathbb{R}}^{n}}$ 中几乎处处成立 $u \ge 0,v \ge 0$,其中 $\rho ,\beta $ 是命题 3.1 中出现的.

证  取 ${u},{v} \in {X_0}$ 并使其满足 ${\left\| {{u}} \right\|_{{X_0}}} = 1,{\left\| {{v}} \right\|_{{X_0}}} = 1$ 和 ${u} \ge 0,{v} \ge 0$ 在 ${{\mathbb{R}}^{n}}$ 中几乎处处成立. 所以 $\left\| {\left( {{u},{v}} \right)} \right\|_E^2 = 2$. 由 (1.4) 式可知这种取法是合理的.

令 $t > 0$,则有 \begin{eqnarray} \displaystyle J\left( {tu,tv} \right)& =& \displaystyle \frac{1}{2}\int_Q {\frac{{{{\left| {tu\left( x \right) - tu\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \frac{1}{2}\int_Q {\frac{{{{\left| {tv\left( x \right) - tv\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ && \displaystyle - \frac{1}{{2q}}\int_\Omega {{{\left| {tu} \right|}^{2q}}{\rm d}x} - \frac{1}{{2q}}\int_\Omega {{{\left| {tv} \right|}^{2q}}{\rm d}x} - \frac{b}{q}{t^{2q}}\int_\Omega {{{\left| {uv} \right|}^q}{\rm d}x} \\ &=&\displaystyle \frac{1}{2}{t^2}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{1}{{2q}}{t^{2q}}\left( {\int_\Omega {{{\left| u \right|}^{2q}}{\rm d}x} + \int_\Omega {{{\left| v \right|}^{2q}}{\rm d}x} } \right) - \frac{b}{q}{t^{2q}}\int_\Omega {{{\left| {uv} \right|}^q}{\rm d}x} \\ &\le& \displaystyle \frac{1}{2}{t^2}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{1}{{2q}}{t^{2q}}\left( {\int_\Omega {{{\left| u \right|}^{2q}}{\rm d}x} + \int_\Omega {{{\left| v \right|}^{2q}}{\rm d}x} } \right)\\ &=&\displaystyle t^2 - \frac{1}{{2q}}{t^{2q}}\left( {\int_\Omega {{{\left| u \right|}^{2q}}{\rm d}x} + \int_\Omega {{{\left| v \right|}^{2q}}{\rm d}x} } \right).\end{eqnarray} 当 $t \to + \infty $ 时有 $J\left( {tu,tv} \right) \to - \infty $. 对充分大的$T$,令$(Tu,Tv)$为新的$(u,v)$,则该 $\left( {u,v} \right)$ 满足命题条件.

命题 3.1 和 3.2 给出了山路引理所满足的几何条件. 接下来的命题 3.3 和 3.4是验证 PS 条件.

命题3.3 令 $c\in \mathbb{R}$,$\left( {{u_j},{v_j}} \right)$ 是 $E$ 中 $j \to + \infty $时满足条件 \begin{equation}\label{e3.1} J\left( {{u_j},{v_j}} \right) \to c{\kern 1pt} {\kern 1pt} \tag{1} \end{equation} 和条件 \begin{equation}\label{e3.2} \sup \left\{ {\left| {\left\langle {J'\left( {{u_j},{v_j}} \right),\left( {\varphi ,\psi } \right)} \right\rangle } \right|:\left( {\varphi ,\psi } \right) \in E,{{\left\| {\left( {\varphi ,\psi } \right)} \right\|}_E} = 1} \right\}{\kern 1pt} {\kern 1pt} \to 0 \tag{1} \end{equation} 的序列. 则 $\left( {{u_j},{v_j}} \right)$ 在 $E$ 中是有界的.

证  由 $\left\langle {J'\left( {{u_j},{v_j}} \right),\left( {\varphi ,\psi } \right)} \right\rangle $的定义知 $$\displaystyle\left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_j},{v_j}} \right)} \right\rangle = \left\| {\left( {{u_j},{v_j}} \right)} \right\|_E^2 - \left( {\int_\Omega {({{\left| {{u_j}} \right|}^{2q}} + {{\left| {{v_j}} \right|}^{2q}}){\rm d}x} } \right) - 2b\int_\Omega {{{\left| {{u_j}{v_j}} \right|}^q}{\rm d}x}. $$ 对任意 $j \in\mathbb N$,由 (3.1) 和 (3.2)式知存在 $K > 0$ 使得 \begin{equation}\label{e3.3} \left| {\left\langle {J'\left( {{u_j},{v_j}} \right),\frac{{\left( {{u_j},{v_j}} \right)}}{{{{\left\| {\left( {{u_j},{v_j}} \right)} \right\|}_E}}}} \right\rangle } \right| \le K \tag{1} \end{equation} 及 \begin{equation} \label{e3.4} \left| {J\left( {{u_j},{v_j}} \right)} \right| \le K. \tag{1} \end{equation} 所以 $$\displaystyle\frac{1}{{{{\left\| {\left( {{u_j},{v_j}} \right)} \right\|}_E}}}\left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_j},{v_j}} \right)} \right\rangle \ge - K, $$ 即 \begin{equation}\label{e3.5} \left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_j},{v_j}} \right)} \right\rangle \ge - K{\left\| {\left( {{u_j},{v_j}} \right)} \right\|_E}. \tag{1} \end{equation} 由 (3.4) 和 (3.5) 式得 \begin{eqnarray} J\left( {{u_j},{v_j}} \right) - \frac{1}{{2q}}\left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_j},{v_j}} \right)} \right\rangle = \Big(\frac{1}{2} - \frac{1}{{2q}}\Big)\left\| {\left( {{u_j},{v_j}} \right)} \right\|_E^2 \le K\left( {1 + {{\left\| {\left( {{u_j},{v_j}} \right)} \right\|}_E}} \right).\end{eqnarray} 因而存在常数 ${K_*}>0$ 使得对任意 $j \in\mathbb N$ 有 $$\displaystyle\left\| {\left( {{u_j},{v_j}} \right)} \right\|_E^2 \le {K_*}\left( {1 + {{\left\| {\left( {{u_j},{v_j}} \right)} \right\|}_E}} \right).$$ 命题得证.

命题3.4  设 $\left( {{u_j},{v_j}} \right)$ 是 $E$ 中有界列并满足 (3.2)式.则存在 $\left( {{u_\infty },{v_\infty }} \right) \in E$ 及某子序列使得当 $j \to + \infty $ 时有 $\displaystyle{\left\| {\left( {{u_j} - {u_\infty },{v_j} - {v_\infty }} \right)} \right\|_E} \to 0$.

证  由引理 2.3 知 $E$ 是一个 Hilbert 空间,从而是自反的. 因为 $\left( {{u_j},{v_j}} \right)$ 在 $E$中是有界的,存在一个子序列(仍记为 $({{u_j},{v_j}})$) 和 $\left( {{u_\infty },{v_\infty }} \right) \in E$ 使得对任意 $\left( {\varphi ,\psi } \right) \in E$,当 $j \to + \infty $ 时, \begin{eqnarray} & \int\limits_{Q}{\frac{\left( {{u}_{j}}\left( x \right)-{{u}_{j}}\left( y \right) \right)\left( \varphi \left( x \right)-\varphi \left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}+\int\limits_{Q}{\frac{\left( {{v}_{j}}\left( x \right)-{{v}_{j}}\left( y \right) \right)\left( \psi \left( x \right)-\psi \left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & \to \int\limits_{Q}{\frac{\left( {{u}_{\infty }}\left( x \right)-{{u}_{\infty }}\left( y \right) \right)\left( \varphi \left( x \right)-\varphi \left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}+\int\limits_{Q}{\frac{\left( {{v}_{\infty }}\left( x \right)-{{v}_{\infty }}\left( y \right) \right)\left( \psi \left( x \right)-\psi \left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}. \\ \tag{1}\end{eqnarray} 由引理 2.4,对某子序列,当 $j \to + \infty $ 时, \begin{equation} \left( {{u}_{j}},{{v}_{j}} \right)\to \left( {{u}_{\infty }},{{v}_{\infty }} \right)\ \ \text{在}{{L}^{q}}\left( {{\mathbb{R}}^{n}} \right)\times {{L}^{q}}\left( {{\mathbb{R}}^{n}} \right)\text{中}, \\ \left( {{u}_{j}},{{v}_{j}} \right)\to \left( {{u}_{\infty }},{{v}_{\infty }} \right)\ \ \text{在}{{\mathbb{R}}^{n}}中几乎处处. \\ \tag{1} \end{equation} 由文献[3,定理 IV.9],存在 $l\left( x \right),m\left( x \right)\in {{L}^{q}}\left( {{\mathbb{R}}^{n}} \right)$ 使得对任意 $j \in\mathbb N$ \begin{equation}\label{e3.8} \begin{array}{*{35}{l}} \left| {{u}_{j}}\left( x \right) \right|\le l\left( x \right)\ \text{在}{{\mathbb{R}}^{n}}\text{中几乎处处}, \\ \left| {{v}_{j}}\left( x \right) \right|\le m\left( x \right)\ \ 在{{\mathbb{R}}^{n}}\text{中几乎处处}. \\ \end{array} \tag{1} \end{equation} 由 (3.2)式得 \begin{eqnarray} \left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_j},{v_j}} \right)} \right\rangle &=&\displaystyle \int_Q {\frac{{{{\left| {{u_j}\left( x \right) - {u_j}\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {{v_j}\left( x \right) - {v_j}\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y}\\ && - \int_\Omega {({{\left| {{u_j}} \right|}^{2q}} + {{\left| {{v_j}} \right|}^{2q}}){\rm d}x} - 2b\int_\Omega {{{\left| {{u_j}{v_j}} \right|}^q}{\rm d}x} \\ &\to& 0 \end{eqnarray} 及 \begin{eqnarray} & \left\langle {J}'\left( {{u}_{j}},{{v}_{j}} \right),\left( {{u}_{\infty }},{{v}_{\infty }} \right) \right\rangle =\int\limits_{Q}{\frac{\left( {{u}_{j}}\left( x \right)-{{u}_{j}}\left( y \right) \right)\left( {{u}_{\infty }}\left( x \right)-{{u}_{\infty }}\left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & +\int_{Q}{\frac{\left( {{v}_{j}}\left( x \right)-{{v}_{j}}\left( y \right) \right)\left( {{v}_{\infty }}\left( x \right)-{{v}_{\infty }}\left( y \right) \right)}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & -\int_{\Omega }{({{\left| {{u}_{j}} \right|}^{2q-1}}\left| {{u}_{\infty }} \right|+{{\left| {{v}_{j}} \right|}^{2q-1}}\left| {{v}_{\infty }} \right|)\text{d}x} \\ & -b\int_{\Omega }{\left( {{\left| {{u}_{j}} \right|}^{q-1}}{{\left| {{v}_{j}} \right|}^{q}}\left| {{u}_{\infty }} \right|+{{\left| {{v}_{j}} \right|}^{q-1}}{{\left| {{u}_{j}} \right|}^{q}}\left| {{v}_{\infty }} \right| \right)\text{d}x} \\ & \to 0. \\ \tag{1}\end{eqnarray} 所以 \begin{eqnarray} & \int_{Q}{\frac{{{\left| {{u}_{j}}\left( x \right)-{{u}_{j}}\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y}+\int_{Q}{\frac{{{\left| {{v}_{j}}\left( x \right)-{{v}_{j}}\left( y \right) \right|}^{2}}}{{{\left| x-y \right|}^{n+2s}}}\text{d}x\text{d}y} \\ & \to \int_{\Omega }{({{\left| {{u}_{j}} \right|}^{2q}}+{{\left| {{v}_{j}} \right|}^{2q}})\text{d}x}-2b\int_{\Omega }{{{\left| {{u}_{j}}{{v}_{j}} \right|}^{q}}\text{d}x}. \\ \tag{1}\end{eqnarray} 由 (3.6),(3.7),(3.8) 式及控制收敛定理得 \begin{equation}\label{e3.11} \int_\Omega {({{\left| {{u_j}} \right|}^{2q}} + {{\left| {{v_j}} \right|}^{2q}}){\rm d}x} + 2b\int_\Omega {{{\left| {{u_j}{v_j}} \right|}^q}{\rm d}x} \to \int_\Omega {({{\left| {{u_\infty }} \right|}^{2q}} + {{\left| {{v_\infty }} \right|}^{2q}}){\rm d}x} + 2b\int_\Omega {{{\left| {{u_\infty }{v_\infty }} \right|}^q}{\rm d}x} \tag{1} \end{equation} 及 \begin{eqnarray}\label{e3.12} & \int_{\Omega }{({{\left| {{u}_{j}} \right|}^{2q-1}}\left| {{u}_{\infty }} \right|+{{\left| {{v}_{j}} \right|}^{2q-1}}\left| {{v}_{\infty }} \right|)\text{d}x}+b\int_{\Omega }{\left( {{\left| {{u}_{j}} \right|}^{q-1}}{{\left| {{v}_{j}} \right|}^{q}}\left| {{u}_{\infty }} \right|+{{\left| {{v}_{j}} \right|}^{q-1}}{{\left| {{u}_{j}} \right|}^{q}}\left| {{v}_{\infty }} \right| \right)\text{d}x} \\ & \to \int\limits_{\Omega }{({{\left| {{u}_{\infty }} \right|}^{2q}}+{{\left| {{v}_{\infty }} \right|}^{2q}})\text{d}x}+2b\int\limits_{\Omega }{{{\left| {{u}_{\infty }}{{v}_{\infty }} \right|}^{q}}\text{d}x}. \\ \tag{1}\end{eqnarray} 由 (3.6),(3.9) 和 (3.12) 式得 \begin{eqnarray} \left\langle {J'\left( {{u_j},{v_j}} \right),\left( {{u_\infty },{v_\infty }} \right)} \right\rangle & \to&\displaystyle \int_Q {\frac{{{{\left| {{u_\infty }\left( x \right) - {u_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {{v_\infty }\left( x \right) - {v_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &&- \int_\Omega {({{\left| {{u_\infty }} \right|}^{2q}} + {{\left| {{v_\infty }} \right|}^{2q}}){\rm d}x} - 2b\int_\Omega {{{\left| {{u_\infty }{v_\infty }} \right|}^q}{\rm d}x} \\ & =&0, \end{eqnarray} 即 \begin{eqnarray} &&\int_Q {\frac{{{{\left| {{u_\infty }\left( x \right) - {u_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} + \int_Q {\frac{{{{\left| {{v_\infty }\left( x \right) - {v_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ & =&\int_\Omega {({{\left| {{u_\infty }} \right|}^{2q}} + {{\left| {{v_\infty }} \right|}^{2q}}){\rm d}x} {\rm{ + }}2b\int_\Omega {{{\left| {{u_\infty }{v_\infty }} \right|}^q}{\rm d}x}. \end{eqnarray} 所以 $j \to + \infty $ 时 \begin{equation}\label{e3.13} \left\| {\left( {{u_j},{v_j}} \right)} \right\|_E^2 \to {\kern 1pt} \left\| {\left( {{u_\infty },{v_\infty }} \right)} \right\|_E^2.\tag{1} \end{equation}

最后,当 $j \to + \infty {\kern 1pt} {\kern 1pt} $ 时 \begin{eqnarray} \left\| {\left( {{u_j} - {u_\infty },{v_j} - {v_\infty }} \right)} \right\|_E^2 & = &\left\| {{u_j} - {u_\infty }} \right\|_{{X_0}}^2 + \left\| {{v_j} - {v_\infty }} \right\|_{{X_0}}^2\\ &= &\displaystyle\int_Q {\displaystyle \frac{{{{\left| {{u_j}\left( x \right) - {u_\infty }\left( x \right) - {u_j}\left( y \right) + {u_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ &&+ \int_Q {\frac{{{{\left| {{v_j}\left( x \right) - {v_\infty }\left( x \right) - {v_j}\left( y \right) + {v_\infty }\left( y \right)} \right|}^2}}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ & = &\displaystyle\left\| {{u_j}} \right\|_{{X_0}}^2 + \left\| {{u_\infty }} \right\|_{{X_0}}^2 + \left\| {{v_j}} \right\|_{{X_0}}^2 + \left\| {{v_\infty }} \right\|_{{X_0}}^2\\ &&- 2\displaystyle\int_Q {\frac{{\left( {{u_j}\left( x \right) - {u_j}\left( y \right)} \right)\left( {{u_\infty }\left( x \right) - {u_\infty }\left( y \right)} \right)}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ && - 2\int_Q {\frac{{\left( {{v_j}\left( x \right) - {v_j}\left( y \right)} \right)\left( {{v_\infty }\left( x \right) - {v_\infty }\left( y \right)} \right)}}{{{{\left| {x - y} \right|}^{n + 2s}}}}{\rm d}x{\rm d}y} \\ & \to& \displaystyle\left\| {\left( {{u_j},{v_j}} \right)} \right\|_E^2 + \left\| {\left( {{u_\infty },{v_\infty }} \right)} \right\|_E^2 - 2\left\| {\left( {{u_\infty },{v_\infty }} \right)} \right\|_E^2\\ & \to& 2\left\| {\left( {{u_\infty },{v_\infty }} \right)} \right\|_E^2 - 2\left\| {\left( {{u_\infty },{v_\infty }} \right)} \right\|_E^2 = 0.\end{eqnarray} 证毕.

定理 1.1 的证明  由命题3.1--3.4及山路引理知,存在 $J$ 的临界点 $\left( {u,v} \right) \in E$ 并且满足 $$J(u,v) \ge \beta > 0 = J(0,0)$$ 及 $\left( {u,v} \right)

为证明问题(1.2)正解的存在性,首先给出一些有用的引理(可见文献^[11]).

定义Nehari流形 $${\mathcal N}: = \left\{ {w \in E\backslash \left\{ 0 \right\}:\left\langle {I'\left( w \right),w } \right\rangle = 0} \right\}.$$

引理4.1  对任意 ${\mathit w}\in E\backslash \left\{ 0 \right\}$,存在唯一的 $\bar{t} ({\mathit w} ) > 0$ 使得 $\bar{t} ({\mathit w}){\mathit w} \in {\cal N}$. $J(t{\mathit w} )$ 在 $t \ge 0$ 上的最大值在 $t = \bar{t} ({\mathit w} )$ 时取得. 函数 $$E\backslash \left\{ 0 \right\} \mapsto (0,+ \infty ):{\mathit w} \mapsto\bar{t} ({\mathit w} )$$ 是连续的,并且映射 $${\mathit w} \mapsto \bar{t}({\mathit w} ){\mathit w} $$ 定义了 $E$ 中单位球到 ${\cal N}$ 上的一个同胚.

证  首先证明泛函 $J$ 满足以下几何性质:

(i) $(0,0)$ 是一个严格极小值点;

(ii) 对任意 ${\mathit w} \in E\backslash\{0\}$,对充分大的 $T > 0$ 有 $J(T{\mathit w}) < 0$.

事实上,如果定义 $$F\left( {u,v} \right) = \frac{1}{{2q}}\left[{{{\left| u \right|}^{2q}} + {{\left| v \right|}^{2q}}} \right] + \frac{1}{q}b{\left| u \right|^q}{\left| v \right|^q},$$ 则 $F$ 满足 \begin{eqnarray} & \underset{{{\left\| \left( u,v \right) \right\|}_{E}}\to 0}{\mathop{\lim }}\,\frac{1}{\left\| \left( u,v \right) \right\|_{E}^{2}}\int_{\Omega }{F\left( u,v \right)} \\ & =\underset{{{\left\| \left( u,v \right) \right\|}_{E}}\to 0}{\mathop{\lim }}\,\frac{1}{\left\| \left( u,v \right) \right\|_{E}^{2}}\int\limits_{\Omega }{\left[ \frac{1}{2}\left\| \left( u,v \right) \right\|_{E}^{2}-J\left( u,v \right) \right]} \\ & =0, \\ \tag{1}\end{eqnarray} \begin{equation} F(u,v)\ge \frac{1}{2q}\left( {{\left| u \right|}^{2q}}+{{\left| v \right|}^{2q}} \right). \tag{1}\end{equation} 所以由 (4.1)式可推出 (i) 成立. 由 (4.2)式知,对任意 $t > 0$ 下面的不等式成立 \begin{eqnarray} J\left( {tu,tv} \right) &\le& \frac{1}{2}{t^2}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{{{t^{2q}}}}{{2q}}\int_\Omega {\left( {{{\left| u \right|}^{2q}} + {{\left| v \right|}^{2q}}} \right){\rm d}x} \\ & =& {t^{2q}}\left[{\frac{1}{{2{t^{2q - 2}}}}\left\| {\left( {u,v} \right)} \right\|_E^2 - \frac{1}{{2q}}\int_\Omega {\left( {{{\left| u \right|}^{2q}} + {{\left| v \right|}^{2q}}} \right){\rm d}x} } \right], \end{eqnarray} 从而 (ii) 成立.

对任意 ${\mathit w} = \left( {u,v} \right) \in E\backslash \left\{ 0 \right\}$和 $t > 0$,令 \begin{equation}\label{e4.3} g(t): = J\left( {t{\mathit w}} \right) = J\left( {tu,tv} \right) .\tag{1} \end{equation} 从 (i) 和 (ii) 可知存在 $\bar{t} = \bar{t} \left( w \right) > 0$ 使得 \begin{equation}\label{e4.4} g\left( {\bar{t} } \right) = \mathop {\max }\limits_{t > 0} g\left( t \right).\tag{1} \end{equation} 因为 $g$ 的每一个正的驻点 $t>0$ 满足 \begin{eqnarray}\label{e4.5} & {g}'\left( t \right)=t\left\| \left( u,v \right) \right\|_{E}^{2}-2q{{t}^{2q-1}}\int_{\Omega }{F\left( u,v \right)} \\ & =t\left\{ \left\| \left( u,v \right) \right\|_{E}^{2}-{{t}^{2q-2}}\left[ \left\| \left( u,v \right) \right\|_{2q}^{2q}+2\int\limits_{\Omega }{b{{\left| uv \right|}^{q}}\text{d}x} \right] \right\} \\ & =0 \\ \tag{1}\end{eqnarray} 及 $q > 1$,所以 $\bar{t}= \bar{t} \left( {\mathit w} \right)$ 是 $t > 0$ 中唯一满足 $t{\mathit w} \in {\cal N}$ 的点. 因此 ${\cal N}$ 径向同胚于 $E$ 中的单位球. 式 (4.5) 表明映射 ${\mathit w} \mapsto \bar{t} ({\mathit w} ){\mathit w} $ 是连续的.

记 $$ {c_{\cal N}}: =\inf \limits_{\cal N} J\left({\mathit w} \right),   {c_1}: = \inf \limits_{{\mathit w} \in E\backslash \left\{ 0 \right\}} \max \limits_{t \ge 0} J\left( {t{\mathit w}} \right),   c: = \inf \limits_\Gamma \max \limits_{[0, 1]} J\left( {\gamma \left( t \right)} \right),$$ 其中$\Gamma = \left\{ {\gamma :[0, 1] \to E,\gamma\; \mbox{连续,} \gamma \left( 0 \right){\rm{ = }}0,J\left( {\gamma \left( 1 \right)} \right) < 0} \right\}.

引理4.2 \label{le4.2}$\displaystyle{c_N} = {c_1} = c$.

证  由引理 4.1知 $$\displaystyle{c_1} = \inf\limits_{{\mathit w} \in E\backslash \left\{ 0 \right\}} \max \limits_{t \ge 0} J\left( {t{\mathit w} } \right) = \inf\limits_{E\backslash \left\{ 0 \right\}} J\left( {\bar{t} \left({\mathit w} \right){\mathit w} } \right) = \inf \limits_{z \in {\cal N}} J\left( z \right) = {c_{\cal N}}.$$ 因为对充分大的 $t$ 有 $J\left( {tw} \right) < 0$,所以 $c \le {c_1}$. 又因为任意的 $\gamma \in \Gamma $ 与 ${\cal N}$ 相交,所以 $c \ge {c_{\cal N}}$. 结论得证.

注4.1  事实上下面的证明仅用到 $c \le {c_1}$.

推论 1.1 的证明  首先证明 $u,v$ 都是非平凡的,即非零函数. 假设 $v \equiv 0$,则 ${\mathit w} = \left( {u_0,0} \right)$,$u_0$ 是下列问题的解 \begin{equation} \left\{ \begin{array}{*{35}{l}} {{(-\Delta )}^{s}}u\text{=}{{u}^{2q-1}},~~ & x\in \Omega , \\ u>0, & x\in \Omega , \\ u=0, & 几乎处处x\in {{\mathbb{R}}^{n}}\backslash \Omega . \\ \end{array} \right. \tag{1}\end{equation} 同样,若 $u \equiv 0$,则 ${\mathit w}= \left( {0,v_0} \right)$, $v_0$ 是下列问题的解 \begin{equation}\label{e4.7} \left\{ \begin{array}{*{35}{l}} {{(-\Delta )}^{s}}\upsilon \text{=}{{\upsilon }^{2q-1}},~~ & x\in \Omega , \\ v>0, & x\in \Omega , \\ v=0, & \text{几乎处处}x\in {{\mathbb{R}}^{n}}\backslash \Omega . \\ \end{array} \right. \tag{1} \end{equation} 因此只需证明 $$c = J\left( {u,v} \right) < \min \left\{ {J\left( {{u_0},0} \right), J\left( {0,{v_0}} \right)} \right\}.$$ 因为 ${u_0}$ 是 (4.6)式的解, \begin{equation}\label{e4.8} \left\| {{u_0}} \right\|_{{X_0}}^2 = \left\| {{u_0}} \right\|_{2q}^{2q},   \left\| {{v_0}} \right\|_{{X_0}}^2 = \left\| {{v_0}} \right\|_{2q}^{2q}.\tag{1} \end{equation} 以上不等式可以给出以下关系: \begin{equation}\label{e4.9} C: = J\left( {{u_0},0} \right) = \frac{{q - 1}}{{2q}}\left\| {{u_0}} \right\|_{2q}^{2q} = \frac{{q - 1}}{{2q}}\left\| {{u_0}} \right\|_{{X_0}}^2, \tag{1} \end{equation} \begin{equation}\label{e4.10} J(0,{v_0}) = C = \frac{{q - 1}}{{2q}}\left\| {{v_0}} \right\|_{{X_0}}^2.\tag{1} \end{equation} 另一方面,由引理 4.2 知 \equiv $$ c = J(u,v) \le \mathop {\max }\limits_{t \ge 0} J\left( {t\left( {\varphi ,\psi } \right)} \right),   \forall \left( {\varphi ,\psi } \right) \in E.$$ 由 (4.9) 和 (4.10)式知,只需找到 $\left( \varphi ,\psi \right)\in E$, $\varphi $$0$ 和 $\psi ot \equiv 0$ 使得 $$c \le {c_1} \le \mathop {\max }\limits_{t \ge 0} J\left( {t\left( {\varphi ,\psi } \right)} \right) < C,$$ 即可,其中 $C$ 由 (4.9) 式定义.

任给 $\left( {\varphi ,\psi } \right) \in E$,考虑由 (4.3) 式定义的 $g(t)$ 的最大值$I\left( {\varphi ,\psi } \right)$,这里 \begin{equation}\label{e4.11} I\left( {\varphi ,\psi } \right) = \mathop {\max }\limits_{t > 0} g(t) = \frac{1}{2}\left( {1 - \frac{1}{q}} \right){\left[{\frac{{{{\left( {\left\| \varphi \right\|_{{X_0}}^2 + \left\| \psi \right\|_{{X_0}}^2} \right)}^q}}}{{\left\| \varphi \right\|_{2q}^{2q} + \left\| \psi \right\|_{2q}^{2q} + 2b\left\| {\varphi \psi } \right\|_q^q}}} \right]^{\frac{1}{{q - 1}}}}.\tag{1} \end{equation} 因此必须找到 $\left( {\varphi ,\psi } \right)$,$\varphi $$0$ 和 $\varphi $$0$,使得 $$c \le I\left( {\varphi ,\psi } \right) < J\left( {{u_0},0} \right) = C.$$ 因为 ${u_0}$ 是问题 (4.6) 的解,所以 ${( - \Delta )^s}{u_0}{\rm{ = }}{u_0}^{2q - 1}$.令 $ t = {\big( {\frac{1}{{b + 1}}} \big)^{\frac{1}{{2q - 2}}}} > 0$,则易知 $\left( {t{u_0},t{u_0}} \right)$ 是问题 (1.2) 的一个解.

取 $\left( {\varphi ,\psi } \right) = \left( {t{u_0},t{u_0}} \right)$,则 \begin{eqnarray} I\left( {t{u_0},t{u_0}} \right) &=& \frac{1}{2}\left( {1 - \frac{1}{q}} \right){\left[{\frac{{{{\left( {\left\| {{t_0}{u_0}} \right\|_{{X_0}}^2 + \left\| {{t_0}{u_0}} \right\|_{{X_0}}^2} \right)}^q}}} {{\left\| {{t_0}{u_0}} \right\|_{2q}^{2q} + \left\| {{t_0}{u_0}} \right\|_{2q}^{2q} + 2b\left\| {{t_0}^2{u_0}^2} \right\|_q^q}}} \right]^{\frac{1}{{q - 1}}}} \\ & =& \frac{{1 - \frac{1}{q}}}{{{{\left( {b + 1} \right)}^{\frac{1}{{q - 1}}}}}}\left\| {{u_0}} \right\|_{{X_0}}^2 = \frac{{2C}}{{{{\left( {b + 1} \right)}^{\frac{1}{{q - 1}}}}}} < C.\end{eqnarray} 所以只需证 $ \frac{{2C}}{{{{\left( {b + 1} \right)}^{\frac{1}{{q - 1}}}}}}< C$ 即可. 由条件 $b > {2^{q - 1}} - 1$ 可知该式成立. 结论得证.