在本文中,我们讨论下面系统基态解的存在性

(1.1) $\begin{equation} \left\{\begin{array}{ll} -\triangle u+V(x)u-(K(x)+\alpha)\phi u=\beta|u|^{4}u+b(x)|u|^{p-1}u, &(x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \\ \triangle\phi=(K(x)+\alpha)u^{2}, &(x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \end{array} \right.\end{equation}$

其中$\beta$是正常数, $\alpha<0$且$p\in(3, 4)$.对于$V, K(x)$和$b(x)$,我们作如下假设:

$(V_{1})$$V\in C(\mathbb{R}^{3}, \mathbb{R}), $且$\inf\limits_{x\in\mathbb{R}^{3}}V(x)>0$,对任一$M>0, meas\{x\in\mathbb{R}^{3}|V(x)\leq M\}<\infty.$

$(V_{2})$$V(\infty)=\lim\limits_{|x|\rightarrow\infty}\inf V(x)\geq V(x), $且$V(x)\not\equiv V(\infty)$.

(K) $K(x)\in L^{\infty}(\mathbb{R}^{3}, \mathbb{R}), $且$K(x)\leq0, x\in\mathbb{R}^{3}$.

(B) $b(x):\mathbb{R}^{3}\rightarrow\mathbb{R}^{+}$,且$b(x)\in L^{p+2}(\mathbb{R}^{3})$.

当$K(x)\equiv0, x\in\mathbb{R}^{3}$, Zhang在文献[1]中研究如下系统

(1.2) $\begin{equation} \left\{\begin{array}{ll} -\triangle u+V(x)u+\mu\phi u=f(u), & (x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \\ -\triangle\phi=\mu u^{2}, & (x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \end{array} \right.\end{equation}$

其中$V, \mu>0, f(u)$临界增长且为奇函数,运用变分形式山路定理,得到了系统(1.2)的正径向解和基态解的存在性.而Liu和Guo在文献[2]中运用变分法研究下列临界点情形的Schrödinger-Maxwell系统

(1.3) $\begin{equation} \left\{\begin{array}{ll} -\triangle u+V(x)u+\lambda\phi u=\mu|u|^{q-1}u+|u|^{4}u, & (x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \\ -\triangle\phi=u^{2}, &(x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \end{array} \right.\end{equation}$

其中$\mu$是一个正参数.在$V$的适当假设下,运用变分形式的山路定理,当$q\in(3, 5)$或$q\in(2, 3], $且$\mu$足够大的时候,对任一$\lambda>0$,系统(1.3)存在基态解$(u, \phi_{u})\in H^{1}(\mathbb{R}^{3})\times D^{1, 2}(\mathbb{R}^{3}).$

当$\alpha=0$时, Yang和Han在文献[3]中研究如下系统

(1.4) $\begin{equation} \left\{\begin{array}{ll} -\triangle u+V(x)u+K(x)\phi u=f(x, u), & (x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \\ -\triangle\phi=K(x)u^{2}, &(x, u)\in(\mathbb{R}^{3}, \mathbb{R}), \end{array} \right.\end{equation}$

其中$V>0, K(x)\geq0$.存在$a_{2}>0, p\in(4, 2^{*})$,使得$|f(x, u)|\leq a_{2}(1+|u|^{p-1})$,以及$\lim\limits_{|u|\rightarrow0}\frac{f(x, u)}{u}=0$, $\lim\limits_{|u|\rightarrow\infty}\frac{f(x, u)}{|u|^{4}}=+\infty$,当$u>0$时, $\frac{f(x, u)}{u^{3}}$递增, $u<0$时, $\frac{f(x, u)}{u^{3}}$递减,且存在$\gamma>0$,使得$F(x, u)\geq-\gamma u^{4}(F(x, u)=\int^{u}_{0}f(x, s){\rm d}s$.运用山路定理和喷泉定理可得系统(1.4)在$f(x, u)$关于$u$为奇函数的条件下平凡解和高能解的存在性和多重性.

自从系统(1.1)在文献[5]中提出来以后,就有很多学者研究其解的存在性和多重性,而更多的结论是关于非线性项只有一项,而且是次临界情形的,可详见文献[5-12].本文的主要工作是运用山路定理研究临界情形下,具有两项非线性项的系统(1.1)基态解的存在性.

下面是本文的主要结论:

定理1.1  若$(V_{1}), (V_{2}), $ (K)以及(B)成立, $p\in(3, 4)$,且$\beta>0$,则对每个$\alpha<0, $系统(1.1)至少存在一个基态解.

注1.1  定理1.1是扩展^[1-3]的结论.相对于系统(1.2), (1.3)和(1.4),系统(1.1)所满足的条件较复杂,这使得证明基态解的存在性时较困难.本文研究的系统与系统(1.2), (1.3)和(1.4)比较,创新点是同时满足以下两点:

a) Scrödinger-Maxwell方程有两个参量$K(x)$和$\alpha$,且都小于0.

b)非线性项是非自治的,含有两项,且其中一项临界增长.

下面介绍本文将用到的一些记号.

记Hilbert空间$H^{1}(\mathbb{R}^{3})$的范数如下:

$\|u\|_{1}:=\left[\int_{\mathbb{R}^{3}}(|\nabla u|^{2}+u^{2}){\rm d}x\right]^{\frac{1}{2}}, $

以及范数空间$D^{1, 2}(\mathbb{R}^{3})$的范数如下:

$D^{1, 2}(\mathbb{R}^{3}):=\left\{u\in L^{2^{*}}(\mathbb{R}^{3}):\nabla u\in(L^{2}(\mathbb{R}^{3}))^{3}\right\}.$

定义

$E:=\left\{u\in H^{1}(\mathbb{R}^{3}):\int_{\mathbb{R}^{3}}(|\nabla u|^{2}+V(x)u^{2}){\rm d}x<\infty\right\}.$

在$E$上赋予內积及由该內积导出的范数为

$(u, v):=\int_{\mathbb{R}^{3}}(\nabla u\cdot\nabla v+V(x)uv){\rm d}x, \ \ \ \forall u, v\in E.$

$\|u\|:=(u, u)^{\frac{1}{2}}, \ \ \ \forall u\in E.$

由$(V_{1})$知,下面的嵌入是紧嵌入:

$E\hookrightarrow L^{p}(\mathbb{R}^{3}), \ \ p\in[2, 6).$

由变分法知,系统(1.1)对应的泛函为$I(u, \phi):E\times D^{1, 2}(\mathbb{R}^{3})\rightarrow\mathbb{R}$,

$\begin{eqnarray*} I(u, \phi)&=&\frac{1}{2}\int_{\mathbb{R}^{3}}(|\nabla u|^{2}+V(x)u^{2}){\rm d}x -\int_{\mathbb{R}^{3}}\frac{1}{4}|\nabla\phi|^{2}+\frac{1}{2}(K(x)+\alpha)\phi u^{2} +\frac{\beta|u|^{6}}{6}+\frac{{b(x)|u{|^{p + 1}}}}{{p + 1}}{\rm{d}}x.\end{eqnarray*}$

运用Lax-Milgram定理^[13],对任一$u\in H^{1}(\mathbb{R}^{3})$,存在唯一的$\phi_{u}\in D^{1, 2}(\mathbb{R}^{3})$^[12],使得

(1.5) $\begin{equation}\Delta\phi_{u}=(K(x)+\alpha)u^{2}.\end{equation}$

特别地, $\Delta\phi_{u}$如下表示

$\phi_{u}=-\frac{1}{4\pi}\int_{\mathbb{R}^{3}}(K(y)+\alpha)\frac{u^{2}(y)}{|x-y|}{\rm d}y.$

由$(1.5)$式,有

$\int_{\mathbb{R}^{3}}|\nabla\phi_{u}|^{2}{\rm d}x=-\int_{\mathbb{R}^{3}}\Delta\phi_{u}\cdot\phi_{u}{\rm d}x=-\int_{\mathbb{R}^{3}}(K(x)+\alpha)\phi_{u}u^{2}{\rm d}x, $

从而

$\Phi(u)=I(u,\phi)=\frac{1}{2}\|u\|^{2}-\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{u}u^{2}{\rm d}x-\frac{\beta}{6}\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x-\frac{1}{p+1}\int_{\mathbb{R}^{3}}b(x)|u|^{p+1}{\rm d}x.$

显然, $\Phi(u)$是$C^{1}$ -泛函,导数如下:

$\langle\Phi'(u), v\rangle=\int_{\mathbb{R}^{3}}\big[\nabla u\nabla v+V(x)uv-(K(x)+\alpha)\phi_{u}uv-|u|^{4}uv-b(x)|u|^{p-1}uv\big]{\rm d}x, \ \ u, v\in E.$

相应的Nehari流形如下:

${\cal N}=\{u\in E\setminus\{0\:(\Phi'(u), u)=0\}.$

引理2.1^[14]  对于任一$u\in H^{1}(\mathbb{R}^{3}), $下面的命题成立:

(ⅰ) $\phi_{u}\geq0.$

(ⅱ) $\|\phi_{u}\|_{D^{1, 2}}\leq C\|u\|^{2}_{\frac{12}{5}}\leq C\|u\|^{2}.$

(ⅲ)若$u_{n}\rightharpoonup u, $则$\phi_{u_{n}}\rightharpoonup\phi_{u}.$

引理2.2^[16]若$\Phi$是一个Banach空间中的$C^{1}$ -泛函,存在0的邻域$\Omega\subset E$以及常数$\rho$,使得

$\Phi(u)\geq\rho>\Phi(0), \ \ \ \ \forall u\in \partial\Omega.$

以及存在$v\not\in\Omega$,使得

$\Phi(v)<\rho.$

其中

$c=\inf\limits_{\gamma\in\Gamma}\max\limits_{s\in[0, 1]}\Phi(\gamma(s))\geq\rho, $

$\Gamma=\{\gamma\in C([0, 1], E): \gamma(0)=0\ , \ \gamma(1)=v\}.$

则存在序列$\{u_{n}\}\subset E$使得

(2.1) $\begin{equation}\Phi(u_{n})\rightarrow c, \ \ \Phi'(u_{n})\rightarrow 0.\end{equation}$

令

$E_{0}=\bigg\{u\in E\setminus\{0\:\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{u}u^{2}{\rm d}x+\frac{\beta t^{2}}{6}\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x>0, \ \ t>0\bigg\}.$

显然, $E_{0}\neq\emptyset$.对任一$u\in E_{0}$,记

$m_{e}:=\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{u}u^{2}{\rm d}x+\frac{\beta t^{2}}{6}\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x>0.$

引理2.3  假设$(V_{1}), (V_{2}), $ (K)和(B)成立,则对$\forall u\in E, $存在常数$\rho, r>0, $且$\|u\|=r$时,有$\Phi(u)\geq\rho>0.$

证  对任一$u\in E$,由$\alpha<0, $ (K), (B),有

$\begin{eqnarray*}\Phi(u)&\geq&\frac{1}{2}\|u\|^{2}-\frac{\beta}{6}\|u\|^{6}_{6}-\frac{1}{p+1}\|b(x)\|_{p+2}\|u\|^{p+1}_{p+2}\\&\geq&\frac{1}{2}\|u\|^{2}-\frac{\beta}{6}\|u\|^{6}-C\|u\|^{p+1}\\&=&\|u\|^{2}\bigg(\frac{1}{2}-\frac{\beta}{6}\|u\|^{4}-C\|u\|^{p-1}\bigg).\end{eqnarray*}$

故$\Phi(u)>0.$其中$\|u\|=r, 0<r<\min\left\{1, \sqrt{\frac{-3C+3\sqrt{C^2+\frac{\beta}{3}}}{\beta}}\right\}, p\in(3, 4)$.

引理2.4  若$(V_{1}), (V_{2}), $ (K)和(B)成立,则对任一$e\in E_{0}$.存在$r>0$ (如引理2.3定义),使得

$\Phi(v)\leq0, \ \ v=te, \ \ t>0\in\mathbb{R}, \ \ \mbox{且}\ \ \|v\|>r.$

证  由(B)和Hölder不等式,有

$\int_{\mathbb{R}^{3}}b(x)|u|^{p+1}{\rm d}x\leq\|b(x)\|_{p+2}\|u\|^{p+1}_{p+2}.$

则对任一$e\in E_{0}, t>0$,有

$\begin{eqnarray*}\Phi(te)&=&\frac{t^{2}}{2}\|e\|^{2}-t^{4}\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{e}e^{2}{\rm d}x-\frac{\beta t^{6}}{6}\int_{\mathbb{R}^{3}}|e|^{6}{\rm d}x-\frac{t^{p+1}}{p+1}\int_{\mathbb{R}^{3}}b(x)|e|^{p+1}{\rm d}x\\&\leq&\frac{t^{2}}{2}\|e\|^{2}-t^{4}\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{e}e^{2}{\rm d}x-\frac{\beta }{6}t^{6}\int_{\mathbb{R}^{3}}|e|^{6}{\rm d}x+\frac{t^{p+1}}{p+1}\|b(x)\|_{p+1}\|e\|^{p+1}_{p+2}.\end{eqnarray*}$

因为$\alpha<0, p\in(3, 4)$,所以由(K),得

$\begin{eqnarray*}\Phi(te)&\leq&\frac{t^{2}}{2}\|e\|^{2}+Ct^{2}\|e\|^{p+1}-t^{4}\bigg(\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{e}e^{2}+\frac{\beta t^{6}}{6}t^{2}|e|^{6}{\rm d}x\bigg)\\&=&t^{2}\bigg(\frac{1}{2}\|e\|^{2}+C\|e\|^{p+1}\bigg)-m_{e}t^{4}\rightarrow-\infty, \ \ \ t\rightarrow\infty.\end{eqnarray*}$

取$v=te$.证毕.

引理2.5  若$(V_{1}), (V_{2}), $ (K)和(B)成立,则引理2.2的结论成立.

证  显然$\Phi(0)=0. $由引理2.3和引理2.4, $\Phi$满足引理2.2的条件,故存在序列$\{u_{n}\}\subset E, $使得$(2.1)$式成立.

下面说明$\Phi$的$(PS)_{c}$序列有界.

引理2.6  若$(V_{1}), (V_{2}), $ (K)和(B)成立,则任一满足(2.1)式的$\{u_{n}\}\subset E$有界.

证  任取$\{u_{n}\}$满足(2.1)式,则$-\langle \Phi'(u_{n}), u_{n}\rangle\leq o(1)\|u_{n}\|, $且存在$M>0, $使得$|\Phi(u_{n})|\leq M$.由(K)和(B),有

$\begin{eqnarray*}(p+1)M+o(1)\|u_{n}\|&\geq&(p+1)\Phi(u_{n})-\langle \Phi'(u_{n}),u_{n}\rangle\\&=&\frac{(p+1)}{2}\|u_{n}\|^{2}+\frac{3-p}{4}\int_{\mathbb{R}^{3}}(K(x)+\alpha)\phi_{u_{n}}u^{2}_{n}{\rm d}x+\frac{5-p}{6}\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x\\&\geq&\frac{p+1}{2}\|u_{n}\|^{2},\end{eqnarray*}$

其中, $\alpha<0, \beta>0, p\in(3, 4)$.故$\{u_{n}\}$有界.

引理2.7  若$(V_{1}), (V_{2}), $ (K)和(B)成立,则$\{u_{n}\}$的子列$\{u^{*}_{n}\}$强收敛,即存在$u^{*}\in E$使得

$$$u^{*}_{n}\rightarrow u^{*}.$

更进一步地,有

$\Phi(u^{*})=c.$

证  根据引理2.6可知,满足(2.1)式的$\{u_{n}\}$有界,即$\|u_{n}\|<\infty$.根据$E$的自反性,设$\{u_{n}\}$的子列$\{u^{*}_{n}\}$满足

(2.2) $\begin{equation}\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ u^{*}_{n}\rightharpoonup u^{*},\ \ \ u^{*} \in E.\\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ u^{*}_{n}\rightarrow u^{*},\ \ \ u^{*} \in L^{t}(\mathbb{R}^{3}),\ \ t\in(2,6).\\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ u^{*}_{n}\rightarrow u^{*},\ \ \ {\it a.e.}\ \ u^{*} \in \mathbb{R}^{3}.\end{equation}$

不难验证$\Phi'(u^{*})=0.$由引理2.1的(ⅱ)和(ⅲ),得

$\left(\int_{\mathbb{R}^{3}}|\nabla\phi_{u^{*}_{n}}|^{2}{\rm d}x\right)^{\frac{1}{2}}\leq C\|u^{*}_{n}\|^{2}_{\frac{12}{5}}\leq C\|u^{*}_{n}\|^{2}.$

因为$\|u^{*}_{n}\|<\infty$,由Hölder不等式,有

$\begin{eqnarray*}\int_{\mathbb{R}^{3}}(\phi_{u^{*}_{n}}u^{*}_{n})^{2}{\rm d}x&\leq&\bigg(\int_{\mathbb{R}^{3}}\phi^{6}_{u^{*}_{n}}{\rm d}x\bigg)^{\frac{1}{3}}\bigg(\int_{\mathbb{R}^{3}}|u^{*}_{n}|^{3}{\rm d}x\bigg)^{\frac{2}{3}}\\&\leq&C\int_{\mathbb{R}^{3}}|\nabla\phi_{u^{*}_{n}}|^{2}{\rm d}x\|u^{*}_{n}\|^{2}\leq C\|u^{*}_{n}\|^{6}<\infty.\end{eqnarray*}$

故

$\phi_{u^{*}_{n}}u^{*}_{n}\rightharpoonup\phi_{u^{*}}u^{*},\ \ \ u^{*}\in L^{2}(\mathbb{R}^{3}).$

从而对任一$w\in E, $我们有

$\lim\limits_{n\rightarrow\infty}\int_{\mathbb{R}^{3}}\phi_{u^{*}_{n}}u^{*}_{n}w{\rm d}x=\int_{\mathbb{R}^{3}}\phi_{u^{*}}u^{*}w{\rm d}x.$

联立(2.2)式以及紧性原理^[15],有

$\lim\limits_{n\rightarrow\infty}\int_{\mathbb{R}^{3}}\phi_{u^{*}_{n}}(u^{*}_{n})^{2}{\rm d}x=\int_{\mathbb{R}^{3}}\phi_{u^{*}}(u^{*})^{2}{\rm d}x.$

另一方面,

$ \int_{\mathbb{R}^{3}}b(x)|u^{*}_{n}|^{p+1}{\rm d}x\leq\|b(x)\|_{p+2}\|u^{*}_{n}\|^{p+1}_{p+2}\leq C\|u^{*}_{n}\|^{p+1}<\infty.$

由(2.2)式,我们有

$\lim\limits_{n\rightarrow\infty}\int_{\mathbb{R}^{3}}b(x)|u^{*}_{n}|^{p+1}{\rm d}x=\int_{\mathbb{R}^{3}}b(x)|u^{*}|^{p+1}{\rm d}x.$

记$v^{*}_{n}=u^{*}_{n}-u^{*}$.根据上面的讨论和Brezi-Lieb引理^[16],有

$\begin{eqnarray*}c-\Phi(u^{*})&=&\Phi(u^{*}_{n})-\Phi(u^{*})+o(1)\\&=&\frac{1}{2}(\|u^{*}_{n}\|^{2}-\|u^{*}\|^{2})-\frac{\beta}{6}\int_{\mathbb{R}^{3}}(u^{*}_{n})^{6}-(u^{*})^{6}{\rm d}x+o(1)\\&=&\frac{1}{2}\|v^{*}_{n}\|^{2}-\frac{\beta}{6}\int_{\mathbb{R}^{3}}(v^{*}_{n})^{6}{\rm d}x+o(1)\end{eqnarray*}$

且

(2.3) $\begin{equation}o(1)=\langle\Phi'(u^{*}_{n}),u^{*}_{n}\rangle-\langle\Phi'(u^{*}),u^{*}\rangle=\|v^{*}_{n}\|^{2}-\beta\int_{\mathbb{R}^{3}}(v^{*}_{n})^{6}{\rm d}x.\end{equation}$

由引理2.1,有

$-\int_{\mathbb{R}^{3}}(K(x)+\alpha)\phi_{u^{*}}(u^{*})^{2}{\rm d}x\leq C\|u^{*}\|^{4}.$

记$S=\inf\limits_{u_{n}\in D^{1, 2}\setminus\{0\}}\frac{\|\nabla u_{n}\|^{2}}{\|u_{n}\|^{2}_{6}}.$类似文献[1]的讨论,对任一$\epsilon, r>0$,定义

$u_{\epsilon}(x)=\frac{\psi(x)\epsilon^{\frac{1}{4}}}{(\epsilon+|x|^{2})^{\frac{1}{2}}},\ \ \ \ \psi(x)\in C^{\infty}_{0}(B_{2r}(0)).$

其中, $0\leq\psi(x)\leq1, $且在$B_{r}(0)$中$ \psi(x)=1$.由Aubin定理知, $S$可由$\frac{\epsilon^{\frac{1}{4}}}{(\epsilon+|x|^{2})^{\frac{1}{2}}}$获得.由估计,我们有

$\int_{\mathbb{R}^{3}}|\nabla u_{\epsilon}|^{2}{\rm d}x=\int_{\mathbb{R}^{3}}\frac{|x|^{2}}{(1+|x|^{2})^{3}}{\rm d}x+O(\epsilon^{\frac{1}{2}}), $

$\int_{\mathbb{R}^{3}}|u_{\epsilon}|^{6}{\rm d}x=\int_{\mathbb{R}^{3}}\frac{1}{(1+|x|^{2})^{3}}{\rm d}x, $

故

$S+O(\epsilon^{\frac{1}{2}})=\frac{\int_{\mathbb{R}^{3}}|\nabla u_{\epsilon}|^{2}{\rm d}x}{(\int_{\mathbb{R}^{3}} u^{6}_{\epsilon}{\rm d}x)^{\frac{1}{3}}}.$

令

$y(t)=\frac{t^{2}}{2}\|u_{\epsilon}\|^{2}-\|u_{\epsilon}\|^{2}, \ \ \ \ t>0.$

当$t_{0}=\big(\frac{\|u_{\epsilon}\|^{2}}{\beta\int_{\mathbb{R}^{3}}u^{6}_{\epsilon}{\rm d}x}\big)^{\frac{1}{2}}$时, $y(t)$取到最大值$y(t_{0})=\frac{1}{3}\big(\frac{\|u_{\epsilon}\|^{2}}{(\beta\int_{\mathbb{R}^{3}}u^{6}_{\epsilon}{\rm d}x)^{\frac{1}{2}}}\big)^{\frac{3}{2}}=\big(\frac{S^{3}}{9\beta}\big)^{\frac{1}{2}}$.

$\begin{eqnarray*}\sup\limits_{t\geq0}\Phi(tu_{\epsilon})&=&\sup\limits_{t\geq0}\bigg(\frac{t^{2}}{2}\|u_{\epsilon}\|^{2}-\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}t^{4}\phi_{u_{\epsilon}}u^{2}_{\epsilon}{\rm d}x-\frac{t^{6}\beta}{6}\int_{\mathbb{R}^{3}}|u_{\epsilon}|^{6}{\rm d}x\\&&-\frac{t^{p+1}}{p+1}\int_{\mathbb{R}^{3}}b(x)|u_{\epsilon}|^{p+1}{\rm d}x\bigg)\\&=&\sup\limits_{t\geq0}\left(y(t)-\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}t^{4}\phi_{u_{\epsilon}}u^{2}_{\epsilon}{\rm d}x-\frac{t^{p+1}}{p+1}\int_{\mathbb{R}^{3}}b(x)|u_{\epsilon}|^{p+1}{\rm d}x\right)\\&\leq& \sup\limits_{t\geq0}\left(y(t)-t^{4}\|u_{\epsilon}\|^{4}-\frac{t^{p+1}}{p+1}\int_{\mathbb{R}^{3}}b(x)|u_{\epsilon}|^{p+1}{\rm d}x\right)\\&<&\sup\limits_{t\geq0}y(t)\\&=&(\frac{S^{3}}{9\beta})^{\frac{1}{2}}.\end{eqnarray*}$

由(2.1)式,知$c<(\frac{S^{3}}{9\beta})^{\frac{1}{2}}$.因为$\Phi'(u^{*})=0$,根据引理2.6的讨论,有

$\Phi(u^{*})\geq0, $

故

$c-\Phi(u^{*})<(\frac{S^{3}}{9\beta})^{\frac{1}{2}}.$

设$\|v^{*}_{n}\|^{2}\rightarrow l\geq0.$由$(2.3)$式,我们有

$\beta\int_{\mathbb{R}^{3}}(v^{*}_{n})^{6}{\rm d}x\rightarrow l\geq0.$

若$l>0$,由Sobolev嵌入定理,有$S\leq\frac{\|v^{*}_{n}\|^{2}}{(\int_{\mathbb{R}^{3}}|v^{*}_{n}|^{6}{\rm d}x)^{\frac{1}{3}}}.$从而

$l\geq(\frac{S^{3}}{\beta})^{\frac{1}{2}}, $

故

$c-\Phi(u^{*})=\frac{1}{3}l\geq(\frac{S^{3}}{9\beta})^{\frac{1}{2}}.$

矛盾.从而$l=0$,即$\|v^{*}_{n}\|\rightarrow0$,亦即$u^{*}_{n}\rightarrow u^{*}, u^{*}\in E, \Phi(u^{*})=c.$证明完毕.

定理1.1的证明  首先说明$\Phi$存在临界点.由引理2.6知, $\Phi$有有界的$(PS)_{c}$序列.由引理2.7知存在$u^{*}\in E, u^{*}\neq0.$使得

$\Phi(u^{*})=c , \ \ \ \ \Phi'(u^{*})=0.$

即存在$\Phi$的临界点$u^{*}\neq0.$

下面说明系统(1.1)存在基态解.

记

$m_{{\cal N}}=\inf\Phi(u), \ \ \ u\in {\cal N}.$

根据引理2.7的讨论,我们有

$0<m_{{\cal N}}\leq\Phi(u)<\frac{S^{\frac{3}{2}}}{3\beta^\frac{1}{2}}.$

记$\{v_{n}\}$是$\Phi$的非平凡临界点序列,满足

$\Phi(v_{n})\rightarrow m_{{\cal N}}.$

因为$\Phi(v_{n})$有界,故由引理2.6的讨论知, $\{v_{n}\}$在$E$上有界.因此$\{v_{n}\}$是$\Phi$的$(PS)_{c}$序列.由系统(2.1)和引理2.7,有

(2.4) $\begin{equation}\Phi(v_{n})\rightarrow\Phi(v_{0})+\sum\limits_{i = 1}^{i = k} {{\Phi ^\infty }} ({w^i})=c+o(1),\end{equation}$

其中$v_{0}$是$\Phi$的临界点, $k\geq0, w^{i}$是$\Phi^{\infty}$的临界点, $\Phi^{\infty}$如下定义:

$\begin{eqnarray*}\Phi^{\infty}(u)&=&\frac{1}{2}\int_{\mathbb{R}^{3}}|\nabla u|^{2}+V(\infty)u^{2}{\rm d}x-\int_{\mathbb{R}^{3}}\frac{K(x)+\alpha}{4}\phi_{u}u^{2}{\rm d}x-\frac{\beta}{6}\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x\\&&-\frac{1}{p+1}\int_{\mathbb{R}^{3}}b(x)|u|^{p+1}{\rm d}x.\end{eqnarray*}$

令

$m^{\infty}=\inf\{\Phi^{\infty}(u):u\neq0,\Phi'^{\infty}(u)=0\},$

根据条件$(V_{2})$,当$V(x)\not\equiv V(\infty)$时,由引理2.7, $m_{{\cal N}}\leq c<m^{\infty}$.因为对任一$i, \Phi^{\infty} (w^{i})\geq m^{\infty}>0.$由(2.1)和(2.4)式知, $k=0, $且$\Phi(v_{0})=m_{{\cal N}}$.从而$v_{n}\rightarrow v_{0}.$故对任一$u\in{\cal N}$,有

$\begin{eqnarray*}0&=&\Phi'(u)u=\|u\|^{2}-\int_{\mathbb{R}^{3}}(K(x)+\alpha)\phi_{u}u^{2}{\rm d}x-\beta\int_{\mathbb{R}^{3}}|u|^{6}{\rm d}x-\int_{\mathbb{R}^{3}}b(x)|u|^{p+1}{\rm d}x\\&\geq&\|u\|^{2}-C\beta\|u\|^{6}-C\|u\|^{p+1}.\end{eqnarray*}$

故存在常数$c_{0}$,使得对任一$u\in{\cal N}$,有$\|u\|\geq c_{0}.$因此, $\Phi$的任一极值点列不为零,从而, $v_{0}\neq0$.证明完毕.