Cowen和Douglas^[1]在Hilbert空间上引入并研究一类重要算子—Cowen-Douglas算子. Cowen-Douglas算子是根据全纯向量丛定义的, 这是首次应用复几何研究算子理论. 此后, Cowen-Douglas算子得到了广泛且深入的研究, 特别是这类算子的相似性与酉相似性取得了丰硕的成果^[2-10]. Ji等^[3]在Hilbert空间上引入了一类用上三角算子矩阵表示的Cowen-Douglas算子, 并研究其强不可约性. 本文作者^[9]在Banach空间上研究这类Cowen-Douglas算子的强不可约性. Hou和Ji^[2]在Hilbert空间上研究形如$\left( \begin{array}{cc} T_1\; & A_{12}T_2-T_1A_{12} \\ 0\; & T_2 \end{array}\right )$的$2\times 2$上三角算子矩阵的酉相似性. 本文引入类似的$n\times n$上三角算子矩阵, 并在Banach空间上研究其相似性, 在Hilbert空间上研究其酉相似性.

首先回顾一些符号和定义. 设$X, Y$是Banach空间, 以$B(X, Y)$表示从$X$到$Y$的所有有界线性算子全体, $B(X, X)$简记为$B(X)$. $X$上的恒等算子记为$I_X$, 简记为$I$. 设$T\in B(X, Y)$, 以$\ker T$与$\rm{ran}\mathit{T}$分别表示$T$的零空间$\ker T:=\{x\in X: Tx=0\}$与值域$\rm{ran}\mathit{T}:=\{\mathit{T}\mathit{x}: \mathit{x}\in \mathit{X}\}$. $X$的子集$A$的线性张闭包记为$\overline{\mbox{span}}A$. 设$T\in B(X, Y)$, 若存在$S\in B(Y, X)$, 使得$TS=I_Y$, $ST=I_X$, 则称$T$可逆, 若只有$TS=I_Y$成立, 则称$T$右可逆. 分别以${\cal G}(X)$与${\cal G}_r(X)$表示$B(X)$中的可逆算子全体与右可逆算子全体.

定义1.1   设$X$是Banach空间, $T, S\in B(X)$, 若存在可逆算子$U\in B(X)$, 使得$UT=SU$, 则称$T$与$S$相似.

定义1.2   设$H$是Hilbert空间, $T, S\in B(H)$, 若存在酉算子$U\in B(H)$, 即$UU^*=U^*U=I$, 使得$UT=SU$, 则称$T$与$S$酉相似.

定义1.3   设$X, Y$是Banach空间, $T\in B(X)$, $S\in B(Y)$, Rosenblum算子$\tau_{T, S}$定义为

定义1.4   设$X$是Banach空间, $\Omega$是复平面上的一个非空连通开集, $n$是正整数, $T\in B(X)$. 若对任意$\omega\in \Omega$, 有$\dim\ker (T-\omega)=n$, $\mbox{ran} (T-\omega)=X$, 且$\overline{\mbox{span}}\{\ker (T-\omega): \omega\in\Omega\}=X$, 则称$T$是$\Omega$上指标为$n$的Cowen-Douglas算子, 记为$T\in{\cal B}_n(\Omega)(X)$.

本文研究如下一类上三角算子矩阵.

定义1.5   设$X$是Banach空间且有直和分解$X=X_1\oplus X_2\oplus\cdots\oplus X_n$, 考虑如下类型的算子$T\in B(X)$

其中$T_i\in B(X_i)$, $1\leq i\leq n$; $T_{ij}=A_{ij}T_j-T_iA_{ij}$, $A_{ij}\in B(X_j, X_i)$, $1\leq i<j\leq n$.

当$T_{ij}=0$ ($1\leq i<j\leq n$)时, 记上述算子$T$为$T=T_1\oplus T_2\oplus\cdots\oplus T_n$.

为了方便, 有时也记$T_{i}$为$T_{ii}$.

首先在Banach空间上研究定义1.5中算子的相似性.

定理2.1   设Banach空间$X$与算子$T\in B(X)$如定义1.5, 若$A_{ij}A_{jk}=0$, $A_{ij}T_jA_{jk}=0$ ($1\leq i<j<k\leq n$), 则$T$与$T_1\oplus T_2\oplus\cdots\oplus T_n$相似.

证   对$1\leq i<j<k\leq n$, 由于$A_{ij}A_{jk}=0$, $A_{ij}T_jA_{jk}=0$, 则

记$U={\left( \begin{array}{cccc} I & \; -A_{12} \; & \cdots & -A_{1n} \\ & I & \ddots & \vdots \\ & & \ddots & -A_{n-1, n} \\ 0 & & & I \\ \end{array}\right )},$$V={\left( \begin{array}{cccc} I &\; A_{12}\; & \cdots & A_{1n} \\ & I & \ddots & \vdots \\ & & \ddots & A_{n-1, n} \\ 0 & & & I \\ \end{array}\right )},$则$U, V\in B(X)$且

同理可证$VU=I$, 即$U$可逆. 又由于

则$T$与$T_1\oplus T_2\oplus\cdots\oplus T_n$相似. 证毕.

推论2.1   设Banach空间$X$与算子$T\in B(X)$如定义1.5, 且定义1.5中的$n=2$, 则$T$与$T_1\oplus T_2$相似.

引理2.1   设Banach空间$X$与算子$T\in B(X)$如定义1.5, 满足$\ker\tau_{T_i, T_j}=\{0\}$ ($1\leq j<i\leq n$). 若存在$U=(U_{ij})_{n\times n}\in B(X)$, 使得$UT=(T_1\oplus T_2\oplus\cdots\oplus T_n)U$, 则$U_{ij}$满足

(1) $U_{ij}=0$ ($1\leq j<i\leq n$),

(2) $U_{ii}\in \ker\tau_{T_i, T_i}$ ($1\leq i\leq n$),

(3) $U_{i, i+1}+U_{ii}A_{i, i+1}\in \ker\tau_{T_i, T_{i+1}}$ ($1\leq i<n-1$),

(4) ${\sum\limits_{m=i+1}^{j-1}}U_{im}T_{mj}=\tau_{T_i, T_{j}}(U_{ij}+U_{ii}A_{ij})$ ($1\leq i<j-1\leq n-1$).

证   记$UT=(T_1\oplus T_2\oplus\cdots\oplus T_n)U=(V_{ij})_{n\times n}$.

对$1<i\leq n$, 由于$V_{i1}=U_{i1}T_1=T_{i}U_{i1}$, 则$U_{i1}\in \ker\tau_{T_i, T_1}=\{0\}$, 即$U_{i1}=0$. 此时对$2<i\leq n$, 有$V_{i2}=U_{i2}T_2=T_{i}U_{i2}$, 则$U_{i2}\in \ker\tau_{T_i, T_2}=\{0\}$, 即$U_{i2}=0$. 递推可得: 对$1\leq j<i\leq n$, 有$U_{ij}=0$.

对$1\leq i\leq n$, 由于$V_{ii}=U_{ii}T_i=T_{i}U_{ii}$, 则$U_{ii}\in \ker\tau_{T_i, T_i}$.

对$1\leq i<j\leq n$, 有

特别地, 对$1\leq i<n-1$, 有

由于

则

即$U_{i, i+1}+U_{ii}A_{i, i+1}\in \ker\tau_{T_i, T_{i+1}}$.

对$1\leq i<j-1\leq n-1$, 有

由于$U_{ii}T_{ij}=U_{ii}(A_{ij}T_{j}-T_{i}A_{ij})$$=U_{ii}A_{ij}T_{j}-U_{ii}T_{i}A_{ij}$$=U_{ii}A_{ij}T_{j}-T_{i}U_{ii}A_{ij}$, 则

证毕.

定理2.2   设Banach空间$X$与算子$T\in B(X)$如定义1.5, 满足$\ker\tau_{T_i, T_j}=\{0\}$ ($1\leq j<i\leq n$), $\ker\tau_{T_i, T_i}\bigcap {\cal G}_r(X_i)\subseteq {\cal G}(X_i)$ ($1\leq i\leq n$), 则$T$与$T_1\oplus T_2\oplus\cdots\oplus T_n$相似当且仅当存在$U_{ij}\in B(X_j, X_i)$ ($1\leq i\leq j\leq n$), 满足

(1) $U_{ii}\in \ker\tau_{T_i, T_i}\bigcap {\cal G}(X_i)$ ($1\leq i\leq n$),

(2) $U_{i, i+1}+U_{ii}A_{i, i+1}\in \ker\tau_{T_i, T_{i+1}}$ ($1\leq i<n-1$),

(3) ${\sum\limits_{m=i+1}^{j-1}}U_{im}T_{mj}=\tau_{T_i, T_{j}}(U_{ij}+U_{ii}A_{ij})$ ($1\leq i<j-1\leq n-1$).

证   “$\Rightarrow$”: 由$T$与$T_1\oplus T_2\oplus\cdots\oplus T_n$相似可知: 存在可逆算子$U=(U_{ij})_{n\times n}\in B(X)$, 使得$UT=(T_1\oplus T_2\oplus\cdots\oplus T_n)U$. 首先由引理2.1可得$(2)\mbox{、}\ (3)$成立, 且

记$U^{-1}=B=(B_{ij})_{n\times n}\in B(X)$, 则$UB=BU=I$. 记$UB=(W_{ij})_{n\times n}=I$, 则

即$U_{nn}\in {\cal G}_r(X_n)$, 故$U_{nn}\in \ker\tau_{T_n, T_n}\bigcap{\cal G}_r(X_n)$, 所以$U_{nn}\in {\cal G}(X_n)$. 此时对$1\leq i\leq n-1$, 有$0=W_{ni}=U_{nn}B_{ni},$则$B_{ni}=0$. 故

即$U_{n-1, n-1}\in {\cal G}_r(X_{n-1})$, 故$U_{n-1, n-1}\in \ker\tau_{T_{n-1}, T_{n-1}}\bigcap{\cal G}_r(X_{n-1})$, 所以$U_{n-1, n-1}\in {\cal G}(X_{n-1})$. 递推可得$U_{ii}\in {\cal G}(X_i)$ ($1\leq i\leq n$). 即(1)成立.

"$\Leftarrow$": 令$U=(U_{ij})_{n\times n}\in B(X)$, 其中$U_{ij}=0$ ($1\leq j<i\leq n$), $U_{ij}$满足条件(1)–(3) ($1\leq i\leq j\leq n$). 由于$U_{ii}\in {\cal G}(X_i)$ ($1\leq i\leq n$), 则$U$可逆.

记$UT=(V_{ij})_{n\times n}$, $(T_1\oplus T_2\oplus\cdots\oplus T_n)U=(W_{ij})_{n\times n}$, 则

由于$U_{ij}=0$ ($1\leq j<i\leq n$), 则当$1\leq j<i\leq n$时, 则$V_{ij}=0=W_{ij}$. 当$1\leq i\leq j\leq n$时,

当$1\leq i=j\leq n$时, 由于$U_{ii}\in \ker\tau_{T_i, T_i}$, 即$U_{ii}T_{i}=T_iU_{ii}$, 则$V_{ij}=W_{ij}$. 当$1\leq i\leq n-1$, $j=i+1$时, 由于$U_{i, i+1}+U_{ii}A_{i, i+1}\in \ker\tau_{T_i, T_{i+1}}$, 则$(U_{i, i+1}+U_{ii}A_{i, i+1})T_{i+1}=T_i(U_{i, i+1}+U_{ii}A_{i, i+1})$, 结合$U_{ii}T_{i}=T_iU_{ii}$可得

当$1\leq i<j-1\leq n-1$时, 由于${\sum\limits_{m=i+1}^{j-1}}U_{im}T_{mj}=\tau_{T_i, T_{j}}(U_{ij}+U_{ii}A_{ij})$, 则

结合$U_{ii}T_{i}=T_iU_{ii}$可得

综上, $UT=(V_{ij})_{n\times n}=(W_{ij})_{n\times n}=(T_1\oplus T_2\oplus\cdots\oplus T_n)U$. 故$T$与$T_1\oplus T_2\oplus\cdots\oplus T_n$相似.

下面在Hilbert空间上研究一类更特殊的上三角算子矩阵(除了主对角线和副对角线上的算子可以不为零外, 其他位置上的算子均为零)的酉相似性. 只给出3阶算子矩阵和4阶算子矩阵的结果, $n$阶算子矩阵也有类似的结果, 这里从略.

定理2.3   设$H$是Hilbert空间且有直和分解$H=H_1\oplus H_2\oplus H_3$, $T, S\in B(H)$有如下表示$T={\left( \begin{array}{ccc} T_1 & 0 & A_{13}T_3-T_1A_{13} \\ 0 & T_2 & 0 \\ 0 & 0 & T_3 \end{array}\right )},$$S={\left( \begin{array}{ccc} S_1 & 0 & B_{13}S_3-S_1B_{13} \\ 0 & S_2 & 0 \\ 0 & 0 & S_3 \end{array}\right )},$满足$T_3\in {\cal B}_1(\Omega)(H_3)$, $S_1\in {\cal B}_1(\Omega)(H_1)$, 且$\ker \tau_{T_1, S_1}=\{0\}$, $\ker \tau_{T_2, S_i}=\ker \tau_{S_2, T_i}=\{0\}$($i=1, 3$), $\ker \tau_{S_3, T_3}=\{0\}$. 则$T$与$S$酉相似当且仅当存在酉算子$U_{22}\in \ker \tau_{S_2, T_2}$以及可逆算子$U_{13}\in B(H_3, H_1)$, $U_{31}\in B(H_1, H_3)$满足

(1) $I+A_{13}A_{13}^*=(U_{31}^*U_{31})^{-1}$, $I+A_{13}^*A_{13}=(U_{13}^*U_{13})^{-1}$,

(2) $U_{31}T_1 U_{31}^{-1}=S_3$, $(U_{13}^*)^{-1}T_3U_{13}^*=S_1$,

(3) $U_{13}A_{13}^*U_{31}^{-1}-B_{13}\in\ker \tau_{S_1, S_3}$.

证   "$\Rightarrow$": 由于$T$与$S$酉相似, 则存在酉算子$U=(U_{ij})_{3\times 3}\in B(H)$使得$UT=SU$, 则$TU^*=U^*UTU^*=U^*SUU^*=U^*S$. 即

且

故

且

由上两式可得

由(2.2)式可得$U_{22}\in \ker \tau_{S_2, T_2}$. 由于$\ker \tau_{S_2, T_1}=\ker \tau_{T_2, S_1}=\{0\}$, 由(2.2)式可得$U_{21}=U_{12}^*=0$. 此时(2.3)式化为$U_{23}T_3=S_2U_{23}$, $T_2U_{32}^*=U_{32}^*S_3$. 由于$\ker \tau_{S_2, T_3}=\ker \tau_{T_2, S_3}=\{0\}$, 则$U_{23}=U_{32}^*=0$, 故$U_{12}=0$, $U_{32}=0$. 由(2.4)式和(2.5)式可得

则

由于$\ker \tau_{S_3, T_3}=\{0\}$, $\ker \tau_{T_1, S_1}=\{0\}$, 则$U_{33}+U_{31}A_{13}=0$, $U_{11}^*-A_{13}U_{13}^*=0$, 即$U_{33}=-U_{31}A_{13}$, $U_{11}^*=A_{13}U_{13}^*$, 则$U_{11}=U_{13}A_{13}^*$. 此时

则

由于$UU^*=U^*U=I$, 则$U_{22}U_{22}^*=U_{22}^*U_{22}=I$, 即$U_{22}$是酉算子, 且有如下等式

由(2.6)式可得$U_{13}(I+A_{13}^*A_{13})$是满射. 由于$T_3\in {\cal B}_1(\Omega)(H_3)$, $S_1\in {\cal B}_1(\Omega)(H_1)$, 由(2.5)式与文献[9, 命题2.3]可得${\overline{\rm ran}}U_{13}^*=H_3$, 进而由(2.6)式可得$U_{13}(I+A_{13}^*A_{13})$是单射(事实上, 若有$y\in H_3$, 使得$U_{13}(I+A_{13}^*A_{13})y=0$, 则存在$x_n\in H_1$, 使得$U_{13}^*x_n\rightarrow y$, 故$x_n=U_{13}(I+A_{13}^*A_{13})U_{13}^*x_n\rightarrow U_{13}(I+A_{13}^*A_{13})y=0$, 所以$U_{13}^*x_n\rightarrow 0$, 因此$y=0$). 故$U_{13}(I+A_{13}^*A_{13})$可逆. 因此$U_{13}^*=(U_{13}(I+A_{13}^*A_{13}))^{-1}$可逆, 故$U_{13}$可逆. 所以$I+A_{13}^*A_{13}$可逆. 由于$\sigma(A_{13}^*A_{13})\backslash\{0\}=\sigma(A_{13}A_{13}^*)\backslash\{0\}$, 则$I+A_{13}A_{13}^*$可逆. 由(2.7)式可得

则$U_{31}^*U_{31}$可逆, 由于$U_{31}(I+A_{13}A_{13}^*)U_{31}^*=U_{31}U_{31}^*+U_{31}A_{13}A^*_{13}U_{31}^*=I,$故$U_{31}^*$与$U_{31}$均可逆, 且有

再由(2.4)式和(2.5)式可得

由(2.1)式和(2.4)式可得

上式两边同时右乘$U_{31}^{-1}$可得

即

"$\Leftarrow$": 令$U={\left( \begin{array}{ccc} U_{13}A_{13}^* & 0 & U_{13} \\ 0 & U_{22} & 0 \\ U_{31} & 0 & -U_{31}A_{13} \end{array}\right )},$则$U^*={\left( \begin{array}{ccc} A_{13}U_{13}^* & 0 & U_{31}^* \\ 0 & U_{22}^* & 0 \\ U_{13}^* & 0 & -A_{13}^*U_{31}^* \end{array}\right )}.$

由(1)可得$I+A_{13}A_{13}^*=U_{31}^{-1}(U_{31}^*)^{-1}$, $I+A_{13}^*A_{13}=U_{13}^{-1}(U_{13}^*)^{-1}$, 则

由于$(I+A_{13}A_{13}^*)A_{13}=A_{13}(I+A_{13}^*A_{13})$, 则$A_{13}(I+A_{13}^*A_{13})^{-1}=(I+A_{13}A_{13}^*)^{-1}A_{13}$. 由(1)可得

则

故

又由于$U_{22}$是酉算子, 即$U_{22}U_{22}^*=U_{22}^*U_{22}=I$, 则

所以$U$是酉算子. 此时

由于$U_{22}\in \ker \tau_{S_2, T_2}$, 则

由(2)可得

由(3)可得$(U_{13}A_{13}^*U_{31}^{-1}-B_{13})S_3=S_1(U_{13}A_{13}^*U_{31}^{-1}-B_{13})$, 又$T_1U_{31}^{-1}=U_{31}^{-1}S_3$, 则

上式两边同时右乘$U_{31}$可得

即

由上式可得

由(2.8)式可得

上式两边同时右乘$(U_{13}^*)^{-1}$, 结合(1)可得

上式两边同时减去$U_{13}A_{13}^*T_{1}A_{13}$, 结合(2.9)式可得

综上可得$UT=SU$, 故$T$与$S$酉相似.证毕.

定理2.4   设$H$是Hilbert空间且有直和分解$H=H_1\oplus H_2\oplus H_3\oplus H_4$, $T, S\in B(H)$有如下表示

满足$T_i\in {\cal B}_1(\Omega)(H_i)$ ($i=3, 4$), $S_i\in {\cal B}_1(\Omega)(H_i)$ ($i=1, 2$), 且$\ker \tau_{T_i, S_i}=\{0\}$ ($i=1, 2$), $\ker \tau_{T_3, S_i}=\ker \tau_{S_3, T_i}=\{0\}$ ($i=1, 4$), $\ker \tau_{T_i, S_2}=\ker \tau_{S_i, T_2}=\{0\}$ ($i=1, 4$), $\ker \tau_{S_i, T_i}=\{0\}$ ($i=3, 4$). 则$T$与$S$酉相似当且仅当存在可逆算子$U_{ij}\in B(H_j, H_i)$ ($ij=14, 23, 41, 32$), 满足

(1) $I+A_{ij}A_{ij}^*=(U_{ji}^*U_{ji})^{-1}$, $I+A_{ij}^*A_{ij}=(U_{ij}^*U_{ij})^{-1}$ ($ij=14, 23$),

(2) $U_{ji}T_iU_{ji}^{-1}=S_j$ ($ji=41, 32$), $(U_{ij}^*)^{-1}T_jU_{ij}^*=S_i$ ($ij=14, 23$),

(3) $U_{ij}A_{ij}^*U_{ji}^{-1}-B_{ij}\in\ker \tau_{S_i, S_j}$ ($ij=14, 23$).

证   记$T_{14}=A_{14}T_4-T_1A_{14}$, $T_{23}=A_{23}T_3-T_3A_{23}$, $S_{14}=B_{14}S_4-S_1B_{14}$, $S_{23}=B_{23}S_3-S_3B_{23}$.

"$\Rightarrow$": 由于$T$与$S$酉相似, 则存在酉算子$U=(U_{ij})_{4\times 4}\in B(H)$使得$UT=SU$, 则$TU^*=U^*UTU^*=U^*SUU^*=U^*S$. 即

且

故

且

由上两式可得

由于$\ker \tau_{S_3, T_1}=\ker \tau_{T_3, S_1}=\{0\}$, $\ker \tau_{S_4, T_2}=\ker \tau_{T_4, S_2}=\{0\}$, 由(2.10)式可得$U_{31}=U_{13}^*=0$, $U_{42}=U_{24}^*=0$. 此时(2.11)式和(2.12)式分别化为$U_{12}T_2=S_1U_{12}$, $T_1U_{21}^*=U_{21}^*S_2$和$U_{34}T_4=S_3U_{34}$, $T_3U_{43}^*=U_{43}^*S_4$. 由于$\ker \tau_{S_1, T_2}=\ker \tau_{T_1, S_2}=\{0\}$, $\ker \tau_{S_3, T_4}=\ker \tau_{T_3, S_4}=\{0\}$, 则$U_{12}=U_{21}^*=0$, $U_{34}=U_{43}^*=0$, 故$U_{13}=0$, $U_{24}=0$, $U_{21}=0$, $U_{43}=0$. 由(2.13)–(2.16)式, 及$\ker \tau_{T_i, S_i}=\{0\}$ ($i=1, 2$), $\ker \tau_{S_i, T_i}=\{0\}$ ($i=3, 4$), 类似定理2.3的证明可证得$U_{11}=U_{14}A_{14}^*$, $U_{22}=U_{23}A_{23}^*$, $U_{33}=-U_{32}A_{23}$, $U_{44}=-U_{41}A_{14}$. 此时

则

其中$P_{ij}=U_{ij}A_{ij}^*A_{ij}U_{ij}^*+U_{ij}U_{ij}^*$ ($ij=14, 23$), $Q_{ij}=U_{ij}U_{ij}^*+U_{ij}A_{ji}A_{ji}^*U_{ij}^*$ ($ij=32, 41$.) 由于$UU^*=U^*U=I$, 有如下等式

由(2.13)–(2.20)式, 及$T_i\in {\cal B}_1(\Omega)(H_i)$ ($i=3, 4$), $S_i\in {\cal B}_1(\Omega)(H_i)$ ($i=1, 2$), 类似定理2.3的证明可证得$U_{ij}$ ($ij=14, 23, 41, 32$)可逆, 且满足

(1) $I+A_{ij}A_{ij}^*=(U_{ji}^*U_{ji})^{-1}$, $I+A_{ij}^*A_{ij}=(U_{ij}^*U_{ij})^{-1}$ ($ij=14, 23$),

(2) $U_{ji}T_iU_{ji}^{-1}=S_j$ ($ji=41, 32$), $(U_{ij}^*)^{-1}T_jU_{ij}^*=S_i$ ($ij=14, 23$),

(3) $U_{ij}A_{ij}^*U_{ji}^{-1}-B_{ij}\in\ker \tau_{S_i, S_j}$ ($ij=14, 23$).

"$\Leftarrow$": 令

则

类似定理2.3的证明可证得

故

所以$U$是酉算子. 此时

类似定理2.3的证明可证得

则$UT=SU$, 故$T$与$S$酉相似.证毕.