基于深度学习的阿尔兹海默症影像学分类研究进展

图1 CNN模型示意图

Fig. 1 Schematic diagram of CNN model

很多机器学习算法对于问题的目标函数都会做一些必要的先验假设，称为归纳偏置，而CNN就具有两个重要的归纳偏置：局部性和空间不变性.局部性即图像中越相邻的图像特征具有越强的相关性；空间不变性即不论图像中的物体如何平移，同样的卷积核可以提取到同样的特征.这使得CNN在训练之前就拥有了对图像分类极为重要的先验知识，所以CNN在小样本的医学影像处理问题上具有优秀的性能.VGGNet、MobileNet、AlexNet、InceptionNet、残差网络（residual network，ResNet）、密集连接网络（densely connected convolutional network，DenseNet）和全卷积神经网络（fully convolutional network，FCN）都是基于CNN改进后的经典模型.

1.1.2 循环神经网络（recurrent neural network，RNN）

RNN具有CNN不具备的记忆性，适用于对序列非线性特征的学习，所以通常被应用于自然语言处理领域.虽然RNN不常被应用于计算机视觉领域，但由于AD是长期发展的疾病，具有明显的时间序列性，所以依然有少量研究者将RNN应用于AD影像学分类任务中.如Abuhmed等^[15]使用RNN学习受试者在过去时间上的影像特征，对该受试者未来的状况进行预测.总体而言，RNN在AD影像学分类中应用不如CNN广泛.

由图2可以直观地看到，RNN在每一个时刻都有一个输入${{x}_{t}}$，经过网络t时刻的状态${{A}_{t}}$获得当前时刻的输出${{h}_{t}}$，而t时刻的网络状态由（$t-1$）时刻的网络状态以及输入共同决定，这样的设计使得网络在时间序列上具有记忆功能.之后提出的双向循环神经网络（bidirectional recurrent neural network，BRNN）以及双向长短期记忆网络（bidirectional long short-term memory，BiLSTM）都是基于RNN改进后的模型.

图2

图2 RNN模型示意图

Fig. 2 Schematic diagram of RNN model

1.1.3 自动编码机（autoencoder，AE）

AE作为一种无监督学习模型，不需要对训练样本打上标签，降低了获取数据的难度，所以也常被用于医学图像处理.如Ju等^[16]使用AE对图像特征进行提取后分类，使MCI与健康对照组（healthy control，HC）的分类准确率达到86.47%，相比传统机器学习方法提高了近20%.对于端到端的学习方式，需要使用基于AE改进的卷积自动编码机（convolutional autoencoder，CAE）对图像特征进行提取.如Baydargil等^[17]使用CAE进行特征提取，使AD、MCI和HC的三分类准确率达到98.67%；Oh等^[18]使用带有Inception多尺度卷积模块的CAE（inception modal based convolutional autoencoder，ICAE），使AD和HC的分类准确率达到88.6%.

如图3所示，AE包含三种网络层结构，输入层与输出层神经元数量相同，而中间的隐藏层神经元数量少于输入和输出层.编码器将输入的高维信号压缩为低维的特征编码，解码器将特征编码还原成与输入接近的高维信号，从而实现AE的无监督学习.编码器输出的特征编码理论上包含了所有输入信号中有用的特征信息，实现了特征提取的功能.

图3

图3 AE网络示意图

Fig. 3 Schematic diagram of AE network

1.2 常用的评估标准

1.2.1 准确率（accuracy）

对于分类模型而言，存在4种检测结果：预测值和真实值均为阳的真阳性（true positive，TF）；预测值为阳而真实值为阴的假阳性（false positive，FP）；预测值和真实值均为阴的真阴性（true negative，TN）；预测值为阴而真实值为阳的假阴性（false negative，FN）.所有分类任务中的指标均由这4种检测结果进行计算.

在AD影像学分类任务中，accuracy是评判深度学习模型最为常用的评价指标，反映了模型在所有分类结果中，正确分类结果的占比，这也是本文使用的用于模型评估的指标，计算如(1)式所示：

(1)$\text{accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$

1.2.2 曲线下面积（area under curve，AUC）

为了避免分类阈值设定导致准确率无法准确反应模型性能的问题，有些研究者^[19]会使用AUC对模型进行评估.AUC即接受者操作特征曲线（receiver operating characteristic curve，ROC）下方面积.为了介绍ROC，需要引入两个概念：敏感度（sensitivity），即真阳性样本在实际阳性样本中的占比；特异度（specificity），即真阴性样本在实际阴性样本中的占比.计算公式如(2)、(3)式所示：

(2)$\text{sensitivity}=\frac{\text{TP}}{\text{TP}+\text{FN}}$

(3)$\text{specificity}=\frac{\text{TN}}{\text{FP}+\text{TN}}$

ROC曲线是一条以（1-specificity）为横坐标，以sensitivity为纵坐标绘制的曲线，而AUC则是该曲线下方面积，取值在0.5~1之间，AUC越大表明模型性能越好.

图4

图4 ROC与AUC示意图

Fig. 4 Schematic diagram of ROC and AUC

1.2.3 平均绝对误差（mean absolute error，MAE）

对于认知评分回归任务和后文提到的脑龄预测任务均使用MAE作为评判标准，这也是回归任务最常用的评价指标，它可以总体反应模型的预测值与实际值的差值，MAE越小表示模型的性能越高.MAE的计算公式如(4)式：

(4)$\text{MAE}=\frac{1}{n}\sum\limits_{i=1}^{n}{|{{y}_{i}}-{{{\hat{y}}}_{i}}|}$

其中n为所有预测数，${{y}_{i}}$为预测值，${{\hat{y}}_{i}}$为实际值.

1.3 常用的公开数据集

常用于AD影像学研究的公开数据集包含阿尔兹海默症神经影像学计划（Alzheimer’s disease neuroimaging initiative，ADNI）、开放存取影像研究（open access series of imaging studies，OASIS）；对于脑龄预测的研究，常用的数据集为从图像中提取信息数据集（information eXtraction from images，IXI），但它只包含HC组的影像数据.数据集中常用的图像模态包括结构磁共振成像（structural magnetic resonance imaging，sMRI）、功能磁共振成像（functional magnetic resonance imaging，fMRI）、扩散张量成像（diffusion tensor imaging，DTI）、正电子发射型计算机断层显像（positron emission computed tomography，PET）；非图像数据通常包括临床痴呆分级（clinical dementia rating，CDR）和简易智力状态检查量表（mini-mental state examination，MMSE）.详细的信息在表1中展现.

表1 常用公开数据集

Table 1 Details of popular public dataset

数据集	类别	数据集大小	图像模态
ADNI	AD MCI HC	192 398 229	sMRI、DTI、fMRI、PET
OASIS	AD HC	100 316	sMRI、DTI、fMRI、PET
IXI	HC	约600	sMRI、DTI、磁共振血管造影

2 基于不同图像模态的AD影像学分类

不同的图像模态反映了不同的大脑信息：T₁加权的sMRI图像反映灰质的结构信息；fMRI图像反映大脑网络功能连接的信息；PET反映了特定标志物在大脑中的代谢信息；DTI反映大脑白质信息.随着医学专家对于AD疾病的深入了解，越来越多的图像模态被应用于AD影像学分类任务，本节就目前应用较多的几种模态进行讨论.

在AD影像学分类任务中，对AD、MCI和HC三类临床数据进行二分类或三分类任务一直是研究的重点.由于这三类影像数据的区分度较大，尤其是AD和HC的数据，所以用于区分AD与HC的模型往往容易训练、准确率较高且具有较好的鲁棒性.

2.1 sMRI图像在AD分类中的应用

AD是一种神经退行性疾病，表现为患者大脑结构变化引起的功能变化，而功能变化的累计又会造成结构的变化.这种结构变化会很好地反映在sMRI图像中，尤其是T₁加权成像.而且MRI不产生电离辐射，对人体无害.在公开数据集中，sMRI也是数据量最大的模态.因此基于影像学的AD分类中，sMRI图像是使用最为广泛的.

Yi̇Ği̇T等^[20]分别使用sMRI图像的轴向面、矢状面和冠状面作为CNN的输入，发现对于AD与HC分类任务而言，使用轴向面投影数据的分类准确率最高达到了83%；对于MCI与HC分类任务而言，使用矢状投影数据的分类准确率最高达到了82%.郁松等^[21]将3D sMRI作为输入，并使用3D ResNet-101网络，使AD与HC分类准确率达到了97.425%.

基于深度学习的图像分类任务需要大量的数据作为训练集，CNN作为一种监督学习模型，依赖于带有标签的图像，而带有标签的医学图像很难获得.为了解决这样的问题，Bi等^[22]提出了一种基于无监督学习的AD、MCI与HC分类模型，训练集使用不带标签的sMRI图像，结合主成分分析法（principal components analysis，PCA）与CNN对特征进行提取，使用k均值聚类（k-means clustering algorithm，k-means）进行分类，最终实现AD与MCI的分类准确率为97.01%，AD、MCI与HC三分类准确率为91.25%.

2.2 fMRI图像在AD分类中的应用

也有很多研究者使用fMRI对AD分类问题进行研究.fMRI通过检测血氧水平依赖来估计大脑的活动情况，牺牲了空间分辨率，但提高了时间分辨率.fMRI可以用于研究针对特定任务的相关脑区，在心理学和认知科学中经常被使用.其中，静息态fMRI可以用于实现人脑功能区及功能网络的构建，同时也提供了重要的区域时序上的关系^[23].因此，对于影响认知功能的疾病，fMRI相比sMRI可以提供脑区功能的信息.

Parmar等^[24]从4D fMRI中选取连续时间序列的5个3D MRI作为3D CNN的输入，经过5个卷积层和3个全连接层，最后得到AD与HC分类准确率为94.58%的分类模型.Bi等^[19]基于AAL模板构建脑图谱，然后构建脑网络，通过RNN学习相邻位置特征，最后使用极限学习机（extreme learning machine，ELM）作为分类器，使AD与HC分类AUC达到了91.3%.

2.3 DTI图像在AD分类中的应用

很多医学研究表明AD在脑影像上的特征表现为脑实质的萎缩，主要发生的区域为海马和颞叶.例如，Reginold等^[25]发现AD患者的颞叶出现很大程度的扩散异常，颞叶中浅表白质的平均扩散率（mean diffusivity，MD）、径向扩散系数（radical diffusion，RD）大幅上升.Bigham等^[26]发现MCI患者的右顶叶浅层白质的MD显著增加，AD患者的左边缘系统和左颞叶浅层白质的MD显著增加.而探测水分子扩散的DTI可以很好地对白质神经纤维束进行成像，直观地反应大脑白质的结构变化，所以有研究者使用DTI数据进行AD影像分类.

Massalimova等^[27]融合了MD扩散像、各向异性分数（fractional anisotropy，FA）扩散像和T₁加权sMRI，使用ResNet-18作为网络主干，最终得到AD、MCI与HC的三分类准确率为97%.Deng等^[28]通过DTI图像计算得到中心度特征（degree centrality，DC），使用CNN作为分类器，使AD与HC分类准确率达到了90.00%.Marzban等^[29]将MD扩散像、FA扩散像和各向异性模式（mode of anisotropy，MO）扩散像作为2D CNN的输入，发现使用MD扩散像的AD与HC分类准确率最高达到88.9%，且融合MD扩散像和sMRI中的灰质图像可以取得更高的准确率93.5%.Kang等^[30]将sMRI、FA扩散像、MD扩散像通过三通道合并输入到VGG-16网络中进行特征提取，并使用最小绝对收缩和选择算子（Least absolute shrinkage and selection operator，LASSO）算法进行分类，最终使早期MCI（early mild cognitive impairment，EMCI）与HC分类准确率达到94.2%.

2.4 PET图像在AD分类中的应用

PET是核医学中比较先进的成像技术，由于AD的一个显著特征是大脑中淀粉样蛋白斑块的累积，通过淀粉样蛋白的PET成像，医生可以检测AD患者的脑斑.有研究^[31]表明淀粉样蛋白PET图像的引入对于AD疾病的诊断产生了很大的影响.对于PET脑部扫描显示存在显著淀粉样沉积物的患者，分别有82%的MCI患者与91%的痴呆患者被临床医生建议服用针对AD的药物；而在进行PET扫描之前，仅有40%的MCI患者与63%的痴呆症患者服用针对AD的药物^[32].可见淀粉样蛋白阳性与AD之间高度相关，在基于PET数据的深度学习AD影像分类中也可以得到印证.

Punjabi等^[33]详细比较了sMRI图像与AV-45淀粉样蛋白PET图像对AD与HC分类效能的影响.文中采用1 299份sMRI数据和585份AV-45淀粉样蛋白PET数据，并且分别使用全部的sMRI数据、全部的PET数据、和PET数据量相同的sMRI数据以及PET与sMRI多模态数据对CNN进行训练.结果显示在AD和HC分类中，仅使用sMRI大约一半数量的PET数据就达到了85.15%的准确率，和使用全部sMRI达到的准确率87.49%相当，进一步使用PET与sMRI多模态数据则可以将准确率提升至92.34%.而基于PET实验中的假阳性样本均伴有淀粉样蛋白水平升高，印证了淀粉样蛋白水平升高与AD疾病高度相关.也可见PET数据相比sMRI数据在AD影像学分类上具有更高的效能，而两种数据的结合可以获得更高的分类性能.

3 基于深度学习的AD影像学分类改进方法

在患者发展为AD状态以前，存在一段长时期的MCI阶段，MCI可以被细分为多种类型，如：早期MCI（early mild cognitive impairment，EMCI）和晚期MCI（later mild cognitive impairment，LMCI）；在指定时间段内没有发展成AD的稳定型MCI（stable mild cognitive impairment，sMCI）和在指定时间段内发展为AD的渐近型MCI（progressive mild cognitive impairment，pMCI）等.如果可以通过深度学习方法对患者脑影像进行MCI类型的区分，更有利于了解患者在漫长的MCI期间发展为AD的趋势，具有极高的临床价值.同时因为都是MCI样本，患者间脑影像差别较小，难以训练出性能良好的模型.

在深度学习领域，有很多方法可以在高于特定算法层面提升分类模型的性能，本节将会讨论：针对医学数据集稀少及训练速度慢问题的迁移学习方法；针对单个分类器性能不好以及难以充分运用3D图像问题的集成学习方法；针对多任务并行与模型过拟合问题的多任务学习方法.

3.1 深度迁移学习在AD影像学分类中的应用

为了解决医学数据量少、模型训练速度慢以及计算量大的问题，深度迁移学习被应用于AD影像学分类任务中.基于深度学习的迁移学习通常是将分类模型先在大数据集（例如ImageNet和JFT-300M数据）上进行预训练，保留习得浅层信息的前几层网络的权重，然后在目标数据集上训练剩下的网络层.在深度学习模型上使用迁移学习技术可以显著地降低模型训练时间，并使模型性能得到一定的提升.

Li等^[34]使用由文献[35]提供的3DSeg-8数据集作为预训练的源数据集，将权重迁移学习至ResNet-200，使AD、MCI和HC三分类准确率达到83%，而不使用迁移学习的准确率仅为76%.孔伶旭等^[36]使用ImageNet数据集迁移学习到Mobilenet网络的瓶颈层，然后将fMRI数据提取出来的ROI时间序列输入到网络中对网络顶层进行训练，最终网络对于EMCI与HC的分类准确率达到了73.67%.Bin等^[37]分别构建了平衡与不平衡数据集，同时在2D CNN、基于ImageNet迁移学习的Xception和Inception-v3网络中进行训练，最终发现带有迁移学习策略的Inception-v3在平衡数据集上性能最高，AD与HC分类准确率达到了99.45%.

有很多研究者将迁移学习进一步应用到分类难度更大的不同类型MCI分类问题上，并且取得了不错的成果.Mehmood等^[38]将基于ImageNet数据集训练的权重迁移学习至VGG-19的前14层卷积层，使AD与HC分类准确率达到95.33%，EMCI与LMCI分类准确率达到83.72%.Lian等^[39]提出了一个分步提取斑块级和区域级特征的分层全卷积神经网络（hierarchical fully convolutional network，H-FCN）对AD与HC进行分类，并且将网络的权重迁移学习至sMCI与pMCI分类任务中，达到了80.9%的准确率.Basaia等^[40]使用FCN对AD与HC进行分类，并且将AD与HC分类网络的权重迁移学习到sMCI与pMCI分类网络中，在ADNI数据集中进行训练，分别在ADNI与独立测试集中进行测试，实验结果表明模型具有良好的泛化能力，在独立测试集中准确率仅从75.1%下降到了74.9%.

3.2 深度集成学习在AD影像学分类中的应用

监督学习算法的目标是学习出一个稳定且在各个方面都表现较好的模型，但实际情况往往不这么理想，有时只能得到多个性能偏好的模型，称为弱分类器.集成学习就是通过组合多个弱分类器模型以得到一个更好更全面的强监督模型，其思想就是即使一个弱分类器得到错误的预测，其他分类器也可以将错误纠正从而得到正确的预测结果.

集成学习方法在AD影像分类任务中可以起到信息互补的作用.如果直接使用3D sMRI数据，会大幅增加网络参数量，若只使用单投影2D切片，则会损失其他投影方向的信息，所以有研究者使用集成学习方法融合3个轴向投影的互补信息，并取得了不错的结果.Choi等^[41]将sMRI图像的矢状面、冠状面和轴面分别作为VGG-16、GoogLeNet和AlexNet 3个CNN的输入，生成9个个体分类器，并构建了一个损失函数训练9个个体分类器的权重值，最终分类器在AD和HC分类任务中的准确率达到了93.84%.曾安等^[42]使用sMRI图像的矢状面、冠状面和轴面分别训练40个、50个和33个CNN基分类器，选出测试效果最好的5个基分类器使用投票法集成单轴分类器，最后使用投票法将3个单轴分类器集成为最终分类器，使AD与HC的分类准确率达到81%，pMCI与sMCI的分类准确率达到62%.

3.3 多任务深度学习方法在AD影像学分类中的应用

多任务深度学习是深度学习的一个子领域，用于同时解决多个不同但又相关的任务，在提高效率的同时还可以相互充当正则化器减少模型的过拟合.对于认知评分的回归预测、对于性别的分类预测和对AD相关脑区的分割任务等都是AD影像分类的相关任务，所以它们通常被用作AD影像分类的辅助任务.

3.3.1 将分类任务作为辅助任务的多任务深度学习

前文中提到为了解决sMCI与pMCI分类模型难以训练的问题，有研究者使用迁移学习的方法将AD与HC的分类模型的权重迁移学习到sMCI与pMCI的分类模型中，可见两个任务之间存在高度的相似性，因此，同样可以用于多任务学习.如Spasov等^[43]结合了MRI图像作为3D CNN的输入，并且在最后全连接的输出向量后拼接上人口学数据、心理认知评估测试和Rey听觉言语学习测试等临床数据，作为多模态数据的融合向量输入到另一个全连接层中，以上部分的网络权重由两个任务共享，最后使用全连接层联合AD与HC、sMCI与pMCI两个分类任务进行训练，该模型在sMCI与pMCI分类任务中的准确率达到86%.

3.3.2 将回归任务作为辅助任务的多任务深度学习

在对AD患者进行诊断时，认知评分量表的分数是重要的参考标准^[44]，也有很多AD影像分类的论文^[45]将MMSE得分作为AD、MCI和HC组的标签，所以对于认知评分的回归预测也是AD影像分类多任务学习的理想辅助任务.如Zeng等^[46]将MMSE和AD评定量表-认知分量表（Alzheimer’s disease assessment scale，ADAS-cog）的回归预测作为辅助任务，使用深度信念网络（deep belief network，DBN）作为网络主干，最终得到的网络在AD与HC的分类、pMCI与HC的分类和AD与sMCI的分类中的准确率均超过95%.Abuhmed等^[15]使用患者在基线，以及基线后6个月、12个月和18个月的PET、sMRI、神经心理学、神经病理学和认知评分多模态数据，利用BiLSTM对患者基线后48个月的CDR和MMSE等7个认知评分进行回归预测，将预测得到的7个认知评分和患者的年龄、性别等信息作为随机森林分类器的输入，最后对患者基线48个月之后的状态进行AD、MCI与HC三分类，准确率达到了84.95%.

3.3.3 将分割任务作为辅助任务的多任务深度学习

有多项医学研究表明，AD是与海马体脑区高度相关的神经退行性疾病，同时也有不少研究者^[47]在进行AD影像分类时将海马区域作为ROI.如Liu等^[48]采用带有Dense模块的V-Net网络结构对3D MRI图像进行海马区域的分割，在进行海马分割的同时将从上采样层中提取的特征输入到全连接层进行AD与HC的分类，又融合了基于海马体掩膜提取到的特征进行分类，最终使AD与HC分类准确率达到88.9%，MCI与HC分类准确率达到76.2%.

4 网络模型的可解释性探讨

从以往的研究中可以观察到基于深度学习模型的AD影像学分类已经取得了很高的准确率，未来的研究方向将会更注重深度学习模型的可解释性研究.对于医学影像分类，模型的可解释性研究可以让研究者增强对于模型判断的信心；当模型分类准确率高于人类专家时，解释性研究可以帮助医生研究针对AD疾病的关联脑区.目前针对AD影像分类深度学习网络的可解释性方法可大致分为两种：可视化神经网络热力图和输入消融实验.

4.1 神经网络热力图应用于AD影像分类网络的可解释性研究

利用类激活映射（class activation mapping，CAM）生成神经网络热力图是一种用于可视化CNN的工具，通过热力图我们可以观察到网络在达到分类准确的前提下，更注重于哪块区域.CAM的具体实现方式是将CNN网络最后一个特征图做全局平均池化（global average pooling，GAP）用于计算各通道的均值，通过全连接层加权得到输出，将分类结果对应的权重值与对应的特征图相乘，上采样的同时叠加到原图便可在原图上生成热力图.CAM的缺点在于它需要修改原模型的结构从而导致需要重新训练模型，对于复杂模型来说，大大增加了训练成本.而梯度加权类激活映射（gradient-weighted class activation mapping，Grad-CAM）使用CNN最后一层的梯度信息来理解每个神经元对目标决定的重要性，避免了重新训练模型的问题.

Zhang等^[49]使用Grad-CAM对带有注意力机制的ResNet网络（3D ResAttNet）在AD与HC分类任务上进行可视化，热力图中突出显示了海马体、侧脑室和大部分皮质区域.Raju等^[50]使用Grad-CAM方法对认知障碍分类网络进行可视化操作，发现海马体、杏仁核和顶叶区域得到了最大程度的激活.Oh等^[18]使用ICAE对AD影像进行分类，并且使用类显著映射（class saliency visualization，CSV）手段，发现pMCI与sMCI的分类任务更注重于左侧杏仁核、角回和楔前回，而AD与HC分类任务更注重内侧颞叶周围、左侧海马体.Guan等^[51]结合了ResNet与并行注意力增强双线性网络（parallel attention-augmented bilinear network，pABN），使用CAM发现AD与HC分类、pMCI与sMCI分类的重点区域基本相似，集中于海马体、杏仁核、脑室、额叶、颞下回、颞上沟、顶枕沟和外侧裂.

以往基于体素的研究方法可能会因为特征维数过高和影像数据量不足导致过拟合，而基于ROI区域的方法不能精确覆盖到全部的病理部位，所以近年来有研究者基于斑块级区域训练网络模型，如上文中提到的Lian等^[39]将大脑随机分割为若干个斑块区域对网络进行训练.这样的方法也可以用于生成神经网络热力图以达到可视化的效果，Qiu等^[52]通过FCN生成每个斑块对于AD预测的概率热力图，直观地反应大脑各个斑块级区域对于AD分类的重要性，结果显示网络模型生成的结果与AD病理学尸检结果高度相关，即AD概率的增加与海马、中额叶、杏仁核和颞叶区域中淀粉样蛋白β和τ的高水平积累相关.在热力图方法中，海马、颞叶和杏仁核被多次提及，与之前的医学研究结果相吻合，增加了研究者对于深度学习网络的信心.

4.2 输入消融实验应用于AD影像分类网络的可解释性研究

另一种对网络进行可解释性研究的方法是输入消融实验，通常通过在输入图像中去除或保留某些大脑区域来研究哪些脑区对AD影像分类更具贡献.如果去除了某些脑区并不会对分类结果产生负作用，则认为这些脑区贡献不大；如果加上某些脑区后对分类结果有正向作用，则认为这些脑区有利于AD分类.

金祝新等^[53]使用遮挡块的方式对网络进行可视化操作，即使用黑色或灰色色块遮挡输入图像，如果目标类别概率因被遮挡了某区域而降低，则认为该区域与AD分类任务相关，结果显示内侧颞叶和海马区域与AD影像分类具有高相关性.Kwak等^[54]同样使用遮挡块的方法对基于DenseNet的sMCI与pMCI分类网络进行了可解释性分析，发现海马、梭状回、颞下回和楔前叶区域在sMCI与pMCI分类任务中起到重要作用.Venugopalan等^[55]使用屏蔽输入特征的方法对CNN进行可解释性研究，结果显示MRI图像中海马和杏仁核对分类贡献最大.

以上的研究都是通过人工选取保留或剔除的特征，具有一定的随机性和主观性，而使用算法自动选取脑区则可以避免这样的问题.Shahamat等^[56]从哈佛牛津大脑图谱中获得96个大脑区域，将它们存储到与输入大小相同的3D矩阵中.基于这些脑区使用遗传算法随机生成掩膜，掩膜中可以包含一个或多个脑区，作为网络的输入.通过不断减小掩膜大小，最终选择了被认为对AD影像分类最具贡献的5个脑区，分别是左侧枕叶、左侧颞梭状皮层、右侧楔皮层、右额中回和右颞中回.输入消融实验法对于脑区的定位可以精确到人为定义的解剖模板，相比神经网络热力图可以定位到更细致的区域.

4.3 有关AD影像学分类网络可解释性研究结果的探讨

综合不同研究者的网络可解释性分析结果可以观察到，大部分的研究者都关注到了一些相同的脑区，例如海马体、杏仁核和颞叶；然而还有一部分脑区只被个别研究者所关注，例如梭状回、角回和顶叶等.对于该现象的解释，有如下合理的推测：

1、对于AD影像学分类问题，使用的数据几乎都来源于ADNI和OASIS两大公开数据集，但是研究者对于数据的选取策略各不相同，最终选取得到的数据集之间的差异会导致网络可解释性结果的不同.

2、大多数研究者对于每一类别仅使用数百例样本，较小的训练数据规模会导致网络模型泛化能力不强，从而得到不稳定的可解释性分析结果.通常我们认为在大规模数据集上得到准确率越高的网络模型越容易得到准确的可解释性分析结果.

3、对于神经网络热力图法，可视化结果会以热力图的形式覆盖于输入图像上，对于重点脑区的划分并无明确边界，依赖于人工观察判断，对于研究者的医学知识有一定的要求且具有主观性，并最终导致了网络可视化结果的差异.

4、对于输入消融实验法，不同的脑模板对于大脑区域划分的策略各不相同；而基于脑模板人工选择的掩膜区域具有不可避免的随机性和主观性，都会导致最终可解释结果的差异.

可见在AD影像学分类领域，深度学习可解释性分析依然是一个研究难点.

5 总结与展望

本文针对AD影像学自动分类问题，调研了近年来被广泛研究与使用的深度学习方法，从不同数据模态以及迁移学习、集成学习、多任务学习不同方法等方面，全面讨论了文献中基于深度学习的AD影像学分类的研究进展.通过调研发现相比于使用最为广泛的sMRI，单独使用fMRI在AD影像分类中没有表现出明显的优势；随着对AD患者脑白质变化的理解加深，DTI图像在AD影像分类中发挥了更加重要的作用；在模型中增加迁移学习方法可以加快模型的训练，提高不同MCI分类任务的准确率；应用集成学习方法可以充分利用不同投影面的互补信息，从而提升模型的可靠性；多任务学习可以同时进行两个相关任务，在提高效率的同时减少模型的过拟合.在此基础上，本文进一步对网络模型的可解释性问题进行了深入探讨，从仅有的一些文献报道可知，探究模型可解释性方法并在此基础上寻找与AD影像学分类具有关联性的脑区将是未来的研究重点.表2总结了本文中提及的各AD影像分类模型，表3总结了文中提及的深度学习网络可解释性方法，以及已发现的与AD影像学分类相关的脑区.

表2 各分类模型综合比较

Table 2 Performance comparison of different models

第一作者	分类任务	数据模态		数据集		测试方法	分类模型	准确率%
郁松^[21]	AD/HC	sMRI		1015 HC 575 AD 1709 MCI		训练集60% 验证集20% 测试集20%	3D ResNet-101	97.425
Parmar^[24]	AD/HC	fMRI		30 AD 30 HC		训练集60% 验证集20% 测试集20%	3D CNN	94.58
Bi^[19]	AD/HC MCI/HC AD/MCI AD/HC/MCI	fMRI		118 AD 295 HC 335 MCI		五折交叉验证	RNN，ELM	91.3 (AUC) 80.5 (AUC) 82.4 (AUC) 84.7 (AUC)
Yi̇Ği̇T^[20]	AD/HC MCI/HC	sMRI		训练集 30 AD 316 HC 70 MCI	测试集 46 AD+MCI 23 HC	/	2D CNN	83 82
Punjabi^[33]	AD/HC	PET sMRI+PET		共1299		/	3D CNN	85.15 92.34
Zhang^[49]	AD/HC pMCI/sMCI	sMRI		200 AD 231 HC 172 pMCI 232 sMCI		五折交叉验证	3D ResAttNet	91.3 82.1
Qiu^[52]	AD/HC	sMRI+性别+年龄+MMSE		/		训练集60% 验证集20% 测试集20%	FCN	96.8
Deng^[28]	AD/HC	DTI+sMRI		98 AD 100 HC		训练集60% 验证集20% 测试集20%	CNN	90.00
Marzban^[29]	AD/HC MCI/HC	DTI+sMRI		115 AD 185 HC 106 MCI		十折交叉验证	CNN	93.5 79.6
Kang^[30]	EMCI/HC		DTI+sMRI	50 HC 70 EMCI		训练集80% 测试集20%	VGG-16，LASSO		94.2
Kwak^[54]	AD/HC sMCI/pMCI		sMRI	110 AD 109 HC 34 pMCI 81 sMCI		五折交叉验证	DenseNet		93.75 73.90
Ju^[16]	MCI/HC		fMRI	91 MCI 79 HC		十折交叉验证	AE		86.47
Baydargil^[17]	AD/MCI/HC		PET	141 AD 105 MCI 70 HC		训练集80% 验证集10% 测试集10%	CAE		98.67
Guan^[51]	AD/HC pMCI/sMCI		sMRI	384 AD 392 HC 401 sMCI 197 pMCI		训练集 90% 测试集 10%	ResNet、pABN		90.7 79.3
Li^[34]	AD/MCI/HC		MRI	237 AD 288 MCI 262 HC		训练集65% 测试集 35%	ResNet-200 （迁移学习）		83
Basaia^[40]	AD/HC sMCI/pMCI		sMRI	294 AD 352 HC 253 pMCI 510 sMCI		训练集90% 测试集10%	3D FCN（迁移学习）		99.2 75.1
孔伶旭^[36]	EMCI/HC		fMRI	32 HC 32 EMCI		五折交叉验证	Mobilenet（迁移学习）		73.67
Bin^[37]	AD/HC		sMRI	100 AD 100 HC		五折交叉验证	Inception-v3 （迁移学习）		99.45
Massalimova^[27]	AD/MCI/HC		DTI	训练集 59 AD 308 HC 7 MCI	测试集 16 AD 74 HC 1 MCI	/	ResNet-18（迁移学习）		97
Mehmood^[38]	AD/HC EMCI/LMCI		sMRI	75 AD 85 HC 70 EMCI 70 LMCI		训练集64% 验证集16% 测试集20%	VGG-19（迁移学习）		95.33 83.72
Raju^[50]	非常轻度痴呆/轻度痴呆/中度痴呆/HC（四分类）		sMRI	1013非常轻度痴呆 896轻度痴呆 64中度痴呆 3200 HC（训练集）		334非常轻度痴呆 139轻度痴呆 10中度痴呆 530 HC（测试集）	VGG-16（迁移学习）		99
Lian^[39]	AD/HC sMCI/pMCI	sMRI		数据集1 199 AD 229 HC 167 pMCI 226 sMCI	数据集2 159 AD 200 HC 38 pMCI 239 sMCI	两个数据集间交叉验证	H-FCN（迁移学习）	90.3 80.9
Oh^[18]	AD/HC sMCI/pMCI	sMRI		198 AD 230 HC 166 pMCI 101 sMCI		五折交叉验证	3D CNN，ICAE （迁移学习）	88.6 73.95
金祝新^[53]	AD/MCI MCI/HC AD/HC		sMRI	267 AD 574 HC 446 MCI		训练集90% 测试集10%	3D CNN（迁移学习）		94.6 92.5 90.9
曾安^[42]	AD/HC pMCI/HC pMCI/sMCI		sMRI	137 AD 162 HC 76 pMCI 134 sMCI		五折交叉验证	2D CNN（集成学习）		81 79 62
Bi^[22]	AD/HC MCI/HC AD/MCI AD/MCI/HC		sMRI	243 AD 307 HC 525 MCI		/	PCANet，k-means （集成学习）		89.15 92.6 97.01 91.25
Choi^[41]	AD/HC		sMRI	715 AD 335 HC 305 MCI		训练集60% 验证集20% 测试集20%	VGG-16，GoogLeNet，AlexNet（集成学习）		93.84
Venugopalan^[55]	AD/HC		sMRI+电子病历+基因数据	共220		十折交叉验证	AE，CNN，随机森林（集成学习）		88
Zeng^[46]	sMCI/pMCI AD/HC sMCI/HC pMCI/HC AD/sMCI AD/pMCI		sMRI	92 AD 92 HC 92 sMCI 95 pMCI		训练集70% 测试集30%	PCA，DBN（多任务）		87.78 98.62 92.31 96.67 99.62 91.89
Spasov^[43]	sMCI/pMCI		sMRI	192 AD 184 HC 409 MCI		十折交叉验证	CNN（多任务）		86
Liu^[48]	AD/HC MCI/HC		sMRI	97 AD 11 HC 233 MCI		五折交叉验证	V-Net，DenseNet （多任务）		88.9 76.2
Abuhmed^[15]	AD/MCI/HC		PET+sMRI+神经心理学数据+神经病理学数据+认知评分	共1371		十折交叉验证	BiLSTM，随机森林（多任务）		84.95

表3 可解释性方法及AD相关脑区

Table 3 Comparison of different interpretation methods and AD-related brain regions

第一作者	任务	分类模型	准确率%	解释性方法	脑区
Guan^[51]	AD/HC sMCI/pMCI	ResNet、pABN	90.7 79.3	CAM	海马体、杏仁核、脑室、额叶、颞下回、颞上沟、顶枕沟、外侧裂
Zhang^[49]	AD/HC	3D-ResAttNet	91.3	Grad-CAM	海马体、侧脑室、大部分皮质
Raju^[50]	轻度痴呆/非常轻度痴呆/中度痴呆/HC（四分类）	VGG-16（迁移学习）	99	Grad-CAM	海马体、杏仁核、顶叶
Oh^[18]	AD/HC sMCI/pMCI	3D-CNN，ICAE	86.6 73.95	CSV	内侧颞叶周围、左侧海马体左侧杏仁核、角回、楔前回
Qiu^[52]	AD/HC	FCN	96.8	基于斑块生成热力图	海马、中额叶、杏仁核、颞叶
金祝新^[53]	AD/HC	3D-CNN（迁移学习）	90.9	输入添加遮挡块	内侧颞叶、海马体
Kwak^[54]	sMCI/pMCI	DenseNet	73.90	输入添加遮挡块	海马、梭状回、颞下回、楔前叶
Venugopalan^[55]	AD/HC	AE，CNN，随机森林	88	特征屏蔽	海马体、杏仁核
Shahamat^[56]	AD/HC	3D-CNN	85	遗传算法选取脑模板	左侧枕叶、左侧颞梭状皮层、右侧楔皮层、右额中回、右颞中回

对于AD影像学分类及其模型可解释性研究，未来有以下发展方向：（1）探索更多对AD分类有效的数据模态，以及更多基于多模态数据融合分类的方法；（2）针对各个医疗机构成像条件不同带来的数据差异，进行更多跨数据集的模型测试用于优化模型的泛化能力；（3）在AD与HC分类问题的基础上，改进不同类型MCI分类或多分类任务的准确度；（4）针对AD影像学分类相关任务的深度学习模型，进行更多的可解释性研究，并发现更多可靠的与AD疾病相关的脑区.

近几年，大脑年龄的预测逐渐变成了研究的热点，而AD是一种与年龄高度相关的疾病，Beheshti等^[57]整合了15种脑龄预测模型，发现在AD组中的测试误差明显高于MCI组，MCI组明显高于HC组，可见患者患病程度越高，越会导致脑龄预测模型高估其大脑年龄.有些研究者针对脑龄预测与AD影像分类之间的关联性进行探索.如Bashyam等^[58]使用正常人的sMRI图像训练了一个包含有Inception与ResNet模块的CNN网络，在测试集上MAE为3.701，将脑龄预测模型的权重值迁移学习到AD与HC分类模型中，实验结果表明在小样本情况下，该迁移学习模型的性能远远高于基于ImageNet迁移学习的分类模型，可见脑龄预测与AD影像分类任务有着极高的相关性.探索脑龄预测任务与AD影像学分类任务的关联性或许也可以成为未来的一个研究方向.

随着AD影像分类模型准确性及泛化能力的提高，基于深度学习的AD影像分类模型未来有望进入临床，在AD疾病早期筛查中发挥重要作用.对于脑龄预测及神经疾病的相关性的研究以及深度学习模型可解释性的研究，可以提升研究者对于深度学习分类模型的信心，进一步帮助医生更加深入地了解AD疾病.

利益冲突

无

附录

表A1 中英文全称及对应缩写表

Table A1 Chinese and English full names for corresponding abbreviations

缩写	中文全称	英文全称
AD	阿尔兹海默症	Alzheimer disease
NFT	神经原纤维缠结	neurofibrillary tangles
CDR	临床痴呆分级	clinical dementia rating
MMSE	简易智力状态检查量表	mini-mental state examination
MCI	轻度认知障碍	mild cognitive impairment
EMCI	早期轻度认知障碍	early mild cognitive impairment
LMCI	晚期轻度认知障碍	later mild cognitive impairment
sMCI	稳定型轻度认知障碍	stable mild cognitive impairment
pMCI	渐近型轻度认知障碍	progressive mild cognitive impairment
HC	健康对照组	healthy control
ADNI	阿尔兹海默症神经影像学计划	Alzheimer’s disease neuroimaging initiative
OASIS	开放存取影像研究	open access series of imaging studies
IXI	从图像中提取信息数据集	information eXtraction from images
sMRI	结构磁共振成像	structural magnetic resonance imaging
PET	正电子发射型计算机断层显像	positron emission computed tomography
DTI	扩散张量成像	diffusion tensor imaging
fMRI	功能磁共振成像	functional magnetic resonance imaging
FA	各向异性分数	fractional anisotropy
MD	平均扩散率	mean diffusivity
RD	径向扩散系数	radial diffusivity
DC	中心度特征	degree centrality
ROI	感兴趣区域	region of interest
AAL	自动解剖标记	automated anatomical labeling
TP	真阳性	true positive
FP	假阳性	false positive
TN	真阴性	true negative
FN	假阴性	false negative
ROC	接受者操作特征曲线	receiver operating characteristic curve
AUC	曲线下面积	area under curve
CNN	卷积神经网络	convolutional neural networks
ILSVRC	ImageNet大规模视觉识别挑战赛	ImageNet large scale visual recognition challenge
RNN	循环神经网络	recurrent neural network
BRNN	双向循环神经网络	bidirectional recurrent neural network
AE	自动编码机	autoencoder
CAE	卷积自动编码机	convolutional autoencoder
ICAE	带Inception模块的卷积自动编码机	inception modal based convolutional autoencoder
ResNet	残差网络	residual network
DenseNet	密集连接网络	densely connected convolutional network
pABN	并行注意力增强双线性网络	parallel attention-augmented bilinear network
k-means	k均值聚类	k-means clustering algorithm
PCA	主成分分析法	principal components analysis
ELM	极限学习机	extreme learning machine
H-FCN	分层全卷积神经网络	hierarchical fully convolutional network
FCN	全卷积神经网络	fully convolutional network
ADAS-cog	阿尔兹海默症评定量表-认知分量表	Alzheimer’s disease assessment scale
BiLSTM	双向长短期记忆网络	bidirectional long short-term memory
MAE	平均绝对误差	mean absolute error
CAM	类激活映射	class activation mapping
Grad-CAM	梯度加权类激活映射	gradient-weighted class activation mapping
GAP	全局平均池化	global average pooling
CSV	类显著映射	class saliency visualization

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

JACK

Jr C R

, BENNETT

D A

, BLENNOW

, et al.

NIA-AA research framework: Toward a biological definition of Alzheimer’s disease

[J]. Alzheimers Dement, 2018, 14(4): 535-562.

DOI:10.1016/j.jalz.2018.02.018 URL [本文引用: 1]

[2]

SCHELTENS

, DE

STROOPER B

, KIVIPELTO

, et al.

Alzheimer’s disease

[J]. The Lancet, 2021, 397(10284): 1577-1590.

DOI:10.1016/S0140-6736(20)32205-4 URL [本文引用: 1]

[3]

ANDERSON

N D

State of the science on mild cognitive impairment

[J]. J Gerontol B Psycholo Sci Soc Sci, 2020, 75(7): 1359-1360.

[4]

MAGGIPINTO

, BELLOTTI

, AMOROSO

, et al.

DTI measurements for Alzheimer’s classification

[J]. Phys Med Biol, 2017, 62(6): 2361-2375.

DOI:10.1088/1361-6560/aa5dbe URL [本文引用: 1]

[5]

LAHMIRI

, SHMUEL

Performance of machine learning methods applied to structural MRI and ADAS cognitive scores in diagnosing Alzheimer’s disease

[J]. Biomed Signal Proces, 2019, 52: 414-419.

DOI:10.1016/j.bspc.2018.08.009 URL [本文引用: 2]

[6]

ELSHATOURY

, AVOTS

, ANBARJAFARI

, et al.

Volumetric histogram-based Alzheimer’s disease detection using support vector machine

[J]. J Alzheimers Dis, 2019, 72(2): 515-524.

DOI:10.3233/JAD-190704 URL [本文引用: 1]

[7]

UYSAL

, OZTURK

Hippocampal atrophy based Alzheimer’s disease diagnosis via machine learning methods

[J]. J Neurosci Meth, 2020, 337: 108669.

DOI:10.1016/j.jneumeth.2020.108669 URL [本文引用: 2]

[8]

CHU

, XU

W L

Review of early classification of Alzheimer’s disease based on computer-aided diagnosistechnology

[J]. Computer Engineering & Science, 2022, 44(5): 879-893.

楚阳, 徐文龙.

基于计算机辅助诊断技术的阿尔兹海默症早期分类研究综述

[J]. 计算机工程与科学, 2022, 44(5): 879-893.

[9]

YAO

X F

, YUAN

Z B

, BU

X X

The early predication of Alzheimer's disease based on intelligent radiomics technology

[J]. Sci Technol Rev, 2021, 39(20): 101-109.

DOI:10.20506/rst.issue.39.1.3056 URL [本文引用: 1]

姚旭峰, 袁增贝, 卜溪溪.

基于智能影像基因组学技术的阿尔茨海默病预测进展

[J]. 科技导报, 2021, 39(20): 101-109.

DOI:10.20506/rst.issue.39.1.3056 URL [本文引用: 1]

[10]

ZHU

Y X

, FENG

, GUO

X H

Application of deep learning method in brain image of Alzheimer’s disease

[J]. Med Recapitulate, 2019, 25(18): 3562-3566.

朱映璇, 冯巍, 郭秀花.

深度学习方法在阿尔茨海默病脑图像方面的应用进展

[J]. 医学综述, 2019, 25(18): 3562-3566.

[11]

TANVEER

, RICHHARIYA

, KHAN

R U

, et al.

Machine learning techniques for the diagnosis of Alzheimer’s disease: a review

[J]. ACM T Multim Comput, 2020, 16(1s): 30.

[12]

FAN

, XU

, QI

, et al.

Classification of Alzheimer’s disease based on brain MRI and machine learning

[J]. Neural Comput Appl, 2020, 32(7): 1927-1936.

DOI:10.1007/s00521-019-04495-0 [本文引用: 2]

[13]

KARAMI

, NITTARI

, TRAINI

, et al.

An optimized decision tree with genetic algorithm rule-based approach to reveal the brain’s changes during Alzheimer’s disease dementia

[J]. J Alzheimers Dis, 2021, 84(4): 1577-1584.

DOI:10.3233/JAD-210626 URL [本文引用: 1]

Background: It is desirable to achieve acceptable accuracy for computer aided diagnosis system (CADS) to disclose the dementia-related consequences on the brain. Therefore, assessing and measuring these impacts is fundamental in the diagnosis of dementia. Objective: This study introduces a new CADS for deep learning of magnetic resonance image (MRI) data to identify changes in the brain during Alzheimer’s disease (AD) dementia. Methods: The proposed algorithm employed a decision tree with genetic algorithm rule-based optimization to classify input data which were extracted from MRI. This pipeline is applied to the healthy and AD subjects of the Open Access Series of Imaging Studies (OASIS). Results: Final evaluation of the CADS and its comparison with other systems supported the potential of the proposed model as a novel tool for investigating the progression of AD and its great ability as an innovative computerized help to facilitate the decision-making procedure for the diagnosis of AD. Conclusion: The one-second time response, together with the identified high accurate performance, suggests that this system could be useful in future cognitive and computational neuroscience studies.

[14]

ALICKOVIC

, SUBASI

, ALZHEIMERS

DIS N

Automatic detection of Alzheimer disease based on histogram and random forest

[C]// Banja Luka, BOSNIA & HERCEG: International Conference on Medical and Biological Engineering in Bosnia and Herzegovina (CMBEBIH), 2019, 73: 91-96.

[15]

ABUHMED

, EI-SAPPAGH

, ALONSO

J M

Robust hybrid deep learning models for Alzheimer’s progression detection

[J]. Knowl-Based Syst, 2021, 213: 106688.

DOI:10.1016/j.knosys.2020.106688 URL [本文引用: 3]

[16]

R H

, HU

C H

, ZHOU

, et al.

Early diagnosis of Alzheimer’s disease based on resting-state brain networks and deep learning

[J]. IEEE ACM T Comput Bi, 2019, 16(1): 244-257.

[17]

BAYDARGIL

H B

, PARK

J S

, KANG

D Y

, et al.

Classification of Alzheimer’s disease using stacked sparse convolutional autoencoder

[C]// Jeju, SOUTH KOREA:19th International Conference on Control, Automation and Systems (ICCAS), 2019, 891-895.

[18]

, CHUNG

Y C

, KIM

K W

, et al.

Classification and visualization of Alzheimer’s disease using volumetric convolutional neural network and transfer learning

[J]. Sci Rep, 2019, 9(1): 18150.

DOI:10.1038/s41598-019-54548-6 [本文引用: 4]

Recently, deep-learning-based approaches have been proposed for the classification of neuroimaging data related to Alzheimer’s disease (AD), and significant progress has been made. However, end-to-end learning that is capable of maximizing the impact of deep learning has yet to receive much attention due to the endemic challenge of neuroimaging caused by the scarcity of data. Thus, this study presents an approach meant to encourage the end-to-end learning of a volumetric convolutional neural network (CNN) model for four binary classification tasks (AD vs. normal control (NC), progressive mild cognitive impairment (pMCI) vs. NC, stable mild cognitive impairment (sMCI) vs. NC and pMCI vs. sMCI) based on magnetic resonance imaging (MRI) and visualizes its outcomes in terms of the decision of the CNNs without any human intervention. In the proposed approach, we use convolutional autoencoder (CAE)-based unsupervised learning for the AD vs. NC classification task, and supervised transfer learning is applied to solve the pMCI vs. sMCI classification task. To detect the most important biomarkers related to AD and pMCI, a gradient-based visualization method that approximates the spatial influence of the CNN model’s decision was applied. To validate the contributions of this study, we conducted experiments on the ADNI database, and the results demonstrated that the proposed approach achieved the accuracies of 86.60% and 73.95% for the AD and pMCI classification tasks respectively, outperforming other network models. In the visualization results, the temporal and parietal lobes were identified as key regions for classification.

[19]

, ZHAO

X G

, HUANG

, et al.

Functional brain network classification for Alzheimer’s disease detection with deep features and extreme learning machine

[J]. Cogn Comput, 2020, 12(3): 513-527.

DOI:10.1007/s12559-019-09688-2 [本文引用: 3]

[20]

YIĞIT

, ISIK

Applying deep learning models to structural MRI for stage prediction of Alzheimer’s disease

[J]. Turk J Elec Eng & Comp Sci, 2020, 28(1): 196-210.

[21]

, LIAO

W H

An alzheimer’s disease classificationalgorithm based on 3D-ResNet

[J]. Computer Engineering & Science, 2020, 42(6): 1068-1075.

郁松, 廖文浩.

基于3D-ResNet的阿尔兹海默症分类算法研究

[J]. 计算机工程与科学, 2020, 42(6): 1068-1075.

[22]

X L

, LI

S T

, XIAO

, et al.

Computer aided Alzheimer's disease diagnosis by an unsupervised deep learning technology

[J]. Neurocomputing, 2020, 392: 296-304.

DOI:10.1016/j.neucom.2018.11.111 URL [本文引用: 2]

[23]

GUO

H B

, ZHANG

Y J

Resting state fMRI and improved deep learning algorithm for earlier detection of Alzheimer’s disease

[J]. IEEE Access, 2020, 8: 115383-115392.

DOI:10.1109/Access.6287639 URL [本文引用: 1]

[24]

PARMAR

H S

, NUTTER

, LONG

, et al.

Deep learning of volumetric 3D CNN for fMRI in Alzheimer’s disease classification

[C]// Houston, TX: SPIE Medical Imaging Conference - Biomedical Applications in Molecular, Structural, and Functional Imaging, 2020, 11317.

[25]

REGINOLD

, LUEDKE

A C

, ITORRALBA

, et al.

Altered superficial white matter on tractography MRI in Alzheimer’s disease

[J]. Dementia and Geriatric Cognitive Disorders Extra, 2016, 6(2): 233-241.

DOI:10.1159/000446770 URL [本文引用: 1]

Background/Aims: Superficial white matter provides extensive cortico-cortical connections. This tractography study aimed to assess the diffusion characteristics of superficial white matter tracts in Alzheimer's disease. Methods: Diffusion tensor 3T magnetic resonance imaging scans were acquired in 24 controls and 16 participants with Alzheimer's disease. Neuropsychological test scores were available in some participants. Tractography was performed by the Fiber Assignment by Continuous Tracking (FACT) method. The superficial white matter was manually segmented and divided into frontal, parietal, temporal and occipital lobes. The mean diffusivity (MD), radial diffusivity (RD), axial diffusivity (AxD) and fractional anisotropy (FA) of these tracts were compared between controls and participants with Alzheimer's disease and correlated with available cognitive tests while adjusting for age and white matter hyperintensity volume. Results: Alzheimer's disease was associated with increased MD (p = 0.0011), increased RD (p = 0.0019) and increased AxD (p = 0.0017) in temporal superficial white matter. In controls, superficial white matter was associated with the performance on the Montreal Cognitive Assessment, Stroop and Trail Making Test B tests, whereas in Alzheimer's disease patients, it was not associated with the performance on cognitive tests. Conclusion: Temporal lobe superficial white matter appears to be disrupted in Alzheimer's disease.

[26]

BIGHAM

, ZAMANPOUR

S A

, ZEMORSHIDI

, et al.

Identification of superficial white matter abnormalities in Alzheimer’s disease and mild cognitive impairment using diffusion tensor imaging

[J]. J Alzheimers Dis Rep, 2020, 4(1): 49-59.

[27]

MASSALIMOVA

, VAROL

H A, IEEE

Input agnostic deep learning for Alzheimer’s disease classification using multimodal MRI images

[C]// Electr Network:43rd Annual International Conference of the IEEE-Engineering-in-Medicine-and-Biology-Society (IEEE EMBC), 2021, 10.1109/embc46164.2021.96298072875-2878.

[28]

DENG

, WANG

Y J

Hybrid diffusion tensor imaging feature-based AD classification

[J]. J X-Ray Sci Technol, 2021, 29(1): 151-169.

DOI:10.3233/XST-200771 PMID:33325450 [本文引用: 2]

Effective detection of Alzheimer's disease (AD) is still difficult in clinical practice. Therefore, establishment of AD detection model by means of machine learning is of great significance to assist AD diagnosis.To investigate and test a new detection model aiming to help doctors diagnose AD more accurately.Diffusion tensor images and the corresponding T1w images acquired from subjects (AD = 98, normal control (NC) = 100) are used to construct brain networks. Then, 9 types features (198×90×9 in total) are extracted from the 3D brain networks by a graph theory method. Features with low correction in both groups are selected through the Pearson correlation analysis. Finally, the selected features (198×33, 198×26, 198×30, 198×42, 198×36, 198×23, 198×29, 198×14, 198×25) are separately used into train 3 machine learning classifier based detection models in which 60% of study subjects are used for training, 20% for validation and 20% for testing.The best detection accuracy levels of 3 models are 90%, 98% and 90% with the corresponding sensitivity of 92%, 96%, and 72% and specificity of 88%, 100% and 94% when using a random forest classifier trained with the Shortest Path Length (SPL) features (198×14), a support vector machine trained with the Degree Centrality features (198×33), and a convolution neural network trained with SPL features, respectively.This study demonstrates that the new method and models not only improve the accuracy of detecting AD, but also avoid bias caused by the method of direct dimensionality reduction from high dimensional data.

[29]

MARZBAN

E N

, ELDEIB

A M

, YASSINE

I A

, et al.

Alzheimer's disease diagnosis from diffusion tensor images using convolutional neural networks

[J]. PLoS ONE, 2020, 15(3): e0230409.

DOI:10.1371/journal.pone.0230409 URL [本文引用: 2]

[30]

KANG

, JIANG

J W

, HUANG

J J

, et al.

Identifying early mild cognitive impairment by multi-modality MRI-based deep learning

[J]. Front Aging Neurosci, 2020, 12: 206.

DOI:10.3389/fnagi.2020.00206 PMID:33101003 [本文引用: 2]

Mild cognitive impairment (MCI) is a clinical state with a high risk of conversion to Alzheimer's Disease (AD). Since there is no effective treatment for AD, it is extremely important to diagnose MCI as early as possible, as this makes it possible to delay its progression toward AD. However, it's challenging to identify early MCI (EMCI) because there are only mild changes in the brain structures of patients compared with a normal control (NC). To extract remarkable features for these mild changes, in this paper, a multi-modality diagnosis approach based on deep learning is presented. Firstly, we propose to use structure MRI and diffusion tensor imaging (DTI) images as the multi-modality data to identify EMCI. Then, a convolutional neural network based on transfer learning technique is developed to extract features of the multi-modality data, where an L1-norm is introduced to reduce the feature dimensionality and retrieve essential features for the identification. At last, the classifier produces 94.2% accuracy for EMCI vs. NC on an ADNI dataset. Experimental results show that multi-modality data can provide more useful information to distinguish EMCI from NC compared with single modality data, and the proposed method can improve classification performance, which is beneficial to early intervention of AD. In addition, it is found that DTI image can act as an important biomarker for EMCI from the point of view of a clinical diagnosis.Copyright © 2020 Kang, Jiang, Huang and Zhang.

[31]

GAO

Integrated positron emission tomography/magnetic resonance imaging in clinical diagnosis of Alzheimer’s disease

[J]. Eur J Radiol, 2021, 145: 1100170.

[32]

RABINOVICI

G D

, GATSONIS

, APGAR

, et al.

Association of amyloid positron emission tomography with subsequent change in clinical management among medicare beneficiaries with mild cognitive impairment or dementia

[J]. JAMA-J Am Med Assoc, 2019, 321(13): 1286-1294.

DOI:10.1001/jama.2019.2000 URL [本文引用: 1]

[33]

PUNJABI

, MARTERSTECK

, WANG

Y R

, et al.

Neuroimaging modality fusion in Alzheimer’s classification using convolutional neural networks

[J]. PLoS ONE, 2019, 14(12): e0225759.

DOI:10.1371/journal.pone.0225759 URL [本文引用: 2]

[34]

, DING

, WANG

, et al.

Alzheimer’s disease classification model based on MED-3D transfer learning

[C]// Proceedings of the 2nd International Symposium on Artificial Intelligence for Medicine Sciences, 2021, 394-398.

[35]

CHEN

, MA

, ZHENG

Med3d: Transfer learning for 3d medical image analysis

[J]. arXiv preprint, arXiv:.00625, 2019.

[36]

KONG

L X

, WU

H F

, ZENG

, et al.

Transfer-learning feature extraction from rs-fMRI for classification of early mild cognitive impairment

[J]. CAAI Transactions on Intelligent Systems, 2021, 16(4): 662-672.

孔伶旭, 吴海锋, 曾玉, 等.

迁移学习特征提取的rs-fMRI早期轻度认知障碍分类

[J]. 智能系统学报, 2021, 16(4): 662-672.

DOI:10.1016/j.neuroscience.2021.01.002 URL [本文引用: 2]

[37]

BIN TUFAIL

, MA

Y K

, ZHANG

Q N

Binary classification of Alzheimer’s disease using sMRI imaging modality and deep learning

[J]. J Digit Imaging, 2020, 33(5): 1073-1090.

DOI:10.1007/s10278-019-00265-5 [本文引用: 2]

[38]

MEHMOOD

, YANG

S Y

, FENG

Z X

, et al.

A transfer learning approach for early diagnosis of Alzheimer’s disease on MRI images

[J]. Neuroscience, 2021, 460: 43-52.

[39]

LIAN

C F

, LIU

M X

, ZHANG

, et al.

Hierarchical fully convolutional network for joint atrophy localization and Alzheimer’s disease diagnosis using structural MRI

[J]. IEEE Trans Pattern Anal Mach Intell, 2020, 42(4): 880-893.

DOI:10.1109/TPAMI.34 URL [本文引用: 3]

[40]

BASAIA

, AGOSTA

, WAGNER

, et al.

Automated classification of Alzheimer's disease and mild cognitive impairment using a single MRI and deep neural networks

[J]. Neuroimage-Clin, 2019, 21: 101645.

DOI:10.1016/j.nicl.2018.101645 URL [本文引用: 2]

[41]

CHOI

J Y

, LEE

B H

Combining of multiple deep networks via ensemble generalization loss, based on mri images, for Alzheimer’s disease classification

[J]. IEEE Signal Process Lett, 2020, 27: 206-210.

DOI:10.1109/LSP.97 URL [本文引用: 2]

[42]

ZENG

, JIA

L F

, PAN

, et al.

Early prognosis of Alzheimer’s disease based on convolutional neural networks and ensemble learning

[J]. J Biomed Eng, 2019, 36(5): 711-719.

曾安, 贾龙飞, 潘丹, 等.

基于卷积神经网络和集成学习的阿尔茨海默症早期诊断

[J]. 生物医学工程学杂志, 2019, 36(5): 711-719.

[43]

SPASOV

, PASSAMONTI

, DUGGENTO

, et al.

A parameter-efficient deep learning approach to predict conversion from mild cognitive impairment to Alzheimer’s disease

[J]. Neuroimage, 2019, 189: 276-287.

DOI:10.1016/j.neuroimage.2019.01.031 URL [本文引用: 2]

[44]

AMIEVA

, OUVRARD

, GIULIOLI

, et al.

Self-reported hearing loss, hearing aids, and cognitive decline in elderly adults: A 25-year study

[J]. J Am Geriatr Soc, 2015, 63(10): 2099-2104.

DOI:10.1111/jgs.13649 PMID:26480972 [本文引用: 1]

To investigate the association between hearing loss, hearing aid use, and cognitive decline.Prospective population-based study.Data gathered from the Personnes Agées QUID study, a cohort study begun in 1989-90.Individuals aged 65 and older (N = 3,670).At baseline, hearing loss was determined using a questionnaire assessing self-perceived hearing loss; 137 subjects reported major hearing loss, 1,139 reported moderate problems (difficulty following the conversation when several persons talk at the same time or in a noisy background), and 2,394 reported no hearing trouble. Cognitive decline was measured using the Mini-Mental State Examination (MMSE), administered at follow-up visits over 25 years.Self-reported hearing loss was significantly associated with lower baseline MMSE score (β = -0.69, P <.001) and greater decline during the 25-year follow-up period (β = -0.04, P =.01) independent of age, sex, and education. A difference in the rate of change in MMSE score over the 25-year follow-up was observed between participants with hearing loss not using hearing aids and controls (β = -0.06, P <.001). In contrast, subjects with hearing loss using a hearing aid had no difference in cognitive decline (β = 0.07, P =.08) from controls.Self-reported hearing loss is associated with accelerated cognitive decline in older adults; hearing aid use attenuates such decline.© 2015, Copyright the Authors Journal compilation © 2015, The American Geriatrics Society.

[45]

SARATXAGA

C L

, MOYA

, PICON

, et al.

MRI deep learning-based solution for Alzheimer’s disease prediction

[J]. J Pers Med, 2021, 11(9): 902.

DOI:10.3390/jpm11090902 URL [本文引用: 1]

Background: Alzheimer’s is a degenerative dementing disorder that starts with a mild memory impairment and progresses to a total loss of mental and physical faculties. The sooner the diagnosis is made, the better for the patient, as preventive actions and treatment can be started. Although tests such as the Mini-Mental State Tests Examination are usually used for early identification, diagnosis relies on magnetic resonance imaging (MRI) brain analysis. Methods: Public initiatives such as the OASIS (Open Access Series of Imaging Studies) collection provide neuroimaging datasets openly available for research purposes. In this work, a new method based on deep learning and image processing techniques for MRI-based Alzheimer’s diagnosis is proposed and compared with previous literature works. Results: Our method achieves a balance accuracy (BAC) up to 0.93 for image-based automated diagnosis of the disease, and a BAC of 0.88 for the establishment of the disease stage (healthy tissue, very mild and severe stage). Conclusions: Results obtained surpassed the state-of-the-art proposals using the OASIS collection. This demonstrates that deep learning-based strategies are an effective tool for building a robust solution for Alzheimer’s-assisted diagnosis based on MRI data.

[46]

ZENG

N Y

, LI

, PENG

Y H

A new deep belief network-based multi-task learning for diagnosis of Alzheimer’s disease

[J]. Neural Comput Appl, 2021, 10.1007/s00521-021-06149-6.