基于模糊标签和深度学习的TOF-MRA影像脑动脉瘤自动检测
Automatic Detection for Cerebral Aneurysms in TOF-MRA Images Based on Fuzzy Label and Deep Learning
通讯作者: 鲍奕仿, Tel: 13918182727, E-mail:bao_yifang@163.com戴亚康, Tel: 15850168495, E-mail:daiyk@sibet.ac.cn
收稿日期: 2022-05-24
基金资助: |
|
Received: 2022-05-24
脑动脉瘤破裂造成的蛛网膜下腔出血致死致残率极高,借助深度学习网络辅助医生实现高效筛查具有重要意义.为提高基于时间飞跃法磁共振血管造影(Time of Flight-Magnetic Resonance Angiography,TOF-MRA)的脑动脉瘤自动检测的精度,本文基于模糊标签方式,提出一种基于变体3D U-Net和双分支通道注意力(Dual-branch Channel Attention,DCA)的深度神经网络DCAU-Net,DCA模块可以自适应地调整通道特征的响应,提高特征提取能力.首先对260例病例的TOF-MRA影像预处理,将数据集分为174例训练集、43例验证集和43例测试集,然后使用处理后的数据训练和验证DCAU-Net,测试集实验结果表明DCAU-Net可以达到90.69%的敏感度,0.83个/例的假阳性计数和0.52的阳性预测值,有望为动脉瘤筛查提供参考.
关键词:
Subarachnoid hemorrhage caused by the rupture of cerebral aneurysms is extremely fatal and disabling. It’s imperative for radiologists to achieve efficient screening with the help of deep learning-based models. To improve the detection sensitivity of time of flight-magnetic resonance angiography (TOF-MRA) images, this study proposed a neural network named DCAU-Net which is based on fuzzy labels, 3D U-Net variant, and dual-branch channel attention (DCA), and able to adaptively adjust the response of channel features to improve feature extraction capability. First, TOF-MRA images from 260 subjects were preprocessed, and the data were split into the training set (N=174), validation set (N=43) and testing set (N=43). Then the preprocessed data were used for training and validating DCAU-Net. The results show that DCAU-Net scores 90.69% of sensitivity, 0.83 per case of false positive count and 0.52 of positive predicted value in the testing set, providing a promising tool for detecting cerebral aneurysms.
Keywords:
本文引用格式
陈萌, 耿辰, 李郁欣, 耿道颖, 鲍奕仿, 戴亚康.
CHEN Meng.
引 言
医学影像是医师进行筛查、诊疗、评估的关键工具,在诊疗过程中有着不容小觑的作用[7].目前,临床对脑动脉瘤的诊断以数字减影血管造影(Digital Subtraction Angiography,DSA)为“金标准”,但DSA的有创、患者易对造影剂过敏、耗时长和检查费用高等缺点限制了其在临床的广泛应用.最近数年,随着计算机断层扫描血管造影(Computed Tomography Angiography,CTA)和磁共振血管造影(Magnetic Resonance Angiography,MRA)技术的发展和完善,以上两种方法对脑动脉瘤的诊断准确率几乎一致并且已接近DSA[8],在脑动脉瘤筛查的影响也逐年扩大.其中,时间飞跃法磁共振血管造影(Time of Flight-Magnetic Resonance Angiography,TOF-MRA)无创并且无需造影剂,同时还具有血管显示清晰、操作容易、图像稳定的优点[9],因此成为常规体格检查、门诊筛查过程中最为常用的影像模态之一,同时三维影像与二维影像相比,具有更丰富的信息[10].
虽然血管造影技术在不断发展,但是由于动脉瘤形状大小不一,且位于形态复杂的颅内血管上,动脉瘤的人工筛查依旧耗时耗力.随着深度学习技术的发展,基于深度神经网络的方法可以实现脑动脉瘤的自动检测,从而辅助医生筛查,提高诊断效率.Nakao等[11]基于卷积神经网络(Convolutional Neural Network,CNN)和最大密度投影(Maximum Intensity Projection,MIP)[12]率先研发出一套检测脑动脉瘤的计算机辅助诊断系统,他们将图像九个方向的MIP图像进行拼接输入CNN,经测试,该模型达到了70%的敏感度和0.26个/例的假阳性计数,但模型很难区分与动脉瘤相似的血管堆叠区域,忽略了三维影像的空间、通道特征;Ueda等[13]基于ResNet-18[14]提出自动检测模型,将包含动脉瘤的血管在内的多种血管畸形输入网络进行训练,克服了模型误判的问题,最终获得了92.5%的敏感度和9个/例的假阳性计数,但假阳性过高,无法达到临床应用水平;Sichtermann等[15]使用DeepMedic[16]检测动脉瘤,他们的工作侧重于对比不同的数据预处理方式,最终模型在17例测试集上获得了90%的敏感度;Geng等[17]对3D U-Net[18]进行优化,将血管分割后的图像输入到模型中,在35例测试集上获得了82.9%的敏感度和0.86个/例的假阳性计数,敏感度仍待提高.综上所述,由于动脉瘤在脑部影像中的占比较小,容易和血管堆叠区域混淆,如何辅助医生实现自动检测目前仍具有挑战性.
本研究基于模糊标签的方式,医生标注时仅需涂鸦式标注动脉瘤的大致区域,而不需要进行体素级别的标注,极大提高了标注的效率.同时提出一种基于变体3D U-Net[18]和双分支通道注意力(Dual-branch Channel Attention,DCA)模块的深度神经网络DCAU-Net,实现3D TOF-MRA影像中的脑动脉瘤的自动检测.DCA模块可以在模型训练时自适应地赋予特征通道权值,促使网络关注那些对描述动脉瘤区域有意义的通道特征.
1 实验部分
1.1 数据集
本研究的实验数据来源于复旦大学附属华山医院,入组标准为:(1)患有囊状、未破裂脑动脉瘤的患者:(2)术前影像扫描包含3D TOF-MRA;(3)无严重运动伪影.在2014年3月至2021年3月采集的患者3D TOF-MRA影像,符合上述入组条件的病例共有260例,数据的人工标注由三位低年资医师和一位高年资医师完成.本研究使用的数据均来源于临床常规工作,同时本回顾性研究已获得合作医院机构伦理委员会的批准.本研究选取43例病例的数据作为测试集,剩余217例病例的数据按4:1的比例划分成训练集和验证集,如表1所示.训练集174名患者共有182个动脉瘤,平均最大径为5.48±3.29 mm,其中8名患者有双发动脉瘤;验证集中43名患者共有46个动脉瘤,平均最大径为5.42±3.25 mm,其中1名患者有双发动脉瘤,1名患有三发动脉瘤;测试集中43名患者共有46个动脉瘤,平均最大径为5.48±3.82 mm,其中3位患者有双发动脉瘤.所有数据集的动脉瘤区域分布中,颈内动脉区的动脉瘤占比最多;椎动脉区的动脉瘤占比最少,其中测试集中没有椎动脉区动脉瘤.数据集中有18%的1.5 T影像和82%的3 T影像,分别在GE Discovery MR750和Siemens Verio两种仪器上进行采集,表2详细展示了不同仪器在采集不同场强数据时使用的参数.
表1 患者信息表
Table 1
特征 | 训练集 | 验证集 | 测试集 |
患者数量 | 174 | 43 | 43 |
年龄/岁 | 61±12 | 62±10 | 58±14 |
男性数量/女性数量 | 73/101 | 16/27 | 14/29 |
动脉瘤最大径/mm | 5.48±3.29 | 5.42±3.25 | 5.48±3.82 |
动脉瘤总数量 | 182 | 46 | 46 |
颈内动脉区动脉瘤数量 | 100 | 25 | 32 |
大脑中动脉区动脉瘤数量 | 26 | 10 | 4 |
大脑前动脉区动脉瘤数量 | 30 | 6 | 7 |
大脑后动脉区动脉瘤数量 | 17 | 1 | 0 |
基底动脉区动脉瘤数量 | 5 | 3 | 3 |
椎动脉区动脉瘤数量 | 4 | 1 | 0 |
表2 数据采集参数表
Table 2
仪器 | 场强 | 重复时间/回波时间 | 视野百分比相位 | 采集矩阵 | 翻转角 | 层厚 |
Siemens | 3 T | 21 ms/3.69 ms | 58%~90% | (256~384) × (197~331) | 18˚~25˚ | 0.5~1 mm |
GE | 1.5 T | 33 ms/6.3 ms | 75%~100% | (288~384) × 192/195 | 20˚ | 1.2~1.6 mm |
3 T | 25 ms/3.4 ms | 70%~94% | (320~384) × 192 | 15˚ | 1~2.4 mm |
1.2 数据处理
本文提出了一个脑动脉瘤自动检测模型DCAU-Net,该方法的流程如图1所示,输入图像后进行数据预处理和模糊标签,接着划分数据集,得到训练集、验证集和测试集,接着对训练集进行数据扩增,训练DCAU-Net得到最佳模型后在测试集上进行测试,输出检测结果.
图1
1.2.1 数据预处理
数据预处理的目的是尽可能保证数据的特征分布一致,以提高图像的质量,本研究进行数据预处理时,有如图2所示的三个操作:
图2
(1)N4场强校正[19].本研究使用N4场强校正使图像的灰度分布均衡.
(2)图像标准化.由于采用不同的仪器采集数据,患者之间的图像灰度分布范围存在差异,本研究使用标准化的方法将所有图像的灰度值标准化至[0, 1 024]之间.
(3)血管提取[17].本研究采用包围盒自动选取种子点,区域自适应生长的方式提取标准化后图像中的血管.
此外,为了保证网络训练过程中有足够的数据,本研究对训练集进行了数据扩增,通过翻转、离散高斯滤波和直方图均衡化将训练集扩增为原来的8倍.具体地讲,先使用翻转将原始训练集扩增为原来的2倍;然后使用离散高斯滤波对原始训练集和翻转后数据进行扩增,此时数据量为原始训练集的4倍;最后使用直方图均衡化对现有的全部数据进行扩增,此时数据量为原始训练集的8倍.
1.2.2 模糊标签
医学图像的标注依赖于医生的专业知识和临床经验,本研究使用患者的3D TOF-MRA影像,三维影像的体素数量大,医生进行体素级别的标注过程耗时耗力,因此本研究采用了模糊标签的方法,根据原始标注的动脉瘤(label=1,即掩膜图像中值为1的区域)大小进行不同尺度的膨胀,因而医生仅需涂鸦式的标出动脉瘤的大致区域.具体来说,本研究统计了数据原始标注的边界体素坐标,计算所有边界坐标之间的欧式距离并取最大值,然后以原始标注的质心为原点,最大欧氏距离为直径膨胀原始标注,膨胀后的球体可以将原始标注完全包括在内,其示意图如图3所示,红色代表原始标签,黄色为膨胀后的标签.
图3
1.2.3 DCAU-Net网络
本研究提出的DCAU-Net的具体结构如图4所示.在编码路径,除输入层是3×3×3大小、步长为1的卷积操作,每一层都由3×3×3大小、步长为2的卷积块和信息模块组成,其中信息模块是由两层3×3×3大小、步长为2的卷积层构成,同时设置了丢弃概率为0.3的dropout层,并且在卷积块和信息模块间嵌入了残差连接以减少特征的损失;除此之外,本文在步长为2的卷积块后依次插入一个DCA模块.在解码路径,除输出层是3×3×3大小、步长为1的卷积操作以外,其他每一层由局部化模块和上采样模块组成,局部化模块包括3×3×3大小、步长为1的卷积层和1×1×1大小的卷积层,其输入是由上采样和编码路径的信息模块输出按位相乘的结果,同时在倒数两层局部化模块以及最后一次卷积块后加入分割层补充上采样过程中造成的特征损失,最终的输出是由三层分割层输出相加后经过激活层,得到预测结果.
图4
动脉瘤往往在TOF-MRA影像中占比很小,随着神经网络深度的加深,能够表达动脉瘤区域的特征会随着卷积次数的增多而减少甚至消失.为了保留这些对描述动脉瘤有意义的特征,本研究在网络中加入了DCA模块,该模块可以在网络训练过程中给输入特征自适应地赋予权值,促使网络关注具有丰富表达意义的特征,增强网络的特征表达能力.DCA模块的结构如图5所示,原尺寸为W×H×D×C(W为宽度,H为高度,D为深度,C为通道数)的特征图输入基于通道注意力原理提出的DCA模块中,经过图中分支①,由于脑动脉瘤在影像中往往表现为高信号区域,因此脑动脉瘤的信息在特征图中常表现为最大值,通过全局最大池化和卷积操作将特征图压缩成1×1×1×C大小,可以更好地保留描述动脉瘤区域有意义的信息;同时由于部分血管弯曲或堆叠的区域有时也会呈现高信号,经过图中分支②能够提取更完整的全局信息,减少模型对血管堆叠或弯曲区域的误判,首先通过卷积核大小为1×1×1的卷积操作,压缩通道得到尺寸为W×H×D×1的新特征图后对输入的高度、宽度、深度三个维度进行展平和置换操作,得到尺寸为1×WHD的特征图,同时将原输入特征的维度展平得到WHD×C的特征图,将维度展平后的两者进行点乘和扩张操作,得到尺寸为1×1×1×C的全局特征图;接着将分支①与分支②输出的特征图相加,接着通过卷积操作和激活函数给每一个通道都生成对应权重,权重的取值范围在0~1之间;最后,通过将DCA生成的特征图叠加到输入特征图上得到输出特征,以达到提高模型特征表达能力的效果.
图5
图5
双分支通道注意力(DCA)模块结构
Fig.5
The architecture of dual-branch channel attention (DCA) module
1.3 模型评估
使用以下的指标来评估分割性能:敏感度(Sensitivity)、假阳性计数(False Positive count,FP count)、阳性预测值(Positive Predicted Value,PPV),这些指标的计算方式如(1)~(3)式所示,其中TP(True Positive)表示被正确分为动脉瘤的区域数量,FN(False Negative)表示动脉瘤区域被错误分为血管区域的数量,FP(False Positive)表示被错误分为动脉瘤的血管区域的数量,Number of subjects表示受试者数目.敏感度能够有效反映检测结果对目标区域的敏感程度;假阳性计数能评估平均每例数据的假阳性数量,小于3个/例模型则被认为具有临床应用潜力;PPV能得到真实目标区域在检测出的阳性区域的比例.
1.4 训练参数
2 结果与讨论
2.1 基于DCAU-Net的脑动脉瘤自动检测
本研究使用43例外部测试集对训练好的模型进行评估,DCAU-Net在Sensitivity、FP count、 PPV三个指标上分别为90.69%,0.83个/例,0.52.根据检测结果可以发现,本文提出的模型检测出了大部分的脑动脉瘤,图6展示了4例模型预测结果,红色箭头指向动脉瘤区域,黄色区域代表膨胀标签,红色区域代表模型预测结果.
图6
图6
DCAU-Net检测到的4例动脉瘤数据可视化图. 第一行展示了检测结果和标签叠加在原图的效果图,第二行展示了动脉瘤区域的局部放大效果图
Fig.6
The visualizations of 4 aneurysms detected by DCAU-Net. The first row shows the images of detection results and labels superimposed on the initial images, the second row shows the partial zoom of the aneurysm areas
其中颈内动脉区检测到了94%的动脉瘤(30/32,检测到的动脉瘤数量/动脉瘤总数);大脑中动脉区检测到了75%的动脉瘤(3/4);大脑前动脉区检测到了86%的动脉瘤(6/7),基底动脉区检测到了100%的动脉瘤(3/3).在未检测到的4例动脉瘤中,动脉瘤的最大径范围为2.53~6.45 mm,其中两例的位置为颈内动脉区,剩余两例的位置分别为大脑中动脉区和大脑前动脉区.将未检测到的数据进行可视化的结果如图7所示,图中箭头和圆圈均指示脑动脉瘤区域.从左至右分别是双发颈内动脉区动脉瘤、单发颈内动脉区动脉瘤、单发大脑中动脉区动脉瘤以及大脑前动脉区动脉瘤.其中双发动脉瘤仅检测出单个动脉瘤,考虑到本研究使用数据中患有多发动脉瘤的病人较少,网络在训练过程中可能会因为数据的不均衡性而发生漏检的情况;其余三例单发动脉瘤均表现为假阳性,观察预测结果和标签三维重建后的结果,发现假阳性区域往往表现为血管弯曲或凸起的高信号区域.
图7
图7
DCAU-Net未检测到的4例动脉瘤数据的可视化图. 第一行展示了原始影像,第二行展示了局部放大的动脉瘤区域,第三行展示了三维重建后的局部图像
Fig.7
The visualizations of 4 aneurysms missed by DCAU-Net. The first row shows the initial images, the second row shows the partial zoom of the aneurysm areas, and the third row shows the partial images after 3D reconstruction
2.2 与其他方法的对比
在相同的实验数据和硬件环境下,本研究对比了DCAU-Net与现有的动脉瘤检测算法[14,15,17] (训练参数参考原文献)的性能,绘制了不同模型的自由响应接收者操作特征(Free-Response Receiver Operating Characteristic,FROC)[22]曲线,FROC曲线如图8所示,横轴代表假阳性计数,纵轴代表敏感度,目的是通过对比模型激活层在不同的输出阈值下,讨论模型的敏感度和假阳性计数,图8每幅子图中曲线收敛的第一个点的坐标代表了最佳阈值下模型的敏感度和假阳性计数.在最佳阈值下,所有模型在测试集上的结果如表3所示.可以看出,与本研究提出的DCAU-Net在敏感度上表现最好(90.69%),与ResNet-18(51.16%)、DeepMedic(86.04%)、3D U-Net(81.39%)相比,分别增加了39.53%、4.65%、9.30%;在假阳性计数这一指标上,DCAU-Net的结果(0.83个/例)略高于ResNet-18(0.57个/例),这是由于后者漏检的动脉瘤数目较多,DeepMedic的假阳性计数最高,达3.40个/例,由于临床经验认为患者的动脉瘤数目最多不超过三发,因此高于3个/例假阳性计数的模型应用价值较低;在阳性预测值指标上,DCAU-Net同样表现最好(0.52),与ResNet-18(0.44)、DeepMedic(0.21)、3D U-Net(0.39)相比,分别提高了0.08、0.32、0.13.综合比较三项指标,本研究认为DCAU-Net的检测性能最好.
图8
图8
DCAU-Net与其他模型的自由响应接收者操作特征(FROC)曲线
Fig.8
The FROC curves of DCAU-Net and other models
表3 本文方法与现有方法在测试集的结果对比
Table 3
2.3 讨论
本文提出了一种用于自动检测3D TOF-MRA影像中脑动脉瘤的深度学习模型,在数据预处理阶段采用了模糊标签的方式来提高医生标注的效率,搭建深度学习模型DCAU-Net时,设计了DCA模块插入骨干网络3D U-Net中,模型经训练后在独立外部测试集上进行测试与评估.
测试集的结果表明,DCAU-Net可以检测到大部分动脉瘤,但是漏检了颈内动脉区双发动脉瘤的一例,同时大脑中动脉区和大脑前动脉区的单发动脉瘤未完全检测到.针对颈内动脉区双发动脉瘤漏检的情况,本研究统计发现,颈内动脉区单发动脉瘤数目的占比为全部颈内动脉区动脉瘤的87.5%(28/32),因此在网络训练时可能因为颈内动脉区单发动脉瘤过多,导致模型预测时忽略了多发动脉瘤的可能性;而大脑中动脉区和大脑前动脉区的单发动脉瘤数目较少,模型也可能因为数据的不均衡性,在对这些区域进行检测时表现不好,因此在后续的研究工作中会研究数据分布的均衡性,尝试采用例如按不同区域进行数据扩增的手段来均衡数据分布.
进一步分析DCA模块对网络检测性能的影响,发现使用DCA模块的网络与未使用DCA模块的骨干网络相比,敏感度提高了9.30%,假阳性计数降低了0.26个/例,PPV提高了0.13,特别在敏感度这一指标上,DCAU-Net检测出了大部分的动脉瘤,分析得出DCA模块在网络学习特征的过程中,促使网络关注那些对描述脑动脉瘤区域有着重要意义的特征通道,增强了网络特征表达的能力.同时假阳性计数也有所下降,假阳性计数越低,模型应用于临床辅助医生筛查的可能性和潜力越高.PPV作为反映真阳性数目在所有阳性数目中比值的指标,该项指标的提升可以辅助证明模型能够有效降低假阳性.
3 结论
本研究提出了一种针对3D TOF-MRA影像中脑动脉瘤自动检测的深度学习模型DCAU-Net,该模型基于模糊标签的方式大大提高了医生标注数据的效率,同时引入了DCA模块和3D U-Net变体,DCA模块可以自适应调整通道特征响应,加强模型的特征提取能力.在43名病例测试集上的测试结果表明,DCAU-Net可以达到90.69%的敏感度,0.83个/例的假阳性计数和0.52的PPV.因此,DCAU-Net可以被认为具有临床应用的潜力,有望辅助医生进行快速诊断.
无
参考文献
Aneurysmal subarachnoid hemorrhage
[J].,DOI:10.1056/NEJMra052732 [本文引用: 1]
Long-term insulin glargine therapy in type 2 diabetes mellitus: a focus on cardiovascular outcomes
[J].,
Small unruptured intracranial aneurysm verification study: SUAVe study, Japan
[J].,DOI:10.1161/STROKEAHA.110.585059 [本文引用: 1]
基于MRI和深度学习的桥小脑角区脑膜瘤与听神经瘤分类算法研究
[J].,
A deep learning algorithm for classifying meningioma and auditory neuroma in the cerebellopontine angle from magnetic resonance images
[J].
Diagnosing intracranial aneurysms with MR angiography: systematic review and meta-analysis
[J].,DOI:10.1161/STROKEAHA.113.003133 [本文引用: 1]
Intracranial MRA: single volume vs. multiple thin slab 3D time-of-flight acquisition
[J].,DOI:10.1097/00004728-199301000-00002 [本文引用: 1]
基于多输出的3D卷积神经网络诊断阿尔兹海默病
[J].,
Diagnosis of Alzheimer’s disease based on multi-output three-dimensional convolutional neural network
[J].
Deep neural network-based computer-assisted detection of cerebral aneurysms in MR angiography
[J]. ,DOI:10.1002/jmri.25842 [本文引用: 1]
Can maximum intensity projection images with multidetector-row computed tomography help to differentiate between the micronodular distribution of focal and diffuse infiltrative lung diseases?
[J].,DOI:10.1097/01.rct.0000175710.98923.a2 [本文引用: 1]
Deep learning for MR angiography: Automated detection of cerebral aneurysms
[J].,DOI:10.1148/radiol.2018180901 [本文引用: 1]
Deep learning-based detection of intracranial aneurysms in 3D TOF-MRA
[J].,DOI:10.3174/ajnr.A5911 [本文引用: 3]
Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
[J]. ,DOI:10.1016/j.media.2016.10.004 [本文引用: 1]
Automated computer-assisted detection system for cerebral aneurysms in time-of-flight magnetic resonance angiography using fully convolutional network
[J]. ,DOI:10.1186/s12938-020-00770-7 [本文引用: 4]
Imaging patterns predict patient survival and molecular subtype in glioblastoma via machine learning techniques
[J].,
Operating characteristics, signal detectability, and the method of free response
[J].,DOI:10.1121/1.1908935 [本文引用: 1]
/
〈 | 〉 |