波谱学杂志, 2021, 38(3): 381-391 doi: 10.11938/cjmr20212881

研究论文

基于Faster-RCNN和Level-Set的桥小脑角区肿瘤自动精准分割

刘颖,, 郭伊云, 陈静聪, 章浩伟

上海理工大学 医疗器械与食品学院, 医学影像工程研究所, 上海 200093

Automatic Precise Segmentation of Cerebellopontine Angle Tumor Based on Faster-RCNN and Level-Set Method

LIU Ying,, GUO Yi-yun, CHEN Jing-cong, ZHANG Hao-wei

Institute of Medical Imaging Engineering, School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

通讯作者: 刘颖, Tel:18602168660, E-mail:ling2431@163.com

收稿日期: 2021-01-7  

基金资助: 微创励志创新基金资助项目.  193832381

Received: 2021-01-7  

摘要

桥小脑角区(CPA)肿瘤的精准分割在手术治疗、放疗中有重要影响,本文结合更快速区域卷积神经网络(Faster-RCNN)和水平集(Level-Set)方法对CPA肿瘤的自动分割进行了研究.首先,采集317名CPA肿瘤患者的T1WI-SE序列磁共振图像,使用基于Faster-RCNN主干网络VGG16提取特征,结合区域建议网络(RPN)进行学习训练,建立带有CPA肿瘤位置信息的定位模型,再应用Level-Set对肿瘤进行精准分割.本文对比了不同CPA肿瘤区域勾画范围对分割结果产生的影响,并以精确率、召回率、均值平均精度值(mAP)和戴斯系数(Dice系数)等指标评估了模型定位和分割的性能.实验结果表明,结合Faster-RCNN和Level-Set建立的模型能更有效对CPA肿瘤进行精准分割,减轻临床医生的负担,并提升治疗效果.

关键词: 更快速区域卷积神经网络(Faster-RCNN) ; 水平集(Level-Set) ; 图像分割 ; 桥小脑角区肿瘤

Abstract

To meet the demands in surgical treatment and radiotherapy, this work combines the faster region convolutional neural network (Faster-RCNN) and Level-Set methods to segment cerebellopontine angle (CPA) tumors automatically and precisely. T1WI-SE magnetic resonance images from 317 CPA tumor patients were collected. Features extracted by VGG16 were combined with the region proposal network (RPN) for training. A CPA tumor localization model was then established, before the Level-Set method was applied to accurately segment the tumor. The segmentation results of different CPA tumor regions were compared in terms of precision, recall, mean average precision (mAP) and Dice coefficient. The results showed that the method proposed can effectively and precisely segment CPA tumors, thereby capable of reducing the burden on clinicians and improving the treatment effect.

Keywords: faster region convolutional neural network (Faster-RCNN) ; Level-Set ; image segmentation ; cerebellopontine angle tumor

PDF (952KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

刘颖, 郭伊云, 陈静聪, 章浩伟. 基于Faster-RCNN和Level-Set的桥小脑角区肿瘤自动精准分割. 波谱学杂志[J], 2021, 38(3): 381-391 doi:10.11938/cjmr20212881

LIU Ying. Automatic Precise Segmentation of Cerebellopontine Angle Tumor Based on Faster-RCNN and Level-Set Method. Chinese Journal of Magnetic Resonance[J], 2021, 38(3): 381-391 doi:10.11938/cjmr20212881

引言

对病灶的精准分割是医学图像研究领域的关键之一,本文主要研究桥小脑角区(cerebellopontine angle,CPA)的肿瘤分割.CPA是中枢神经系统肿瘤的好发部位之一,约占颅内占位性病变的6%~10%[1].CPA肿瘤包括听神经瘤、脑膜瘤、胆脂瘤、神经鞘瘤、血管性病变瘤等等,其中听神经瘤和脑膜瘤是最为常见的两种CPA肿瘤.听神经瘤起源于听神经前庭,约占CPA肿瘤的85%,占颅内肿瘤的6%[2].脑膜瘤为颅内常见的肿瘤之一,约占颅内原发性肿瘤的15%~20%[3].目前治疗CPA肿瘤的方法主要包括手术疗法、放射治疗、化疗.而在手术切除和放疗过程中,CPA肿瘤位置和轮廓的确定对手术和放疗的成功与否都影响极大.由于不同器官对放疗处方剂量的耐受度不同,因此器官分割的精准性将直接影响放疗计划设计和放疗疗效[4].

磁共振成像(magnetic resonance imaging,MRI)作为一种非倾入性的成像方法,具有良好的软组织对比度,且无放射线损害,适合用于临床脑部病变检查[5].已有多种方法被应用于磁共振图像分割.王长福等[6]提出了一种结合多模态MRI和电子计算机断层扫描(computed tomography,CT)-MRI图像融合的技术,用来对颅脑恶性肿瘤进行勾画,而这种方法主要还是依赖于医生的勾画,而且对图像分割来说过于单一.Zikic等[7]于2014年提出将卷积神经网络(convolutional neural network,CNN)应用到基于磁共振图像的脑肿瘤分割,他们采用了Jia等[8]提出的CNN网络,并将其改为五层网络结构,在BraTS 2013挑战的数据集上取得了一定效果,分割准确率达到83.7%±9.4%,说明将CNN应用于磁共振图像分割是可行的.Iqbal等[9]于2018年提出了一种基于CNN的多尺度脑肿瘤磁共振图像分割方法,他们使用了包括跳跃路由网络(SkipNet)、插值卷积网络(IntNet)、压缩激励网络(SENet)三种不同的网络结构,也取得了一定的效果,证明神经网络可应用于磁共振图像分割.Ezhilarasi等[10]于2018年提出了基于更快速区域卷积神经网络(faster region convolutional neural network,Faster-RCNN)的脑肿瘤检测方法,但是他们只实现了脑肿瘤的定位与良恶性判别,有一定的局限性.杨新焕等[11]于2020年通过结合MRI多模态信息和二维CNN对脑肿瘤的分割准确率为83.67%,结合MRI多模态信息和三维CNN对脑肿瘤分割的准确率为88.26%.Thillaikkarasi等[12]于2019年提出了一种利用支持向量机提取特征,再使用CNN分割的脑肿瘤分割算法,准确率达到了84%.Iqbal等[13]于2019年使用长短期记忆网络(long short-term memory,LSTM)分割脑肿瘤的准确率为75%,使用CNN分割的准确率为80%,而将LSTM和CNN结合起来的分割准确率为82.29%.

基于偏微分方程(partial different equation,PDE)的模型也可用于图像分割.Snake模型是Kass等[14]于1987年提出的一种可变的基于主动轮廓线的最小化能量泛函的模型.Chan等[15]于2001年提出了基于水平集(Level-Set)的区域活动轮廓模型.可变区域拟合(region scalable fitting,RSF)是Li等[16]于2008年提出的一种新的轮廓模型,该模型利用局部灰度信息来构建能量泛函,以解决图像灰度不均匀的问题,而RSF模型对图像噪声和轮廓线的初始位置比较敏感[17],因此获取磁共振图像中病灶的位置信息就显得尤为关键.元昌安等[18]于2017年将RSF模型应用于医学图像分割,石沁祎等[19]于2020年将水平集运用于牙齿牙槽骨图像分割,都取得了不错的效果.由此可见,将水平集方法应用在医学图像分割上也是可行的.

Faster-RCNN是一种可以对目标进行检测的定位网络,但不能对图像进行实例分割.而Level-Set方法对初始轮廓较为敏感.Zhang等[20]于2018年将Faster-RCNN和Level-Set二者结合起来用于眼底图像的分割.左俊皓等[21]于2019年将Faster-RCNN和Level-Set结合起来运用在了遥感领域,实现了对建筑物模型的提取.本文探索了二者的结合用于CPA肿瘤图像分割的可行性,使用Faster-RCNN可以进行回归定位的特性来弥补Level-Set方法依赖初始轮廓的不足,使用Level-Set方法来弥补Faster-RCNN只能进行回归定位的不足,提出了一种结合Faster-RCNN和Level-Set对CPA肿瘤先定位再进行精确分割的方法,同时对比了CPA肿瘤勾画区域扩大前后的肿瘤分割效果,未来有望在临床上协助医生进行诊断和治疗.

1 实验部分

1.1 实验数据

研究对象为2015年1月~2016年12月在上海市华山医院经过专家诊断为患有CPA肿瘤,并申请脑部MRI扫描的患者,且患者都已经签署了知情同意书.扫描的设备为GE Signa HDxt 1.5T MRI扫描仪,该设备可以采集多种序列的磁共振图像,但相较其他序列,T1WI-SE序列能更好的将病灶及其周围相接壤的组织进行区分,因此本文采用T1WI-SE序列.扫描参数如下:层厚为2 mm,层间隔为2 mm,回波时间(echo time,TE)= 8 ms,采集矩阵(acquisition matrix)为256×256,重复时间(repetition time,TR)= 580 ms.CPA肿瘤的外部轮廓在磁共振图像上较为相似,经筛选后,本文一共选取了377张CPA肿瘤的磁共振图像,其中训练集、验证集与测试集的比例为6:2:2.

1.2 实验流程

本文对377张CPA肿瘤图像进行数据预处理,并把所有的DICOM图像转换成JPEG图像,使用自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)方法对灰度较暗的肿瘤图像进行均衡化,再分别使用图像标注工具labelImg和labelme对病灶的位置和轮廓进行手动勾画,生成标签文件(VOC格式的xml文件和COCO格式的json文件).然后再输入到Faster-RCNN定位网络中,使用视觉几何群网络(visual geometry group network,VGG)-VGG16进行特征提取,接着由区域建议网络(region proposal network,RPN)网络对图像位置回归,输出CPA肿瘤的精确位置,并通过精确率、召回率、平均精确值(mean average precision,mAP)来衡量定位模型.结合Faster-RCNN定位模型给出的病灶的位置使用Level-Set模型进行迭代,最终能得到对CPA肿瘤的精确分割,衡量指标为戴斯系数(Dice).实验流程如图 1所示.

图1

图1   本文的实验流程

Fig.1   The experimental process in this research


1.3 数据预处理与数据集构建

1.3.1 数据预处理

磁共振图像往往会出现灰度、对比度不均匀的情况,这会影响到基于该图像的诊断结果的准确性.针对这种图像,必须进行图像增强,调整该图像的对比度和灰度的分布,以便使病灶区域的纹理特征更为清晰.本文使用对比度受限的CLAHE算法对磁共振图像进行预处理.CLAHE算法对噪声敏感度较小,可以增强图像对比度,使局部细节更加清晰、图像更平滑,从而使CPA肿瘤病灶区域更加明显[22].增强前后的对比图如图 2所示.

图2

图2   (a) 预处理前的磁共振图像(左)及其灰度直方图(右);(b)经CLAHE预处理后的图像(左)及其灰度直方图(右)

Fig.2   (a) The magnetic resonance image before pre-processing (left) and its gray histogram (right); (b) The magnetic resonance image after CLAHE algorithm pre-processing and its gray histogram (right)


1.3.2 图像勾画

在目标检测任务中,对图像的原始勾画往往决定了该任务的走向.本实验虽然是分割任务,但是仍需进行图像勾画.

首先使用目标检测图像勾画工具labelImg对经过CLAHE算法预处理的图片进行手动勾画,将CPA肿瘤都勾画为target.该工具不仅会生成在原始图像目标位置的勾画信息以及对应的xml文件,并且会生成符合PASCAL VOC格式的VOC数据集.这部分数据集将会用来训练模型.

然后,使用另一个可以更加精准勾画磁共振图像中病灶轮廓的工具labelme对CPA肿瘤进行勾画,并将其勾画为target.与labelImg不同的是,labelme更为关注的是病灶的轮廓信息,因此该工具会生成在原始图像病灶轮廓边界坐标已经对应的json文件,并且会生成符合Microsoft COCO格式的COCO数据集,如图 3所示.

图3

图3   (a) 符合COCO格式的轮廓勾画图;(b) 符合VOC格式的位置图

Fig.3   (a) COCO format image; (b) VOC format image


1.4 Faster-RCNN定位模型

Faster-RCNN是Ren等[23]于2015年基于Fast-RCNN提出的一个目标检测算法.本文采用VGG16作为Faster-RCNN的主干网络结构,并且前13层会对输入图像进行一系列的卷积(Cov)、ReLu激活和池化(pooling)操作,以提取特征.经过一系列的特征提取之后的提取结果我们称之为特征图(feature map).Feature map将会输入到RPN中,然后RPN会将feature map分别传送到两个通道:其中一个通道是先生成一堆锚框(anchor box),再利用Softmax层进行判断这些锚框属于前景还是后景,即经过筛选的这些框是否具有语义;另外一个通道则是用以计算包住这些锚的框的回归偏移量.然后结合这两个通道,用来获取更为精准的候选框.而这两个通道的结果会在建议(proposal)层叠加,proposal层会结合所判断出的前景框和边框回归偏移量来获取候选框,同时剔除过小和超出图像边界的候选框.这些候选框最后会和映射到感兴趣区域池化(region of interest pooling,ROIPooling)层的feature map一起做定位框的回归,最后输出网络对目标位置的预测.Faster-RCNN的网络结构如图 4所示.

图4

图4   Faster-RCNN网络结构图

Fig.4   Network structure of Faster-RCNN


1.5 Level-Set分割模型

Level-Set方法是由Osher和Sethian[24]于1988年提出的一种依赖于时间的运动界面的水平集描述.本文定义磁共振图像空间上可以表示高维曲面函数的隐式曲线函数为水平集函数.高维水平集函数以零水平集演变至低维水平集函数,这样便可以由零水平集各点的集合来表示磁共振图像中病灶的拓扑变化.

本研究使用Level-Set模型,利用局部区域灰度来分割磁共振图像病灶.将图像空间定义为$\varOmega \subset {R^3}$R表示的像素值,R3代表彩色空间(RGB);而灰度图像为一阶,定义为$\varOmega \subset {R^1}$R1代表灰度.在图像空间$\varOmega $上定义闭合轮廓线C,定义${\lambda _{\rm{1}}} > 0$${\lambda _{\rm{2}}} > 0$$\lambda $代表权重系数,${f_{\rm{1}}}(x)$${f_{\rm{2}}}(x)$为关于像素点x在区间${\varOmega _{{\rm{ 1}}}}$${\varOmega _{{\rm{ 2}}}}$上的灰度值,$I(y)$为以x为中心区域的局部灰度(该区域则由核函数K来控制),模型的能量泛函$\varepsilon _x^{Fit}$定义为:

$\varepsilon _x^{Fit}(C, {f_{\rm{1}}}(x), {f_2}(x)) = \sum\limits_{i = 1}^2 {{\lambda _i}\int_{{\Omega _i}}^{} {{K_\delta }(x - y)|I(y) - {f_i}} (x){|^2}{\rm{d}}y} $

其中,δ为尺度参数,主要控制高斯核函数${K_\delta }$的径向作用范围;Li等[16]提出的高斯核函数${K_\sigma }$为:

${K_\sigma }(u) = \frac{1}{{{{(2{\rm{ \mathsf{ π} }})}^{\frac{n}{2}}}{\sigma ^n}}}{{\rm{e}}^{ - \frac{{|u{|^2}}}{{2{\sigma ^2}}}}}$

其中,u为自变量,当图像空间$\varOmega $上定义闭合轮廓线C正好落在轮廓线上时,能量$\varepsilon _x^{Fit}$会达到最小.于是,如何求得轮廓线便转化为如何使$\varepsilon _x^{Fit}$最小化的问题.Li等[16]指出,为使闭合轮廓线C更为平滑,定义函数:

$\varepsilon (C, {f_{\rm{1}}}(x), {f_2}(x)) = \int {\varepsilon _x^{Fit}} (C, {f_{\rm{1}}}(x), {f_2}(x)){\rm{d}}x + v|C|$

v代表的是一个惩罚系数,闭合轮廓线C上可以用水平集函数ϕ表示,定义Heaviside函数$H(\phi )$,令${M_1}(\phi ) = H(\phi )$${M_2}(\phi ) = 1 - H(\phi )$,代入(3)式中的能量泛函可得:

$\varepsilon (\phi , {f_{\rm{1}}}(x), {f_2}(x)) = \sum\limits_{i = 1}^2 {{\lambda _i}\int {\left[ {\int {{K_\sigma }} (x - y)|I(y) - {f_i}(x){|^2}{M_i}(\phi (y)){\rm{d}}y} \right]{\rm{d}}x} + v\int {|\nabla H(\phi (x))|{\rm{d}}x} } $

在(4)式中引入Heaviside函数${H_ \in }(x) = \frac{1}{2} + \frac{1}{{\rm{ \mathsf{ π} }}}\arctan \frac{x}{ \in }$$ \in $为参数)和正则项$\int {\frac{1}{2}{{(|\nabla \phi (x)| - 1)}^2}{\rm{d}}x} $,有:

$F(\phi , {f_{\rm{1}}}, {f_2}) = {\varepsilon _ \in }(\phi , {f_{\rm{1}}}, {f_2}) + \mu \int {\frac{1}{2}{{(|\nabla \phi (x)| - 1)}^2}{\rm{d}}x} $

其中μ为参数.使用梯度下降法求解如上方程,文献[16]中指出${f_{\rm{1}}}$${f_{\rm{2}}}$满足欧拉-拉格朗日方程:

$\int {{K_\sigma }(x - y)M_i^ \in (} \phi (y))(I(y) - {f_{\rm{i}}}(x)){\rm{d}}y = 0$

并通过保持${f_{\rm{1}}}$${f_{\rm{2}}}$固定,通过求解如下偏微分方程,即求解(6)式中的水平集演化方程:

$\frac{{\partial \phi }}{{\partial t}} = - {\delta _ \in }(\phi )({\lambda _1}{e_1} - {\lambda _2}{e_2}) + v{\delta _ \in }(\phi )div(\frac{{\nabla \phi }}{{|\nabla \phi |}}) + \mu \left[ {{\nabla ^2}\phi - div(\frac{{\nabla \phi }}{{|\nabla \phi |}})} \right]$

其中,${\delta _ \in }$${H_ \in }$的导数;${e_i}(x)$$\int {{K_\sigma }(y - x)|I(x) - } {f_{\rm{i}}}(y){|^2}{\rm{d}}y$$i = 1, 2$.在CPA肿瘤的磁共振图像中,梯度指向CPA肿瘤内部;而在其边缘,即边界线上,其梯度都是由内部指向外部.

1.6 评价指标

本文采用精确率(Precision)、召回率(Recall)、平均精度值(mAP)和戴斯系数(Dice)作为评价指标,如(8)~(12)式所示:

${\rm{Precision}} = \frac{{TP}}{{TP + FP}}$

${\rm{Recall}} = \frac{{TP}}{{TP + FN}}$

$AP = \frac{{\sum {{\rm{Precision}}} }}{{N({\rm{TotalImages}})}}$

$mAP = \frac{{\Sigma AP}}{{N({\rm{Classes}})}}$

$Dice = \frac{{2 \times |{\rm{mask}} \cap {\rm{prediction|}}}}{{|{\rm{mask}}| + |{\rm{prediction}}|}}$

其中,TP表示true positive,样本为正,同时检测结果为正;FP表示false positive,样本为负,但检测结果为正;TN表示true negative,样本为负,同时检测结果为负;FN表示false negative,样本为正,但检测结果为负.AP表示average precision,即在不同召回率下的最高精确率均值,mAP表示给类别的AP均值.而mask表示真值掩膜,prediction表示预测掩膜.

2 实验结果与讨论

2.1 基于Faster-RCNN和Level-Set的CPA肿瘤自动精准分割

本文实验平台为Windows 10专业版(版本号2004),并且基于Intel(R) Core(TM) i7-9700K和NVIDIA RTX 2070s环境下运行,内存为64 G.

本文提出使用Faster-RCNN对CPA肿瘤图像初始轮廓进行优化,来弥补Level-Set方法依赖初始轮廓的不足,进而可以将CPA肿瘤分割转化为初始轮廓不敏感任务,以实现对CPA肿瘤的精细化分割.分割过程如图 5所示,由Faster-RCNN训练所得的定位模型应用于CPA肿瘤进行特征提取和识别,在得到肿瘤位置信息后,使用Level-Set方法在肿瘤的特征区域结合图像的灰度分布图像进行曲线演化,以此来精细化分割,本实验最优参数为epoch=100 000,衰减权重=0.000 5,学习率=0.001,动量=0.9,μ=0.1,ε=0.1,v=0.3.本实验训练模型时,总耗时15 h 36 min,测试过程中,对CPA肿瘤定位4 s/例,分割16 s/例.

图5

图5   使用本文提出的方法不同迭代轮次CPA肿瘤的分割结果

Fig.5   Segmentation result of CPA tumor in different iterations using the proposed method


2.2 扩大勾画范围对分割效果的影响

不同的勾画范围所包含图像图元信息不同,不同勾画区域会对实验结果产生不同影响,设置衰减权重为0.000 5、学习率为0.001、动量为0.9,在未扩大勾画范围、扩大勾画范围1.5倍和扩大勾画范围2倍,训练100 000轮后,损失曲线如图 6所示.纵坐标loss(损失)代表了模型是否收敛,可以发现,当扩大勾画范围1.5倍后,损失为0.013 6,损失曲线整体最为平滑,模型效果最好;而未扩大勾画范围在损失曲线前部较为陡峭,损失为0.051 1;扩大勾画范围2倍后损失曲线则更显震荡,损失最后为0.093 8.

图6

图6   模型于不同勾画范围下训练100 000轮的损失曲线

Fig.6   Loss curves of model under different delineated areas after 100 000 iterations


当勾画范围能恰好包裹住CPA肿瘤时,此时模型所能学习到的肿瘤特征最多,然而对非肿瘤区域的特征学习欠佳,因此需要适当扩大勾画范围使得模型能更好得学习到肿瘤的特征分布.然而当过于扩大该范围时,因非特征数据的过量输入会导致特征分布受到影响,因此造成了图 6中扩大2倍勾画范围损失曲线的震荡.同样的,未扩大勾画范围、以几何中心扩大勾画范围1.5倍以及扩大勾画范围2倍的CPA肿瘤分割结果如图 7所示.表 1为扩大勾画区域前后模型指标对比.可以看出,对于CPA肿瘤,扩大该范围1.5倍的分割效果要优于扩大2倍勾画范围,就是由于扩大2倍勾画范围模型学到了大量无关特征,导致CPA肿瘤分割结果无法收敛,使得整体分割结果偏大,而未扩大和扩大勾画范围1.5倍的分割结果相差不大.

图7

图7   不同勾画范围下,使用本文方法对桥小脑角区(CPA)肿瘤进行分割的结果

Fig.7   Segmentations of CPA tumor under different delineated areas with the proposed method


表1   扩大勾画区域前后模型评价指标对比

Table 1  Comparison of model evaluation indicators before and after expanding delineated areas of CPA tumor

LossPrecisionRecallmAPDice
勾画范围扩大前0.05110.96750.49900.80630.8670
勾画范围扩大1.5倍0.01360.92100.64120.89940.8887
勾画范围扩大2倍0.09380.87430.67330.78420.7935

新窗口打开| 下载CSV


表 1可见,当CPA肿瘤区域扩大1.5倍后,整个定位模型的表现最为良好,mAP从恰好包裹CPA肿瘤的0.806 3上升到了0.899 4,而平均Dice也从恰好包裹CPA肿瘤的0.867 0上升到0.888 7,说明扩大勾画区域1.5倍后能提升CPA肿瘤的分割效果,未扩大勾画区域和扩大勾画区域1.5倍的精确率分别为0.967 5和0.921 0(由于扩大1.5倍后的图像中包含了多于正样本的部分,因此在精确率上表现为略微下降),召回率分别为0.499 0和0.641 2.而当继续将勾画区域扩大到2倍后,mAP和平均Dice分别降到了0.784 2和0.793 5,精确率为0.874 3,召回率为0.673 3,说明扩大勾画区域2倍后,模型的诊断效果不如未扩大和扩大1.5倍时的诊断效果.由此可见,标注范围并不是越大越好,因此本文选择扩大标注范围为恰好包裹CPA肿瘤区域的1.5倍,总体上的分割效果最好,但是在某些过暗的图像上Level-Set模型分割效果不佳,可能是由于图像过暗进而导致CPA肿瘤区域内外能量泛函无法达到最小化.在使用Faster-RCNN对CPA肿瘤进行定位后,由于获取了肿瘤的位置信息,使得Level-Set的初始轮廓线仅包含肿瘤区域,即可以更加精准地分割CPA肿瘤.某些样本虽然分割效果不错,但是迭代轮数相比于总体平均轮数要高出不少,说明Level-Set模型中所用的泛函仍有优化的空间.

2.3 与其他方法的对比

表 2列举了文献[25-29]中使用的不同方法在脑肿瘤图像分割上获得的Dice系数均值,考虑到使用的临床数据以及实验配置、参数不同,各个方法之间存在客观差异,因此本文仅以Dice系数均值进行比较.姚传文等[25]于2021年提出用粗糙集对脑肿瘤磁共振图像进行分割,效果最差,低于其他方法.文献[26, 27]提出的方法Dice系数均值分别为0.853 4和0.870 0.Xu等[29]于2018年提出了结合Faster RCNN和Unet的方法取得的分割效果(0.877 5)高于Ronneberger等[28]于2015年提出的Unet(0.823 4),这是由于针对实际问题的Unet变种会比Unet自身取得更好的效果.但以上方法获得的Dice系数均值均小于本文提出的方法(扩大勾画范围1.5倍时为0.888 7),这表明本文提出的方法对CPA肿瘤图像的分割效果较为理想,有望辅助诊断放疗.

表2   使用不同方法分割CPA肿瘤获得的Dice系数均值对比

Table 2  Comparison of mean Dice coefficients using different methods to segment CPA tumor

分割方法Dice
粗糙集自适应粒度[25]0.7734
ECNN[26]0.8534
多核协同[27]0.8700
Unet[28]0.8234
CFUN[29]0.8775
本文方法0.8887

新窗口打开| 下载CSV


3 结论与展望

本文将Faster-RCNN训练所得的定位模型和Level-Set方法结合起来,对CPA肿瘤磁共振图像进行了分割,并进行了肿瘤勾画区域扩大不同倍率的对比实验.结果显示,本文所提出的结合Faster-RCNN框架和Level-Set方法的分割模型对CPA肿瘤的分割效果较好,并且通过定位网络输出的精确位置信息克服了原生Level-Set方法在初始分割时对人为分割的依赖,在迭代次数较少的情况下便能得到分割结果,而且本文分割效果优于其他方法.本文提出了一种CPA肿瘤图像精准分割的新思路,可以在治疗、放疗中大大减轻医生的负担的同时,提升治疗、放疗效果,具有良好的应用价值.我们未来计划进一步扩充数据集以提升本文方法的泛化能力,同时由二维图像分割转为三维图像分割.

利益冲突


参考文献

PING X X , MENG Q , TIAN X , et al.

MRI findings of lesions in the cerebellopontine angle

[J]. J Med Imaging, 2014, 24 (1): 12- 15.

DOI:10.3969/j.issn.1005-5185.2014.01.004      [本文引用: 1]

平小夏, 孟倩, 田霞, .

桥小脑角区病变的MRI表现

[J]. 医学影像学杂志, 2014, 24 (1): 12- 15.

DOI:10.3969/j.issn.1005-5185.2014.01.004      [本文引用: 1]

FANG F , HU S P .

Comparative analysis of MRI findings and pathology in acoustic neuroma

[J]. CT Theory and Applications, 2019, 28 (6): 731- 738.

URL     [本文引用: 1]

方芳, 胡少平.

听神经瘤MRI表现与病理对照分析

[J]. CT理论与应用研究, 2019, 28 (6): 731- 738.

URL     [本文引用: 1]

CHEN Q , LI G Q , LI J T .

Study of the value MRI in the diagnosis of intracranial meningioma

[J]. Chinese Jopurnal of CT and MRI, 2016, 14 (4): 23- 26.

DOI:10.3969/j.issn.1672-5131.2016.04.008      [本文引用: 1]

陈琪, 李国强, 李惊涛.

MRI对颅内脑膜瘤的诊断价值研究

[J]. 中国CT和MRI杂志, 2016, 14 (4): 23- 26.

DOI:10.3969/j.issn.1672-5131.2016.04.008      [本文引用: 1]

ZHANG J Q , ZHANG Y , YIN Y , et al.

A review of machine learning in tumor radio therapy

[J]. Journal of Biomedical Engineering, 2019, 36 (5): 879- 844.

URL     [本文引用: 1]

张珺倩, 张远, 尹勇, .

机器学习在肿瘤放射治疗领域应用进展

[J]. 生物医学工程学杂志, 2019, 36 (5): 879- 884.

URL     [本文引用: 1]

LI Q , BAI K X , ZHAO L , et al.

Progresss and challenges of MRI brain tumor image segmentation

[J]. Journal of Image and Graphics, 2020, 25 (3): 419- 431.

URL     [本文引用: 1]

李锵, 白柯鑫, 赵柳, .

MRI脑肿瘤图像分割研究进展及挑战

[J]. 中国图象图形学报, 2020, 25 (3): 419- 431.

URL     [本文引用: 1]

WANG C F , WANG B J , WANG Z , et al.

The target profile of multimodal magnetic resonance imaging in the radiotherapy of craniocerebral malignant tumor

[J]. Chinese Journal of Practical Nervous Diseases, 2018, 21 (19): 2118- 2124.

DOI:10.12083/SYSJ.2018.19.462      [本文引用: 1]

王长福, 王斌杰, 王智, .

多模态磁共振成像及融合技术在颅脑恶性肿瘤放疗靶区勾画中的应用

[J]. 中国实用神经疾病杂志, 2018, 21 (19): 2118- 2124.

DOI:10.12083/SYSJ.2018.19.462      [本文引用: 1]

ZIKIC D, IOANNOU Y, BROWN M, et al. Segmentation of brain tumor tissues with convolutional neural networks[C]. Proceedings MICCAI-BRATS, 2014: 36-39.

[本文引用: 1]

JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM international conference on Multimedia. 2014: 675-678.

[本文引用: 1]

IQBAL S , GHANI M U , SABA T , et al.

Brain tumor segmentation in multi-spectral MRI using convolutional neural networks (CNN)

[J]. Microsc Res Techniq, 2018, 81 (4): 419- 427.

DOI:10.1002/jemt.22994      [本文引用: 1]

EZHILARASI R, VARALAKSHMI P. Tumor detection in the brain using faster R-CNN[C]//20182nd International Conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud). IEEE, 2018: 388-392.

[本文引用: 1]

YANG X H , ZHANG Y .

Brain tumor segmentation based on MRI multimodal information and 3D-CNNs feature extraction

[J]. Chinese Journal of CT and MRI, 2020, 18 (9): 4- 6, 23.

DOI:10.3969/j.issn.1672-5131.2020.09.002      [本文引用: 1]

杨新焕, 张勇.

结合MRI多模态信息和3D-CNNs特征提取的脑肿瘤分割研究

[J]. 中国CT和MRI杂志, 2020, 18 (9): 4- 6, 23.

DOI:10.3969/j.issn.1672-5131.2020.09.002      [本文引用: 1]

THILLAIKKARASI R , SARAVANAN S .

An enhancement of deep learning algorithm for brain tumor segmentation using kernel based CNN with M-SVM

[J]. J Med Syst, 2019, 43 (4): 1- 7.

DOI:10.1007/s10916-019-1223-7      [本文引用: 1]

IQBAL S , GHANI KHAN M U , SABA T , et al.

Deep learning model integrating features and novel classifiers fusion for brain tumor segmentation

[J]. Microsc Res Techniq, 2019, 82 (8): 1302- 1315.

DOI:10.1002/jemt.23281      [本文引用: 1]

KASS M , WITKIN A , TERZOPOULOS D .

Snakes: Active contour models

[J]. Int J Comput Vision, 1988, 1 (4): 321- 331.

DOI:10.1007/BF00133570      [本文引用: 1]

CHAN T F , VESE L A .

Active contours without edges

[J]. IEEE T Image Process, 2001, 10 (2): 266- 277.

DOI:10.1109/83.902291      [本文引用: 1]

LI C M , KAO C Y , GORE J C , et al.

Minimization of region-scalable fitting energy for image segmentation

[J]. IEEE T Image Process, 2008, 17 (10): 1940- 1949.

DOI:10.1109/TIP.2008.2002304      [本文引用: 4]

YIN S L , LI H , LIU D S , et al.

Active contour modal based on density-oriented BIRCH clustering method for medical image segmentation

[J]. Multimed Tools Appl, 2020, 79 (41): 31049- 31068.

[本文引用: 1]

YUAN C A , ZHENG Y , QIN X , et al.

The medical image segmentation method of improved RSF active contour model

[J]. Journal of Zhengzhou University (Natural Science Edition), 2017, 49 (1): 34- 38, 44.

URL     [本文引用: 1]

元昌安, 郑彦, 覃晓, .

改进RSF主动轮廓模型的医学图像分割方法

[J]. 郑州大学学报(理学版), 2017, 49 (1): 34- 38.

URL     [本文引用: 1]

SHI Q Y , YAN F , YANG Y , et al.

Image segmentation of tooth and alveolar bone with the level set model

[J]. Chinese J Magn Reson, 2021, 38 (2): 182- 193.

URL     [本文引用: 1]

石沁祎, 闫方, 杨阳, .

基于水平集的牙齿牙槽骨图像分割

[J]. 波谱学杂志, 2021, 38 (2): 182- 193.

URL     [本文引用: 1]

ZHANG D, ZHU W, ZHAO H, et al. Automatic localization and segmentation of optical disk based on faster R-CNN and level set in fundus image[C]//Medical Imaging 2018: Image Processing. International Society for Optics and Photonics, 2018, 10574: 105741U.

[本文引用: 1]

ZUO J H , ZHAO C , ZHU X L , et al.

High-resolution remote sensing image building extraction combined with Faster-RCNN and Level-Set

[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34 (4): 439- 447.

URL     [本文引用: 1]

左俊皓, 赵聪, 朱晓龙, .

Faster-RCNN和Level-Set结合的高分遥感影像建筑物提取

[J]. 液晶与显示, 2019, 34 (4): 439- 447.

URL     [本文引用: 1]

LIU Y , CHEN J C , HU X Y , et al.

Classification and localization of acoustic neuroma and meningioma in the cerebellopontine angle based on Mask RCNN

[J]. Chinese J Magn Reson, 2021, 38 (1): 58- 68.

URL     [本文引用: 1]

刘颖, 陈静聪, 胡小洋, .

基于Mask RCNN的桥小脑角区听神经瘤与脑膜瘤分类定位研究

[J]. 波谱学杂志, 2021, 38 (1): 58- 68.

URL     [本文引用: 1]

REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems. 2015: 91-99.

[本文引用: 1]

OSHER S , SETHIAN J A .

Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations

[J]. J Comput Phys, 1988, 79 (1): 12- 49.

DOI:10.1016/0021-9991(88)90002-2      [本文引用: 1]

YAO C W , HUANG D B , YE M Q .

MR brain tumor image segmentation based on rough set adaptive granularity

[J]. Computer and Modernization, 2021, (1): 34- 37.

DOI:10.3969/j.issn.1006-2475.2021.01.007      [本文引用: 3]

姚传文, 黄道斌, 叶明全.

基于粗糙集自适应粒度的MR脑肿瘤图像分割

[J]. 计算机与现代化, 2021, (1): 34- 37.

DOI:10.3969/j.issn.1006-2475.2021.01.007      [本文引用: 3]

THAHA M M , KUMAR K P M , MURUGAN B S , et al.

Brain tumor segmentation using convolutional neural networks in MRI images

[J]. J Med Syst, 2019, 43 (9): 1- 10.

[本文引用: 2]

GE T , ZHAN T M , MU S X .

Brain tumor segmentation algorithm based on multi-kernel collaborative representation classification

[J]. Journal of Nanjing University of Science and Technology, 2019, 43 (5): 578- 585.

URL     [本文引用: 2]

葛婷, 詹天明, 牟善祥.

基于多核协同表示分类的脑肿瘤分割算法

[J]. 南京理工大学学报, 2019, 43 (5): 578- 585.

URL     [本文引用: 2]

RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.

[本文引用: 2]

XU Z W, WU Z Y, FENG J J. CFUN: combining faster R-CNN and U-net network for efficient whole heart segmentation[J]. arXiv preprint arXiv: 1812.04914, 2018.

[本文引用: 3]

/