基于组合网络的图像头颈放疗危及器官自动分割(2)

图 1 本文提出的组合 U-Net 模型算法流程Fig. 1 Illustration of the proposed combined U-Net model

图 2 3D 模型的感兴趣区域(绿色部分)Fig. 2 The region of interest in 3D-model (Green)

3D-small 模型主要针对最小的两个器官:视神经交叉及脑垂体，主要原因是这两个器官的整体体积非常小，很容易出现类不平衡问题。此外，这两个神经在空间上彼此距离最近，因此将两者同时训练。本文在裁剪时，首先计算二者在二维模型上的分割结果，接着计算分割结果的中心位置，并以此中心位置裁剪大小为(64, 64, 16)的区域。该尺寸是二者器官大小的 3 倍，这样包括一定的背景信息有助于二者的定位识别(见图 3)，同时不容易因分割结果导致裁剪出的区域只含部分器官。

图 3 3D-small 模型的裁剪图示Fig. 3 The illustration of cropping ROI in 3D-small model

2.2 网络结构

本文采用的 3 种模型皆为 U-Net 架构，图 1 所示的架构给出了网络的初始输入尺寸，根据最小特征图的尺寸可以推断出网络深度及池化次数。根据内存实际情况，3 个网络的初始特征图设置为 30，最大三维网络的特征图个数为 320，二维网络的最大特征图个数为 480，每个卷积层后面加入 dropout 和 batch norm 操作，激活函数采用 LRelu，池化采用最大值采样，上采样采用线性插值法。整体结构及参数参考于 Isensee 等[18]提出的 nnU-Net。

2.3 网络训练

本文网络采用 pytorch 实现。训练时，2D、3D-small、3D 模型分别采用的 batch size 为 11、2、2，优化器为 adam，初始学习率设为 3×10－4，采用 pytorch 中的平均滑动指数更新学习率(学习率低于 10－6时模型训练自动停止)，训练迭代次数约 150 000 次，训练消耗显存约为 12 Gb。训练 2D、3D-small、3D 模型分别需要 30 h、4 h、60 h。训练的损失函数为 Dice 与交叉熵之和，具体训练方法参见 Isensee 等[18]提出的 nnU-Net 中 2.3 小节。

3 实 验

数据来源自 MICCAI2019 StructSeg 2019( / ) 分割竞赛， 数据的尺寸为 51 2×512×(315～456)，扫描层间距为(0.977～1.184)mm×(0.977～1.184)mm×3 mm。其中，训练数据为 50 套，测试数据集为 10 套。此外，所有参赛者均不可访问测试数据集，而是通过将训练好的分割模型以 docker 镜像方式提交给竞赛举办方，由举办方测试并给出分割结果，且分割每套图像的时间不超过 2 min，因此测试结果具有公平性和说服力。

本文算法数据增强采用 nnU-Net 数据增强方式，包括弹性形变、任意旋转、镜像翻转、Gamma 变换、比例变换。从图 4 可以看出，大部分器官相对于矢状面是对称的，因此本文在训练 2D 和 3D 模型时，不使用 x 轴的镜像翻转。

图 4 待分割器官关于矢状面对称图示Fig. 4 The organs are sagittal plane symmetrical

本文给出两个结果，一个结果是训练集上的五轮交叉验证结果，一个结果是将所有训练数据进行训练后的模型以参赛形式提交给竞赛组织者的结果，具体见第 4 小节。评价标准采用典型的 DSC 系数及 95% 豪斯道夫(HD)距离，具体定义见官网 /Evaluation/。

4 结 果

表 1 给出了不同模型的分割结果比较，并与目前常用的多图谱方法及最前沿的 FocusNet 方法进行了比较。从表 1 可以明显看出，基于深度学习方法在分割精度上优于传统的多图谱方法，尤其是对如脑垂体(标签 11)、中耳(标签 16 和 17)、晶状体(标签 4 和 5)等微小器官。大多数器官在 3D 模型的表现优于 2D 模型，少数器官主要依赖横断面切片进行识别分割，这些器官在 2D 模型中表现更好。同时，本文针对两个最小器官训练的 3D-small 模型相比于和所有器官同时训练精度提升很多。2D 与原始 2D-nnU-Net 之间的区别是 2D 模型根据器官对称特点在 x 轴不适用镜像翻转数据增强，而原始的 2D-nnU-Net 模型则使用了镜像翻转。本文也根据器官在不同模型表现的不同，依据此表制定了最后的模型组合策略，具体如图 1 所示。这些对比结果可以从图 5 的定性分割具体看出来。图 5(a)中使用了 x 轴上的镜像翻转后，其中左侧颞叶(标签为 9)和右侧颞叶(标签为 10)容易被混淆。图 5(c)中第一行红色区域表示左侧颞叶在 2D 模型中产生的过分割。从图 5(d) 2D 模型与 3D 模型对比结果可以看出，2D 模型分割的左侧下颌骨(标签为 21)和右侧下颌骨(标签为 22)在冠状面上难以分清。图 5(b)则指出了一些器官在 2D 模型中的分割效果优于 3D。

表 1 不同模型在 22 个头颈器官上的分割 DSC 值对比结果(加粗为分割较好)Table 1 Results of different models on 22 HaN organs measured by DSC (the bold fonts indicate best)注:“--”表示分割结果不存在?

文章来源：《中国耳鼻咽喉头颈外科》 网址: http://www.zgebyhtgwk.cn/qikandaodu/2021/0708/570.html