原始研究的文章

前面。诊断。地中海,2023年2月06
秒。Radiomics和人工智能
卷2 - 2022 | https://doi.org/10.3389/fnume.2022.1083245

多目标深层神经网络架构在t2加权MRI检测前列腺解剖:绩效评估

玛丽亚Baldeon-Calisto ^1,__,

Zhouping魏 ^2,__,

眼眶Abudalou^2、3,

亚辛Yilmaz³,

肯尼斯·计 ⁴,

胡里奥Pow-Sang ⁵和

Yoganand Balagurunathan ^{2 *}

¹Departamento de Ingenieria工业和研究院Innovacion en Productividad y Logistica CATENA-USFQ,旧金山大学德基多,厄瓜多尔基多
²机器学习、h·李·莫菲特癌症中心和研究所,美国佛罗里达州坦帕市
³南佛罗里达大学电机工程系,美国佛罗里达州坦帕市
⁴诊断放射学、h·李·莫菲特癌症中心和研究所,美国佛罗里达州坦帕市
⁵泌尿系肿瘤、h·李·莫菲特癌症中心和研究所、美国佛罗里达州坦帕市

前列腺分割是主要的一步估计腺体积,艾滋病在前列腺疾病管理。在这项研究中,我们提出一个2 d-3d卷积神经网络(CNN),自动段整个前列腺随着周边区(PZ) (PPZ-SegNet)使用t2加权序列(T2W)的磁共振成像(MRI)。该研究使用4个不同的公共组织为训练数据集# 1和测试# 1(独立来源于同一队列),测试# 2,测试# 3和# 4测试。前列腺和外围区域(PZ)与解剖学手动划定共识由放射科医师阅读,除了测试# 4组预置腺解剖。贝叶斯hyperparameter优化方法应用于构建网络模型(PPZ-SegNet)训练队列(火车# 1,n= 150)使用5倍交叉验证。模型评价进行一个独立的群283 T2W MRI前列腺癌病例(测试# 1 - # 4)没有任何额外的调优。数据组来自癌症成像档案(TCIA): PROSTATEx挑战,前列腺切除术,可重复性研究和PROMISE12-Challenge。骰子的分割性能评估计算相似系数和豪斯多夫距离区域和标识的estimated-deep-network radiologist-drawn注释。深层网络体系结构能够部分前列腺解剖平均骰子得分0.86测试# 1 (n0.79 = 192),测试# 2 (n0.81 = 26),测试# 3 (n= 15),在测试# 4和0.62 (n= 50)。我们还发现前列腺体积较大的骰子系数改进的3 4测试组。骰子分数的变化从不同人群的测试图像显示的必要性更加多样化的模型,包括依赖性腺大小等,这将使我们能够开发一个通用网络前列腺癌和PZ分割。我们的培训和评估代码可以通过链接访问:https://github.com/mariabaldeon/PPZ-SegNet.git。

介绍

前列腺癌是男性的第二个最常见的癌症,占全球3.8%的男性死亡,48个国家(死亡的一个主要原因1,2)。不确定型磁共振成像(mpMRI)用于可视化和量化组织每-融合/渗透率特征,使用方法,帮助诊断、舞台、监控和评估前列腺癌(3- - - - - -5)。前列腺分割也经常应用于各种常规临床实践,如放射治疗计划(6,7),MRI-ultrasound图像引导活检(8,9),以及局部治疗(10)。手册描述通常用于临床实践,这是一个艰苦的任务再现性较差,显示有高inter-observer变化(11最近报道),主观的专家培训。改善前列腺手册描述的耗时的性质,目前PI-RADS(前列腺Imaging-Reporting和数据系统)指南推荐使用一个简单的几何形状,如前列腺体积的快速估算的椭球体。

在过去,有许多方法提出了自动化前列腺分割开始atlas-based分割(12),可变形模型(13),机器学习方法基于边际空间学习(14),与带状形态c均值聚类(15)。另一个成功的尝试是使用模式识别的方法来描绘腺体系结构(16)。目前,深度学习(DL)建模复杂问题在肿瘤学(显示了巨大的承诺17)。它也被广泛应用于段各种解剖结构在不同的模式(18,19)。特别是深卷积神经网络(cnn)都取得了极大的成功通过自动学习图像特征提取最重要的特征(18,20.)。CNN的体系结构通常由多个层,在初始层提取本地信息和低层次的功能,而更深层学习认识到更复杂的对象(21)。这些网络显示超越人类的性能在某些任务(22)。例如,CheXNet取得了更好的性能检测肺炎从胸部x光的平均表现四个放射科医生(23,24)。最近,基于Encoder-Decode CNN架构(U-Net)看到了巨大的采用分割任务由于其适应每一个新数据集的能力(25)。

cnn对医学图像分割通常分为2 d或3 d网络基于他们如何处理体积数据。2 d网络段的解剖结构slice-wise方式然后连接的结果z设在。这些架构非常善于提取intra-slice信息,计算效率,并获取远程像素同时保持输入大小合理的关系。然而,体积信息不被认为是在推理。相比之下,3 d网络直接处理容量输入,能够同时考虑内部和片间信息的预测。不过,他们计算昂贵和3 d网络提供性能比2 d网络高intra-slice分辨率时(26)。

大多数机器学习/深度网络模型假设数据用于训练和测试与参考样本独立同分布概率分布,从而造成一定程度的限制模型的泛化。它也指出,一个模型的性能通常会降低当测试在不同的数据集由于域转移(27,28)。此外,它很容易被识别,医学图像数据集通常异构由于扫描,收购协议,和学科水平的差异。因此,它成为不可或缺的发展网络可以之间传输数据集没有巨大的性能下降(29日)或需要额外的培训或调优(30.,31日)。

在这项工作中,我们提出一个多目标深度CNN合奏,修改从我们先前发表的模型(32),它适用于网络体系结构搜索(33)在前列腺段多个解剖区域。我们参考模型Prostate腺和PeripheralZ一个赛格心理状态净工作(PPZ-SegNet)。PPZ-SegNet由双通道2 d和3 d的CNN,这是自动构造使用贝叶斯hyperparameter优化方法。在以前的工作(32,34)使用一个2 d和3 d的cnn允许模型利用intra-slice和片间的信息。此外,整体模型提高了泛化,允许网络跨组表现得更好。从我们的集团(PPZ-SegNet不同于之前的工作32)和(35)的问题而言,细分任务,神经网络架构,hyperparameters优化,优化方法。特别提出了一种自适应合奏(32)医学图像分割,基于多目标进化算法适用于构建高效、准确的网络。在这部作品中,重点是分析不同的训练和测试组的作用在分割网络的性能。此外,PPZ-SegNet训练任务的前列腺癌和外围区(PZ)分割。实现后者,架构修改包括2解码器路径。一个解码器产生前列腺分割,而另一个预测PZ分割。此外,正在优化施工hyperparameters包括hyperparameters相关期间使用这个新的体系结构和整体培训。最后,一个贝叶斯优化方法实现最大化分割精度。

该研究使用4种不同的癌症成像档案公开军团(TCIA)。前列腺和带状解剖学对病人扫描被我们训练有素的波状外形的临床专家,除了一个军团,与区域注释。我们发现我们的优化PPZ-SegNet架构显示有前途的性能在我们训练队列。在这篇文章中,我们描述我们PPZ-SegNet网络及其hyperparameter优化程序,验证训练网络的一组独立的,不同的测试人群中使用优化深度网络在肿瘤。

方法

数据集

在我们的研究中使用的数据集包含433从4种不同的开源MRI-T2W形象策划:PROSTATEx挑战(火车# 1,n= 150 &测试# 1,n= 192),PROSTATE-MRI前列腺切除术(测试# 2,n= 26),QIN-PROSTATE-Repeatability(测试# 3,n= 15),MICCAI PROMISE12-Challenge(测试# 4,n= 50)。病人图像扫描的军团以上可用TCIA网站(https://www.cancerimagingarchive.net/)收集题为:“PROSTATEx”、“QIN-PROSTATE-Repeatability”,“前列腺Fused-MRI-Pathology”。PROMISE12挑战数据可用通过组织者的网站:https://promise12.grand-challenge.org/。病人使用不同的核磁共振扫描仪扫描收集在这些人群广泛归入这些供应商,即。、西门子、飞利浦和通用电气医疗系统,分别后机构成像协议。综述了扫描的图像由一个有经验的临床读者(放射科医生与研究/诊所角色超过5年的临床mpMRI阅读体验)的莫菲特癌症中心(美国佛罗里达州坦帕的)。前列腺和PZ地区在我们的研究使用半自动注释工具手动波状外形的pac (MIM软件公司,克利夫兰,哦,美国)的基于轴向视图MRI-T2W形象。手册参考轮廓是由所有MRI-T2W图像除PROMISE12数据集,是带注释的前列腺腺体结构(无PZ)。前列腺癌和PZ轮廓以及MRI-T2W解剖图像从我们的研究出口pac DICOM / RT(放疗)图像。

预处理的图像数据

图像中包含的数据集展览分辨率和尺寸的变化。具体来说,平面分辨率变化从0.2到0.65毫米²,而切片厚度(穿过平面)决议范围从2到4.5 mm患者整个军团。重采样的图像预处理0.5×0.5×3毫米³空间分辨率使用b样条插值和调整标准参考面(256×256×23)。此外,像素强度中剪3从均值和标准差新一个区间[0,1]的slice-wise方式。

手动轮廓注释使用MIM软件在原始MRI-T2W图像和保存为RT结构(放疗格式),2 d多边形挤牙膏式。这些2 d多边形的顶点保存在等高线数据标签下的DICOM头文件(3006、0050)。注释图像转换为病人坐标系,导出使用基于向量叉积在图像中的信息定位标记(0020、0037)和图像位置标记(0020、0032)。上面的程序是使用我们的内部软件编写的MATLAB实现(版本R2022a;MathWorks纳蒂克,妈,美国)。MATLAB图像卷和注释都是保存在数据格式。

CNN架构

PPZ-SegNet神经体系结构由一个2 d CNN和3 d CNN。CNN都有类似的结构,2 d CNN接收预处理2 d切片前列腺轴向数据集(256×256像素)作为输入,并适用于2 d的隆起,而3 d CNN与预处理3 d剪裁训练卷(128×128×23压),并使用3 d曲线玲珑。所示的网络的一般结构图1。的网络是由采样下来后跟两个up-sampling路径,路径指示为up-pg(前列腺)和up-pz (PZ)。采样下来路径接收前列腺图像作为输入并通过卷积和max-pooling操作的应用程序的最重要的图像特征提取分割任务。up-sampling路径,相比之下,得到提取的特征,通过应用up-sampling和卷积操作增加的大小特征图的分割前列腺和PZ已经通过up-pg up-pz路径,分别。

图1

图1。PPZ-SegNet的总体结构。(一个)架构由采样下来路径(灰色残差块)和两个up-sampling路径,指示为up-pz(橙色剩余块)和up-wp(蓝色残块)。up-pz路径产生外围区域分割,而up-wp产生整个前列腺分割。(BPPZ-SegNet)三步拟合过程。在步骤1中,2 d CNN架构构建使用贝叶斯优化方法。在步骤2中,3 d CNN体系结构是构建以类似的方式为2 d CNN。CNN在步骤3中,2 d和3 d CNN使用5 fold-scheme训练有素。最后的预测是绝大多数投票5 2 d-3d CNN的集合体。

采样下来和up-sampling路径是由n残块,n的值在哪里定义使用贝叶斯优化方法。采样下来和up-sampling路径是通过剩余块连接在中间,形成一个u型的架构。每个残块由3序列卷积模块、一个卷积块有一个在卷积层,批量标准化层,和一个激活功能层。为了防止过度拟合,空间辍学层包括剩余块之前,除了第一个残块。此外,特征提取的最后残余块up-pz路径连接的特性的最后残余块up-pg路径,这样的信息提取PZ分割时可以考虑预测前列腺的分割。的最后卷积层up-pg路径和up-pz路径内核窗口的大小1和乙状结肠激活函数。

七个模型hyperparameters了设置和将使用贝叶斯hyperparameter优化优化。这些hyperparameters对应的残块采样下来和up-sampling路径,每个残块的过滤器,激活函数应用卷积操作之后,内核大小3卷积层内的残块,和spatial-dropout概率。一定要提到所有剩余块具有相同的架构,因此通过定义内核大小3卷积层,我们定义内核大小的残块。此外,辍学概率是保持在相同的水平空间辍学层和类似的方法是保持功能激活功能层。培训期间,数据实时增强实现所有训练图像的时代,以防止过度拟合。的大小five-data-augmentation操作使用相同的优化方法进行了优化。five-data-augmentation操作在网络模型中实现旋转,宽度变化,高度变化,放大,水平翻转。

贝叶斯优化方法

选择最优hyperparameter值神经网络架构是一个非线性优化问题的决策变量对应hyperparameters被优化,目标是最小化错误验证集。让N表示数量的hyperparameters被优化,Ω_j的搜索空间jth hyperparameter。然后,整个hyperparameter搜索空间被定义为Ω=Ω₁×Ω₂×Ω₃…Ω_N。如果λhyperparameter值指的是一个向量,hyperparameter优化问题可以用数学建模为:

λ^{*} = argmi n_{λ \in Ω} l (D_{火车}, D_{有效的}),

在哪里l(D_火车,D_有效的)的损失函数模型的误差的措施λ训练在hyperparameter值D_火车训练集和评估D_有效的此外,验证集。λ*表示最优hyperparameter最小化损失函数的值。培训和验证集用于贝叶斯优化在这项研究是由PROSTATEx挑战的150例(称为火车# 1)。

在目前的工作,λ是一个向量的每个组件对应于hyperparameters之一。此外,整个搜索空间Ω是每个hyperparameter的搜索域的叉积。最后,损失函数l(D_火车,D_有效的骰子)实现基于相似系数如下所示,计价骰子损失:

l (D_{火车}, D_{有效的}) = 1 - \frac{2 \sum_{我} \hat{y_{我}} y_{我}}{\sum_{我} {\hat{y}}_{我}^{2} + \sum_{我} y_{我}^{2}};

在哪里y_我指地面真值的像素我, $\hat{y_{我}}$ 像素的概率预测我。骰子措施之间的相对重叠系数预测分割和地面真理分割;因此,它是有用的,当有一个背景和前景像素之间的不平衡。骰子系数范围在0和1之间,1表示完全预测分割。因此通过最小化“1−骰子系数”,我们要最大化分割精度。

贝叶斯优化是一种连续的基于模型的方法,其特征是一个概率代理模型f和收购功能 $α$ 。捕获的概率代理由先验分布的信仰行为损失函数 $l (D_{火车}, D_{有效的})$ 。在每个迭代中t,一个新的hyperparameter向量 $λ_{t}$ 选择构建一个CNN使用验证集和评估。这个新观点是用于更新之前的后验分布。使用后信息采集函数来决定哪些hyperparameter向量评估下。在这个搜索,有必要考虑勘探的标准(抽样地区的高不确定性)和剥削(高的采样点值)。算法的输出是hyperparameter向量 $λ^{*}$ 损失函数优化。贝叶斯优化算法应用于优化12 hyperparameters构造二维CNN和3 d CNN如下所示(算法1)。

算法1

算法1:贝叶斯优化算法。

整体形成

一旦架构2 d CNN和3 d CNN的优化,我们形成了PPZ-SegNet合奏仅仅使用火车ProstateX # 1的数据集。首先,火车# 1分为5折,80%的图片是随机分配到训练集和验证集20%。每一个褶皱是用来完全训练2 d CNN和3 d CNN架构。然后,预测从2 d CNN和3 d CNN结合通过平均softmax概率地图。这将创建一组5 2 d-3d CNN集合体,产生5预测分割。最后,得到最终的分割通过聚合使用多数投票预测分割方案。

在训练阶段,2 d CNN训练3000时代,而3 d CNN训练2000时代。最小的重量损失用于测试验证。自适应估计时刻(亚当)优化器实现了beta 1设置为0.9,0.999 beta 2集,一个ε值 $1 \times 10^{- 8}$ 。学习速率设置 $1 \times 10^{- 5}$ 在两个架构。在训练使用实时数据增加,操作被设置的大小与贝叶斯优化使用获得的优化值。目标函数优化在训练基于骰子损失和考虑前列腺分割的骰子系数和PZ分割显示方程(1)。

l_{火车} = 1 - \frac{2 \sum_{我} {\hat{y}}_{我 p} y_{我 p}}{\sum_{我} {\hat{y}}_{我 p}^{2} + \sum_{我} y_{我 p}^{2}} + α (1 - \frac{2 \sum_{我} {\hat{y}}_{我 p z} y_{我 p z}}{\sum_{我} {\hat{y}}_{我 p z}^{2} + \sum_{我} y_{我 p z}^{2}}) (1)

在哪里 $y_{我 p}$ 指地面真值的像素我前列腺分割, ${\hat{y}}_{我 p}$ 像素的概率预测我前列腺的分割。同样的, $y_{我 p z}$ 和 ${\hat{y}}_{我 p z}$ 指地面真值的像素我和像素的概率预测我分别为PZ分割。最后, $α$ 0.1是一个重量参数,将使用一个随机搜索方法,旨在最大化整个前列腺分割骰子。过程获得2 d-3d合奏PPZ-SegNet所示图1,这是由3个步骤组成。在步骤1和2中,2 d和3 d CNN建立了使用贝叶斯优化方法。在步骤3中整体是由培训的2 d和3 d CNN在每个相应的折叠。

实验设计和评估标准

我们使用最大样本量队列训练的一部分(n= 150,# 1)训练和测试数据来自4个不同人群(n= 283,测试# 1 - 4)。详细的培训和测试组所示表1。从ProstateX图像测试组(n= 192,而不是训练的一部分,测试# 1),TCIA前列腺切除术(n测试# 2)= 26日,TCIA重复性(n= 15,测试# 3),Promise12 (n= 50,测试# 4)。

表1

表1。描述病人的军团用于这项研究。

了解数据集的分布,我们计算的描述性统计量的腺和PZ训练和测试组中显示表2,3(也看到补充表S1、S2)。同时,在图2整个队列的像素强度分布。

图2

图2。分布数据集用于模型的训练和测试。(一个)所有的像素强度分布训练集和测试集,(B使用前列腺体积)箱形图的所有测试。

表2

表2。分割性能衡量骰子系数和相应的前列腺体积穿过人群。

表3

表3。外围区域的分割性能(PZ)衡量整个军团骰子系数和相应的体积。

此外,分析分布之间的转移,3差异度量计算火车# 1和4之间的测试组。指标被认为是Kullback-Leibler分歧,瓦瑟斯坦距离,詹森香农散度。获得的值了表4。

表4

表4。火车# 1和测试组差异指标。值越大,意味着一个更高的差异分布。

验证MRI-T2W PPZ-SegNet架构自动分割前列腺癌,3观察家手动分割前列腺。手动分割都是一片一片的使用MIM软件,和前列腺的轮廓定义没有任何进一步的算法的支持。评估预测的分割,我们应用广泛应用在医学成像评价指标细分卷,骰子得分(DS) (36(高清)()和豪斯多夫距离37)。每个案子的DS和高清数字计算使用开源工具SimpleITK (38,39)。DS中定义方程(2):

DS = \frac{2 | y^{1} \cap {\hat{y}}^{1} |}{| y^{1} | + | {\hat{y}}^{1} |} (2)

在哪里 $| * |$ 代表了基数运营商, $y^{1}$ 从前台地面真理体素, ${\hat{y}}^{1}$ 体素预测前景的一部分。DS范围在0和1之间,值为1时表示网络的预测完全重叠分割地面真理。因此,值接近于1的意思是一个更好的预测分类。与此同时,高清了方程(3)。

高清 (y, \hat{y}) = 马克斯 (h (y, \hat{y}), h (\hat{y}, y)) (3)

在哪里 $h (y, \hat{y})$ 地面实况分割之间的导演高清吗y并预测分割 $\hat{y}$ 中定义的方程(4)。高清是毫米的距离测量;一个较小的距离意味着更好的分割。

h (y, \hat{y}) = \underset{y \in y^{1}}{马克斯} \underset{y \in {\hat{y}}^{1}}{最小值} | | y - \hat{y} | | (4)

结果

我们使用4个不同的患者人群超过433,扫描测试培训(150和283)。病人扫描来自三个主要的制造商(即。,Siemens, Phillips and GE Medical Systems) on 3 T magnet field strength with different resolutions, described in表1。4种不同的人群进行了测试,测试组中没有患者样本训练的一部分。所有的测试图像进行描述的相同的预处理操作方法部分。腺边界的分割是由共识提供读取(火车# 1,测试# 1,# 2测试,以及测试# 3),和一个独立的读者(测试# 4)。培训的平均体积前列腺队列(火车# 1)为60.4(54.84,65.99)厘米³基于放射科医师参考,测试组:(测试# 1)64.9(60.2,69.6)厘米³(测试# 2)34.9(28.0,41.8)厘米³(测试# 3)44.2(27.7,60.7)厘米³(测试# 4)54.7(41.8,67.6)厘米³,请参考补充表S1。我们发现患者腺体不同在他们的大小/验证组卷;统计测试(t检验,未共享)显示一个微不足道的差异序列# 1和测试# 1 (p= 0.22),测试# 4 (p= 0.418),边缘测试# 3 (p= 0.064),重大测试# 2 (p< 0.001),看到的表2(和补充表S1)。之间的平均骰子一致性系数估计腺体积为军团是放射科医生画引用:(测试# 1)0.854(0.843,0.868),(0.794测试# 2)[0.749,0.839],(测试# 3)0.806(0.733,0.88),(0.622测试# 4)[0.535,0.71],明白了表2(和补充表S1详情)。图2显示的像素强度分布样本组。很明显,火车# 1和测试# 1遵循类似的强度分布,双峰有一个沉重的尾巴。同时,强度分布的测试# 2 # 4是单峰和大部分的密度范围之间的像素强度0和0.2,不同于测试# 1。类似的结果差异指标,火车# 1和测试# 1在所有指标分布最相似。相比之下,火车# 1和测试# 3军团最大的差异。考虑到骰子系数的行为,我们可以得出结论,之间的距离(差异)的训练集和测试集的增加,性能降低。与先前的文献结果相一致,这表明,即使是一个小变化在测试分布深度学习模式,能不能在推理(40,41)。不过,有趣的是网络的最差表现的分割测试# 4。在图2一个像素强度分布测试# 4集中在左边,但用一盏灯的尾巴。这意味着图像的对比在测试# 4较低图像的其他测试组相比,尤其是训练队列。

进一步分析网络的性能行为的案例在测试队列被分成4个不同的四分位数基于病人的腺体积显示在补充图S1。对于每一个四分位数,相应的意思是,中位数,和95%置信区间的骰子系数计算。这项研究的结果发表在补充表S1、S2分别对前列腺和PZ分割。最好的四分位数得分为测试# 1是Q2骰子中位数为0.895(平均0.858)其次是第四季度的0.893中位数骰子(平均0.87)。在测试# 2,第四季度最佳性能0.916中位数骰子(平均0.883)。为测试# 3,Q2骰子中位数0.875最高(平均0.824)。最后,在测试# 4,第四季度实现最好的骰子中位数0.85(平均0.77)所示的细节表2,3(和补充表S1、S2)以及图3,4。我们评估骰子相似性系数之间的依赖关系(提供的手册和网络之间的边界)和前列腺卷使用回归拟合趋势线和信心。在补充图S3群测试中,我们发现# 1骰子系数分布在不同大小的前列腺的体积。它表明稍有改善趋势与高偏差的大大小的腺体。同时在测试# 2、3和4,有一个明显的改善骰子系数分数腺体积增加。

图3

图3。PPZ-Net前列腺分割评估使用骰子的性能系数在不同的测试组。

图4

图4。性能的PPZ-Net外围腺(PZ)分割评估使用骰子系数在不同的测试组。

此外,分析影响前列腺癌的前列腺体积分割,计算骰子系数在每个测试组分为四分位数。这项研究的结果发表在补充图S4。在测试# 1中,骰子的箱线图系数在四分位似乎是均匀分布在前列腺卷,小几率更高大骰子系数高的前列腺大小(卷)。这意味着模型能够令人满意地识别前列腺的前列腺体积的范围出现在测试# 1。的原因可以归因于训练队列分布的相似性,因此整个人口模型性能表现更好。在测试# 2和4中,骰子系数越高(问4)获得最高的腺卷。在测试# 3,骰子系数问2,问4从情况下获得最大的腺体体积。这是明显与更高的骰子中值系数见过四分位数组织更大的腺体在大多数的测试组。

此外,我们计算估计边界之间的HD和放射科医生提供参考。测试# 3的最小平均HD 9.47,其次是测试# 1平均值为11.33,在12.17测试# 2,和测试# 4平均值为21.73,所示的细节表7。自测试# 3与前列腺体积最小的数据集,预计一个基于距离度量如豪斯多夫将有一个较低的价值比数据更大的分割。然而,获得的结果是类似的骰子系数,模型有良好的性能在测试# 1和# 4最糟糕的性能测试。

好的和坏的例子分割的结果显示在网络图5,6。网络正确区分为普通,形状不规则的前列腺。然而,有时它未能提供一个连续的轮廓和识别前列腺区域与低对比度图像。

图5

图5。分段前列腺区域一致性高使用PPZ-SegNet(黄色轮廓)相比,手动描述(绿色)说明选择病人例代表轴向片(连续三部分)。

图6

图6。使用PPZ-SegNet分段前列腺区域一致性较低(黄色轮廓)相比,手工描述(绿色)说明选择病人例代表轴向片(连续三部分)。

数据集成分分析

领域适应气候变化的一个重要因素是作文的训练数据集。因此,我们测试了PPZ-SegNet的性能如何改变当我们修改后的训练集。首先,PPZ-SegNet训练在30例(测试# 2:n= 20;测试# 3:n= 10)253例和测试(测试# 1:n= 192;测试2:n= 6;测试# 3:n= 5;测试# 4:n= 50)。所有的测试用例是用于培训。我们作为PPZ-SegNet_TCIA表示这个模型。介绍了评价指标表5一个。相比,获得的结果与PPZ-SegNet训练只有火车# 1,我们称之为PPZ-SegNet_PX,骰子系数减少所有测试数据集的异常测试# 3。火车# 1以来大量的图像和更多样的前列腺腺体的大小,它为网络提供了更多的信息更好地推广到其他测试数据集。一个有趣的发现是,PPZ-SegNet_PX执行比PPZ-SegNet_TCIA测试# 2,尽管后者模型训练使用图像从测试# 2。这可能是造成数量减少的情况下测试# 2中可能没有完全描述前列腺出现在这个数据集的分布。此外,它表明测试# 2 PPZ-SegNet_PX实现域适应。

表5

表5。PPZ-SegNet模型的分割性能衡量骰子系数在以下场景中。(一个)小队列训练(n= 30例,使用测试# 2的一部分,n= 20和测试# 3,n= 10),测试剩下的253箱货。(B)更大的队列训练(n= 91,使用所有的火车# 1,# 2测试,并测试# 3),剩余的242例测试(测试# 1 &测试# 4)。

第二个实验我们执行,PPZ-SegNet训练在91例(火车# 1:子样品n= 50;测试2:n= 26;测试# 3:n= 15)和评估在242测试用例(测试# 1:n= 192;测试# 4:n= 50)。我们作为PPZ-SegNet_TCIAPX表示这个模型。并给出了PPZ-SegNet_TCIAPX评价指标表5 b。PPZ-SegNet_TCIAPX主要性能测试# 4,从PPZ-SegNet_PX骰子系数增加7.3%。自测试# 4的病例数高体积小尺寸,丰富培训# 1的数据集共享相同的特征(如测试# 2和3)提高了分割精度。然而,骰子系数在测试# 4仍然很低(平均0.695),这表明还有其他的成像特点,具体的数据集,影响网络的性能。此外,它也表明,域的转变是一个很难解决的问题。在测试# 1,PPZ_SegNet_TCIAPX比PPZ_SegNet_PX骰子系数略低。1%和0.7%的减少前列腺和PZ区域的分割,分别。这是一个预期的结果,因为我们的数量减少训练情况下从火车# 1。

整体分析

先前的工作表明,整体网络获得更好的泛化性能比个人网络(42,43)和其他泛化技术(44)。在本节中,我们分析了整体学习效果对域的转变。首先,我们评估的影响有2 d-3d合奏(PPZ-SegNet)独特的2 d合奏或3 d合奏。对于这个目标,我们生产2 d合奏的分割和3 d合奏做比较,分割的引用。介绍了评价指标表6。此外,称为单侧配对t检验与应用95%置信水平比较平均性能,之前提出的方法是(32)。最佳性能的模型是粗体所示。实验结果表明,二维整体执行比3 d合奏在大多数测试数据集在考虑骰子系数。只有在PZ的细分结构从测试# 2、3 d乐团在统计学上更高的DS。相比之下,PPZ-SegNet同等或更好的性能比2 d合奏,异常的前列腺分割测试# 4。

表6

表6。评价指标的预测前列腺和PZ分割使用2 d合奏,3 d合奏,2 d-3d合奏(PPZ-SegNet)。表现最佳的模型选择使用单侧pair-t测试(见前出版,Balderon (32),选择模型骰子性能指标以粗体突出显示。

考虑到高清,我们发现2 d合奏比3 d合奏分割的前列腺。与此同时,3 d合奏执行比2 d合奏PZ的分割。PPZ-SegNet利用2 d和3 d信息总是等于表现最好的。这些结果说明形成2 d-3d合奏并略微提高网络的泛化能力不同的测试组。

我们还分析了网络的数量在整体影响域适应。这项研究的结果发表在表7,我们不同2 d-3d集合体的数量从1到5,比较参考分割的分割结果。称为单侧配对t检验以95%的信心也应用于统计比较结果。骰子系数而言,整体网络的数量似乎并没有影响到网络的性能在大多数测试数据集性能统计是一样的。牢记高清,PPZ-SegNet有统计分割的高清前列腺小于乐团较低数量的网络。因此,我们得出结论,增加网络的数量在合奏只有提高泛化能力当分段前列腺和使用高清作为评价指标。

表7

表7。评价指标的预测前列腺和PZ分割使用一至五2 d-3d集合体(表示为En)。使用一对单侧-表现最佳模式选择t测试(参见出版之前,Balderon (32),选择模型骰子性能指标以粗体突出显示。

讨论

本研究实现了一个修改深层神经网络架构,基于之前发表的架构(32PPZ-SegNet),请参考。这群网络优化和训练使用的150个病人(火车# 1)T2W-MR 3 d成像数据和测试在4种不同的人群不同的腺大小,分布在整个军团:测试# 1 (n= 192),测试# 2 (n= 26),测试# 3 (n= 15),测试# 4 (n= 50)。本研究独特的评估性能的网络大独立的群体,没有训练的一部分。该方法提供gland-segmentation地区和PZ。能够很好的证明,大多数肿瘤位于前列腺出现PZ地区的腺体,估计超过70% (45),因此区域边界确定的评估是必要的。

我们的研究使用T2W先生图像部分地区的3 d卷,本机解析映射到一个统一的解析之前被用作输入到网络。在预处理步骤、输入图像标准化,以一个固定的分辨率0.5×0.5×3毫米,这是一个必要步骤之后在大多数网络架构来减少检测偏差。在我们的研究中,我们使用一个双重网络体系结构,使用的2 d和3 d卷先生T2W图像生成一个独立的评估,获得共识收敛边界上抓住了腺体结构(见图1)。之前的研究显示更好的分割性能通过使用组合架构比训练一个单独的数据流(32,46),已在我们的实验结果。我们研究网络提供了一个最好的骰子系数平均为0.855(0.843,0.868)测试# 1 (ProstateX)。可再生的结果在4不同的军团,与普通骰子0.794[0.749,0.839]测试# 2,0.806[0.733,0.88]在测试# 3和0.622[0.55,0.71]测试# 4,分别。

最近出版的深模型(47)(ProGNet)乐观的结果与报道声称,在一个独立队列模型是可再生的。模型训练805前列腺mpMR-T2W图片和报道一个骰子系数在0.92 (n= 100,内部队列),0.87 (n外部队列),0.89(= 26日n= 30,外部保证12组)到0.93 (n= 11,队列)。模型使用了2.5 d网络体系结构与代表片在一个病人(3片)模型培训/测试。变得富有挑战性的评估模型的性能在一个很小的test-cohort(测试队列大小的12.4%到1.3%的培训规模)。

在我们的分析表明,随着前列腺体积的增加网络似乎执行更好的描述,用骰子系数提高。这可以归因于这些因素。首先,训练数据有较大的患者腺体积更大的规模让网络更好地履行职责;第二,测试组患者腺卷跨度较小的尺寸范围,网络还没有看到在训练阶段。数据和表显示腺体积之间的关系网络模型及其性能指标(见描述补充数据S1, S2;补充表S1、S2)。不同于其他作品,我们将展示我们的网络在其他测试组的性能。这应该是一个常见的做法,因为它证明了该网络的鲁棒性和局限性。

在这个工作是执行一个重要的分析效果的构成训练集的领域适应气候变化。PPZ-SegNet模型训练的150例火车# 1有一个更好的泛化能力比PPZ-SegNet模型训练与测试# 2 30例和测试# 3(参考表5一个)。这表明有一个更大的更多样化的数据集将改善性能新军团。此外,丰富测试# 2和测试与50例从火车# 3 # 1产生最好的DS测试# 4所示表5 b。这可以归因于广泛的前列腺体积考虑在训练。

在这个工作我们也证明合奏的2 d和3 d网络可以是一个有用的技术来提高泛化到新的军团。我们的实验显示在表6显示,使用2 d-3d合奏提供了一个轻微的分割性能比一个独特的2 d或3 d合奏在所有测试组。2 d和3 d网络提取不同层次的信息,而且每一个将有一个更好的性能在某些类型的数据集和分割任务。在我们的实验中,2 d合奏分割导致的前列腺的骰子系数和高清。在其他作品(已经得到了相似的结果26),3 d网络性能低于2 d片间分辨率高的网络数据集的距离使附近的片不那么相关的信息来预测当前的细分。与此同时,3 d网络性能更好的分割PZ当考虑Haussdorff评价指标。PPZ-SegNet利用两种类型的架构和获得相同的结果作为表现最好的网络,所有的测试集和评价指标。是未知的未来的测试人群的特点是什么,这是一个很好的策略使用2 d-3d合奏,能够利用不同类型的功能关系。

另一个从我们的实验结果是增加2 d-3d集合体的数量从1到5时提高泛化分段前列腺和使用高清作为评价指标。鉴于培训五2 d-3d乐团/一个是计算成本,有必要分析如果改进证明额外成本。在我们的实验中,使用PPZ-SegNet除以一个2 d-3d整体降低了Haussdorff距离从19.44毫米到9.46毫米在测试# 3,从34.35毫米到21.73毫米测试# 4,这是一个重大的进步。因此对于这些人群使用PPZ-SegNet是有道理的。

可变性专家读者中人工注释的前列腺癌/带状解剖学及图像质量差可能因素深层神经网络的表现不佳,这可能导致领域转变,机器学习的一个常见问题,导致不恰当的模型跨组(27,41,48)。这可能会影响分割性能,较低的可能原因骰子测试的分数在某些人群(测试# 4)。另一方面,我们也注意到,测试# 1完成了所有测试人群中骰子平均得分最高,这群类似强度分布训练# 1。这意味着“标准化”的训练和测试组可能导致更多的自动分割结果一致,这表明前列腺癌的MRI-T2W应该遵循PI-RADS指南。此外,一些图像预处理过程,如直方图匹配,也可能有所帮助。我们将进一步研究这个问题。

一个限制在我们的研究中,我们比较了PPZ-SegNet分割结果与人工注释的研究放射科医生使用DS等指标。尽管我们试图通过减少手工仿形可变性之间的共识阅读研究和临床放射学家,内部,在手工注释确实存在(inter-operator可变性49),需要进一步评估评估其影响读者之间,跨机构。另一个限制在构建PPZ-SegNet需要应用部分培训在实现贝叶斯优化。虽然我们测试培训时期的数量提供了一个好的近似的最终性能,这种策略可能偏见的选择快速学习架构,而不是表现最好的网络。

结论

我们提出一个自动DL的分割方法(PPZ-SegNet)前列腺癌和其对MRI-T2W PZ。该模型使用贝叶斯优化方法最小化分割错误和更少的可训练的参数比传统U-net架构。我们研究发现神经网络训练的性能在有限的训练数据可以降低应用于图像时从训练数据是不同的,我们尊重有依赖性前列腺大小。可能还有其他参数,我们的研究没有统计评估。此外,我们发现,使用2 d-3d合奏稍微提高了网络的泛化能力。未来的工作是需要调查的能力这样的网络数据集与其他不同类型的变化,探索网络更不变的输入数据的差异。

数据可用性声明

在这项研究中使用的数据集所提出的模型可以在下面找到在线存储库:癌症成像存档(TCIA):https://www.cancerimagingarchive.net/;承诺12个挑战:https://promise12.grand-challenge.org/;前列腺X的挑战:https://wiki.cancerimagingarchive.net/pages/viewpage.action?pageId=23691656;和深倾斜模型代码:https://github.com/mariabaldeon/PPZ-SegNet.git。

道德声明

涉及人类受试者的研究回顾和批准的南佛罗里达大学/ H李莫菲特癌症中心的机构审查委员会(IRB)。研究中使用的数据集是匿名没有病人级别标识符。回顾性研究放弃需要知情同意,依照国家法律和制度需求。

作者的贡献

MB-C:构思AI模型、描述了手稿写&批准最终版本;ZW:构想的提出想法,提供图像处理,进行了部分实验和准备原始绘图和编辑;山:进行实验和批准了最终版本;YY:回顾了手稿,批准了最终版本;公斤:提供临床的角度来看,回顾了手稿,批准了最终版本;译本:提供临床的角度来看,回顾了手稿,批准了最终版本;YB:参与规划、分析和提供稿件编写和批准的最终版本。所有作者的文章和批准提交的版本。

确认

我们表达我们的诚挚的感谢成像研究人员,临床/研究莫菲特癌症中心放射医师(钱、气路,Choi)的共识读段前列腺腺体的解剖结构。我们也感谢开源数据主机、TCIA数据贡献者,Choyke的团队,Fedorov的团队组织者和前列腺X挑战来自Radbound大学医学中心(豪氏威马等和他的团队)提供高质量的成像数据先生作为一个开放的社区的一部分数据共享和科学探索。编辑提供的援助是莫菲特癌症中心的科学出版办公室戴利德鲁克和杰拉德·赫伯特;没有给出任何补偿超出了他们固定的薪水。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/fnume.2022.1083245/full补充材料。

引用

1。Rawla p .前列腺癌的流行病学。世界J杂志。(2019)10 (2):63 - 89。doi: 10.14740 / wjon1191