同时使用多个结构宫图像分割任务深层神经网络

1介绍

宫成像,捕获视网膜图像使用专门的相机,是应用最广泛的非侵入性技术,视网膜疾病的筛查。这些图片是用来识别常见的眼部疾病,如糖尿病性视网膜病变(DR) (胡锦涛等人。,2015)青光眼,失明最常见的原因,但也可以使用作为心血管疾病的指标。血管(bv)、视神经盘(OD)和黄斑是正常健康宫地标可见的图像。某些特性bv的弯曲度被广泛用于各种心血管疾病的早期检测(Krestanova et al ., 2020)。然而,人工识别和划分的精细结构,像bv需要专业知识,除了容易人工错误。特征提取的OD像cup-to-disc比率可以用来检测青光眼;因此,自动检测的主要地标宫图像已经成为一个活跃的研究领域(口et al ., 2020;郭et al ., 2020;努尔Tjandrasa 2018;江et al ., 2018;约书亚et al ., 2020;Dash et al ., 2020)。

图1显示了一个宫与正常地标形象像bv, OD,黄斑水肿明显。退出的OD是携带信息的视神经从眼睛到大脑。这也是所有bv进入眼睛。因为没有感光器(视杆细胞和视锥细胞)出现在OD,它代表了视网膜的一个盲点。黄斑是许多视锥细胞挤在一起的小区域,这个区域负责敏锐的视力(维基百科,2022)。黄斑的中心点被称为“窝”。bv将血液输送到眼睛视网膜遍布整个地区和不同厚度和密度。

图2 a, B显示了一个示例宫图像与真实渗出液和相应的特性。渗出液体如脓,bv的泄漏。他们表明分泌物博士表现为非结构化的高级阶段,分散,明亮的补丁在宫的形象。

bv的分割是在四个结构被认为是最具挑战性的成像任务因为bv是分布在整个图像不同模式和密度。他们在厚度不同,厚,密度附近的OD和细粒度的树枝的末端。采样下来的一些方法如神经网络所需的形象将导致损失的细粒度的血管分割图像。渗出液,可见不规则的白斑宫图像,也可以分布在整个图像。渗出液与OD也可以混淆,特别是那些看起来非常接近OD,如果功能,如亮度,颜色,位置用于分割。相比之下,中央和OD只存在一次宫图像在一个固定的位置。他们的形状也渗出液和bv相比相对可预测的。由于这些特点,它相对容易识别OD和窝。

这些结构分段的方法之一是使用图像处理算法如阈值、形状和边缘检测和形态学操作。这类算法主要缺点,然而,如使用多个参数的必要性,需要针对不同类型的图像不同采集工件和异常。这可以通过一个数据驱动的方法来解决一分之一确定一些通用的功能,如边缘、颜色、亮度,和位置,为分割是至关重要的任务,然后提取这些特征使用图像处理算法,最后应用机器学习模型,如集群或条件随机场段图像使用特性。在这种方法的挑战是确定可用的特性,可以很容易地提取,和将工作任务和在不同分辨率的图像,病理学,采集工件,然后设计一个算法来提取这些特征。实现这一目标的一个方法是采用端到端深神经网络,把原始图像预处理调整和标准化等作为输入。算法然后学习一组通用的功能从最初的层,朝最后一层更特定于任务的特性,在最后一层执行分割任务。这样的一个有效方法是旅游业越来越受欢迎,已被证明比前面提到的技术。

深度学习突破成功以来,在解决任务在计算机视觉等领域分类(Krizhevsky et al ., 2012Simonyan Zisserman, 2014),框架已经成功扩展到更复杂的任务,如语义分割(陈et al ., 2017;Yu et al ., 2018;王et al ., 2018)。这些深刻的成功的主要原因从神经网络的特性数据的初始层网络,和分割的任务是在最后一层上执行这些学特性。

最近,几个深度学习成功的架构分割(陈等人。,2017)自然图像的细分bv的视网膜图像。许多深度学习架构用于分段具有挑战性的结构如bv (Vengalil et al ., 2016;壮族2018;江et al ., 2018;公园et al ., 2020;渗出液口et al ., 2020;郭et al ., 2020;努尔Tjandrasa, 2018宫的图片,和结果明显好于使用传统的图像处理技术。的主要挑战之一,然而在使用深层神经网络分割的降低分辨率特性映射作为一个深入将导致损失的细节边缘,这对分割是至关重要的任务。使用深度学习体系结构的另一个主要问题为医学图像标注训练数据是有限的可用性。深度学习模型分割需要大量的训练图像的模型有大量的参数,通常在60 - 100 (长et al . 2015年)。火车模型所需图像数量的增加与训练模型中参数的数量。我们的模型有更少的(3100万)参数相对于其他深度学习模型,因为它少层和没有致密层(即。、网络完全卷积编码器和译码器网络是完全de-convolutional)。因此,我们能够获得良好的性能,没有过度拟合,即使训练图像相对较少。许多方法,比如采取多种培训从单个图像补丁(Vengalil et al ., 2016)和转移学习(Vengalil et al ., 2016),已经成功地探索,但这些方法也往往预测的时间也更长,因为复杂的神经网络结构和patch-based训练和预测。

现有的大多数研究都集中在分段独立不同的结构。然而,在几乎所有的实际用例,目的是检测异常的早期发展,(1)渗出液等的病理指标如糖尿病性视网膜病变,2)异常cup-to-disc比率的OD表明青光眼,和(3)异常BV弯曲度可以表明心血管疾病。当一个眼科医生分析宫形象,寻找这些异常现象,这是司空见惯的。所以对于任何自动诊断系统,可以减少由眼科医生需要手动干预,它是必要的,所有这些结构被分割为第一步。应该注意的是,即使只有一个用例就是段单异常分泌物,多任务模型不添加任何额外的开销,而不是模型,预测渗出液。渗出液的分割显示时,显著提高多任务模型,因为其他结构之间的相关性和渗出液;剩下的输出可以忽略。一般来说,细分多个结构使用单独的模型存在以下问题:

1)不考虑结构之间的相关性等(a) bv和OD bv在哪里厚和密集的附近,在OD (b) OD和黄斑,线连接OD的质心和黄斑位于宫形象,沿着直径约(c)渗出液和bv的外观小血管附近的渗出液开始作为bv的物质泄漏,和(d) OD和渗出液混乱的OD的可能性。渗出液质量差宫图像中可以避免如果OD和渗出液分段在一起由一个单一的模型。

2)分段结构分别使用不同的模型会增加培训和预测时间作为一个单独的DL模型为每个结构需要训练。

在这项工作中,我们提出一个多任务,深入学习架构同时分割bv的OD,黄斑,渗出液。我们的结果显示一个单一的网络,预测多个结构执行比检测每个独立使用不同网络结构,作为单一网络可以利用多个任务之间的相关性。这种相关性是显而易见的图1厚,表明bv和密集的附近,在OD。因此,细分的OD的任务可以帮助bv的细分,反之亦然。同样,OD的相对位置和黄斑可以帮助改善这些结构的分割性能。我们进行了实验BV分割使用数据从四个公开和well-evaluated数据集:开车,HRF (布代伊et al ., 2013)、CHASE_DB IDRiD (Porwal, 2018)。因为这些数据集相对较小的数字图像(分别为40、45岁和28),我们使用数据增强技术等水平翻转,垂直翻转、旋转、弹性变换,网格畸变和光学畸变增加训练图像4 - 6倍。黄斑的分割,我们使用IDRiD本地化数据集,其中包含413 103年培训和测试图像。渗出物的IDRiD数据集分割包含总共81张图片,其中54图像被用于训练和27日进行测试。这项工作的主要贡献是提出一个多任务模型,同时分割bv的OD,黄斑,渗出液。提出了多任务模型导致了15%的改进F1分数为渗出液,除了12倍。

2相关工作

2.1血管分割

现有技术宫图像分割主要分为两类:(1)传统的图像处理技术和(2)深度学习技术。图像处理技术的例子包括过滤(Zhang et al ., 2010;•和高丝,2011;阿斯兰,2018)和形态分离(哈桑et al ., 2015;辛格et al ., 2014)。图像处理方法的优势领域知识可以很容易地通过手工合并功能;然而,他们不容易跨不同的数据集。此外,这些算法都是基于许多定制的参数可能不同的数据集的数据集。泛化成为具有挑战性的,因为可能是硬件差异,收购条件的变化,不同的病态,等等。

几种类型的深度学习架构已经成功地分割(陈等人。,2017)自然图像的细分bv的视网膜图像,结果是明显比使用传统的图像处理技术。Vengalil et al。(2016)用一个流行的分割模型,deeplab (陈等人。,2017),pre-trained自然图像的语义分割,在像素级段bv。江泽民et al。(2018)提出了一个pre-trained完全卷积网络分段bv和报告的准确性cross-dataset测试四个不同的数据集。在M-GAN,提出的公园et al。(2020)一块multi-kernel池说,堆叠卷积层之间支持scale-invariance,这对BV分割是一个非常理想的特性。

主要挑战之一使用深层神经网络分割的任务是降低分辨率的特性映射作为一个深入将导致损失等细节的边缘,这是市场细分的关键任务。为了规避这个U-Net (Ronneberger et al ., 2015)模型介绍了专为医学图像分割,因为它有多个跳过连接。在最近的工作中,约书亚et al。(2020)使用一种修改版的U-Net分段bv在视网膜图像和高水平的准确性。Laddernet,引入了壮族等。壮族et al。(2018)是一个序列的多个U-Nets级联起来。

2.2渗出物分割

像BV细分,研究渗出物分割也使用传统的图像处理和执行深度学习技巧。现有的工作使用深度学习方法包括渗出物分割佩尔多莫坚称et al . (2017),谭et al . (2017),冯et al . (2017),郑et al . (2018)。这项工作发表在佩尔多莫坚称et al . (2017),口et al . (2020)使用卷积神经网络,LeNet (勒存et al ., 1989),分类提取宫图像类的“渗出液”或“没有渗出液。“他们提取48×48补丁的大小;因此,网络没有提供pixel-wise分割。这项工作发表在口et al . (2020)提出了一种深度学习的方法,被称为增强型残余U-Net (ERU-Net)。他们提出的模型有三个U-paths每三个up-sampling路径和一个采样下来的道路。这种结构提高了feature-fusion能力的网络获取更详细的宫的形象。该模型还利用残块。

该方法3

3.1 CNN架构

的修改版本U-Net架构提出的Ronneberger et al。(2015)所示,图3用于分段各种结构。修改如下:

1)我们建议网络保留原始输入图像的维度,而描述的原始U-NetRonneberger et al。(2015)减少了原始输入大小从572 572×388×388。

2)我们使用de-convolutional大步的层两层为反对up-sampling up-sampling用于原始U-Net架构。我们的方法的优点是网络也学会使用de-convolutional层插值权重。

3)我们添加了批规范化卷积后层以稳定的培训过程以及更快的训练。

编码器和解码器包括四个阶段。卷积编码器的每一个阶段包含两层,每批规范化和一个ReLU激活函数。max-pooling层的跨两个添加编码器的每一个阶段,年底down-samples图像的两倍。每个解码器层完样本图像的两倍使用de-convolution层后跟一个卷积层。乙状结肠函数用于最终的输出通道有两个过滤器,而不是将Softmax激活函数,因为BV和OD特性并不互相排斥。这些特性共同连接在宫的形象,因此,他们也同时分割产生最好的结果。

对于多任务的实验,辅助任务选择OD分割。我们也评估模型与不同维度的潜在瓶颈层中的表示和不同数量的渠道和报告结果的组合。对于潜在表征维度,我们尝试了不同的值16×16日32×32,64×64、128×128。的频道,实验在384年,512年,768年、1024年和1280年。

3.2数据集

我们使用了驱动,HRF (布代伊et al ., 2013)、CHASE_DB IDRiD (Porwal, 2018)数据集。驱动数据集包含20个训练图像和测试图像的分辨率565×584像素。BV的真实数据集也提供了图像分割注释由人类专家。驱动和CHASE_DB数据集没有OD注释,我们自己带注释的OD在每个图像。HRF数据集包含15个高分辨率宫BV分割的真实图片和注释。

IDRiD (Porwal, 2018)本地化数据集,其中包含413 103训练图像和测试图像真实窝,用于黄斑本地化。渗出液的分割,我们使用了IDRiD分割数据集包含总共81张图片。OD有真实的数据集,但BV真实并不可用。培训渗出液多任务模式,我们首先预测BV在这些图像上使用模型训练图像分割是从HRF,动力和CHASE_DB数据集。这些预测被用作真实BV的任务训练。水平和垂直翻转和增加的数据网格和弹性变形所提供的是图书馆,Albumentations (Buslaev et al ., 2020),用来增加训练样本的数量的4倍。没有预处理,除了调整到512×512的图像,进行原始图像。

3.3实验

我们使用完整的图像,而图像补丁,训练网络,因为一个完整的图像将显示更多的上下文,因此应该更有效的预测结构像OD和黄斑。我们执行多个实验,对个人和同时预测bv的OD,黄斑,渗出液。首先,我们进行BV分割在单个数据集提出U-Net架构实现最好的结果。进一步提高BV的结果,我们利用同时分割BV和OD。除了这些实验中,我们还修改了U-Net架构确定最佳适合bv和OD的参数。

另一个实验中,我们进行BV是火车模型使用从HRF训练集包含图像分割,开车,追逐数据集。我们评估这个训练模型的性能从HRF伸出验证数据集组成的图片,开车,CHASE_DB包含图像从IDRiD数据集和测试数据集。使用IDRiD数据集,我们评估可用的模型定性没有真实数据集。确定训练模型的普遍性,我们也报道的结果数据集所有任务。BV的数据从IDRiD获得数据集被进一步利用改善分割结果OD,黄斑,渗出液。

3.4损失函数和培训

乙状结肠激活函数在输出层。模型的训练与骰子损失和骰子损失和二进制交叉熵的损失。在我们的大多数实验中,我们注意到两者的结合损失给一个更好的F1得分。单独预测结构,四个独立网络架构相同的独立都是经过训练的,一个为每个结构、bv、OD、黄斑和渗出液。

在多任务模型,我们训练了三个独立的网络,每个都有两个输出通道,预测以下三个组合:

1)BV和OD

2)黄斑和OD

3)渗出液和OD

4)BV和黄斑

5)BV和渗出液

6)渗出液、BV和OD

7)黄斑、BV、OD

网络训练60时代在所有情况下。

4结果与讨论

我们使用多个指标,准确性,骰子得分,ROC-AUC, Jaccard指数(十字路口在联盟)来评估模型的性能。这些指标的定义和数学表达式如下所示。

真阳性(TP):积极的图像中像素的数量模型还正确地预测看作是积极的。

真阴性(TN):消极的像素的数量模型准确预测是负的。

假阳性(FP):负面图像中像素的数量模型预测错误地看作是积极的。

假阴性(FN):像素的数量实际上是积极的,模型预测消极。

精度(ACC):它的比例是正确预测积极和消极的像素的总数(真阳性和真正的阴性之和)的图像中的像素总数。

骰子得分:两次重叠的比率(交叉预测和实际积极的像素)的数量的总和的积极真实标记的像素和像素的数量模型预测看作是积极的。

Jaccard指数(JI):也称为intersection-over-union(借据)Jaccard指数预测的交集和真实像素的比例(TP)是一样的预测和真实的结合。

真阳性率(TPR):也称为灵敏度或召回,真阳性比率是真阳性的数量比阳性样品的总数。

假阳性率(玻璃钢):这是假阳性的数量比消极的像素的总数。

ROC-AUC:接受者操作特征(ROC)是一个情节真阳性率与假阳性的比率计算在不同的阈值。ROC曲线下的面积(AUC)是一个测量模型的区分正负样本的能力,这个指标是独立于阈值。除了上述指标外,我们还与其他的方法相比,我们的方法与包含预测的时间。

比较的多任务细分与个体结构的分割,个人预测进行了实验。在这种情况下,网络有一个输出通道对应分段映射。网络输出二进制图像,分辨率相同的输入,显示像素的像素分割。对于多任务模型,附加预测渠道附加结构结合在输出层添加了另一个结构。

表1比较了各种结构的分割性能模型训练时也没有多任务。表提供了一个比较的结果模型训练时在多任务模式中有两个不同的任务和结果与一个单独的任务。在所有这些情况下,OD添加作为一个辅助任务以及主要任务bv、黄斑水肿、渗出液。OD的行显示了OD的分割性能的对比训练时仅OD对多任务与bv损失的结果。从表明显,骰子得分渗出液的分割,导致10%的改进模型训练时结合OD。类似的趋势在BV和OD分割一个改进的骰子点数的4%左右(HRF)和6% (CHASE_DB)。黄斑,分割结果下降了2%在OD作为额外的任务在训练。这是因为黄斑和视神经盘是相互排斥的,因为他们出现在图像中不同的位置。在我们所有的同时分割的实验中,我们使用了s形的函数作为输出激活函数多标记预测,并没有真正的在这种情况下。然而,当训练与bv、黄斑和OD在一起,我们观察到黄斑的得分增加了3%。

为渗出液,我们进行了多个实验(表2)。如表所示,在多任务完成了三个任务(OD、渗出物和BV细分),比分为渗出液分割价值的65%增加了15%。此外,AUC从0.8402提高,当单独训练,训练时0.9993结合BV和OD。图4显示了所有四个渗出物的ROC-AUC曲线分割实验。

图5显示了一个示例的BV HRF分割结果与没有多任务,动力和CHASE_DB数据集。骰子点数的增加是由于较低的假阴性(红色像素)在预测(导致更高的精度)。同样的,图6- - - - - -8显示了OD分割结果的对比,黄斑和渗出液,分别。

改进的性能和多任务的结果之间的两个预测结构直接相关。一起训练时,网络能够学习新的隐层的特性,有助于预测结构。当单独训练,渗出液的OD很容易混淆都出现白斑。同时分割,学会辨别网络OD渗出液,使用一些其他功能比如形状,提高了分割的结果。

图9显示了一个阴谋的验证骰子地图维度得分与特性,和图10显示了骰子分数的函数的频道数量瓶颈层。从图表上明显,最好的结果,当特征地图尺寸是64×64,通道的数量是1024。

图11显示了IDRiD BV分割的结果数据集使用模型训练图像驱动,HRF, CHASE_DB数据集。这些分割结果作为真实BV IDRiD图像训练分泌物在多任务模式。

图12接受者操作特征(ROC)曲线显示了最好的结果三个结构,BV,开发部,和黄斑和病理指标,渗出液。BV分割结果驱动测试图像,虽然OD,黄斑,渗出液结果IDRiD数据集。图中明显,ROC曲线显露鼓励许多视网膜疾病的早期检测指标博士值得注意的是,这些改进的结果实现了多任务的结果与BV和OD图像。

表3比较我们的结果分割的渗出液与最先进的技术。我们的分割结果的AUC是比最新的DL方法(口et al ., 2020);,更重要的是,我们的预测时间明显优于DL的最新方法。这节省时间是通过做整个图像分割在一个传球前进,而许多DL方法使用patch-wise培训。补丁方法需要长时间的预测一个形象网络需要运行每个补丁的预测和预测需要组合在一起得到整个图像分割结果。我们相信AUC通过添加更多的数据可以进一步改进的增强技术,还包括更多的图片在原始训练集,我们的改善AUC归因于多重任务,从而导致更快的学习更广义的特性。我们的方法的另一个主要优点是我们实现分割的两种不同的附加结构,bv和OD,渗出液。努尔,Tjandrasa (2018)首先获得99.33%的准确性通过移除OD然后获得突出的地区使用强度的阈值。挑战他们的方法是阈值不同数据集的数据集和准确性依赖于OD删除步骤。

图13显示了渗出物的比较提出方法的分割结果中提到的方法郭et al。(2020)对于一些样品图片。即使我们有更好的准确性(99.42)和AUC(0.9993)平均超过所有测试图像时,我们的模型未能捕获很小的分泌物,如第二行所示图13。这是因为细分泌物被移除图像缩放的时候从原始大小为4288×2848 - 768×512。

表4显示了我们的BV分割结果的比较与最先进的技术。从表中,我们的方法的准确性(95.89%)驱动数据集比其他最近报道方法,和AUC是接近理想。骰子分数在所有三个数据集是低于patch-based最先进的技术。然而,由于我们训练在整个图像,训练和预测时间大约是20倍patch-based深度学习的方法。

缩写:AUC,曲线下的面积;ACC、准确性

5的结论

在这项工作中,我们说明了修改后的多任务的功效U-Net分段方法宫的血管图像,视神经盘,黄斑,渗出液。该方法导致峰值增加15%的骰子点数的分割渗出相比个人分割结果与相同的架构。使用建议的方法,我们能够实现高水平的准确性95.89%的驱动测试图像大于0.7%一些最近报道的结果。与我们提出的方法,图像的预测时间是12倍的速度比大多数其他深度学习的方法。除了增加预测速度,AUC为渗出液从0.9801%提高到0.9993%,精度从99.33%到99.42%的IDRiD测试数据集。

数据可用性声明

最初的贡献提出了研究中都包含在这篇文章/补充材料。进一步询问可以针对相应的作者。这项工作中使用的所有数据集是公开的。

作者的贡献

SV和BK导致了概念化、调查和开发方法。BK进行实现和运行所有的实验工作。BK和SV的贡献同样写作和格式手稿。NS监督工作,参与编写,审查和编辑。NS验证所提供的工作和资源。

资金

这项工作由机器智能和机器人技术中心(MINRO)项目完全懂得,IIITB。卡纳塔克邦创新科技社会,支持部门,英国电信和科技,卡纳塔克邦政府见没有去。班加罗尔ITD 76 ADM 2017;28.02.2018约会。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或那些出版商编辑和评论员。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用