跳转到主要内容gydF4y2Ba

原始研究的文章gydF4y2Ba

前面。大数据,2023年3月02gydF4y2Ba
秒。医学和公共卫生gydF4y2Ba
卷6 - 2023 |gydF4y2Ba https://doi.org/10.3389/fdata.2023.1108659gydF4y2Ba

NuSegDA:域适应细胞核分割gydF4y2Ba

穆罕默德Minhazul哈克gydF4y2Ba *gydF4y2Ba Hehuan马gydF4y2BaJunzhou黄gydF4y2Ba
  • 计算机科学与工程系,德克萨斯大学阿灵顿,阿灵顿美国TXgydF4y2Ba

原子核的准确分割是至关重要的对癌症诊断和进一步的临床治疗。成功训练细胞核分割网络全程指导的方式为特定类型的器官或癌症,我们需要真实的数据集注释。然而,这样好的注释细胞核分割数据集非常罕见,并手动标记一个未经数据集是一个昂贵的,耗时的,乏味的过程。因此,我们需要发现一种培训细胞核分割网络与无标号数据集。在本文中,我们提出一个模型命名NuSegUDA细胞核分割的无标号数据集(目标领域)。它是通过应用非监督领域适应(UDA)技术的帮助下另一个标签数据集(源域),可能来自不同的器官,癌症,或来源。我们使用UDA技术在特征空间和输出空间。我们另外利用重建网络和对抗性的学习纳入它的源领域图像可以准确地翻译成目标领域进行进一步的分割网络的训练。我们验证提出NuSegUDA在两个公共细胞核分割数据集,并获得显著改善与基线相比的方法。广泛的实验也验证新提出的图像重建的贡献敌对的损失,和target-translated源监督损失NuSegUDA的性能提升。 Finally, considering the scenario when we have a small number of annotations available from the target domain, we extend our work and propose NuSegSSDA, a Semi-Supervised Domain Adaptation (SSDA) based approach.

1。介绍gydF4y2Ba

核是生命的基本组织单元(gydF4y2BaSharma et al ., 2022gydF4y2Ba)。细胞核分割、生物医学图像分割的一个子类,被认为是一个重要的任务数字组织病理学图像分析(gydF4y2Ba杨s . et al ., 2021gydF4y2Ba;gydF4y2Ba哈克和黄,2022gydF4y2Ba)。然而,准确的细胞核分割是相当具有挑战性由于重大核的形状和外观的变化,集群和重叠核,核模糊边界,不一致的染色方法,扫描工件,等等(见gydF4y2Ba图1gydF4y2Ba)。同时,不同器官的组织病理学或癌症类型可能表现出不同的纹理,颜色分布,形态和尺度(gydF4y2Ba徐et al ., 2017gydF4y2Ba;gydF4y2Ba马哈茂德et al ., 2019gydF4y2Ba)。gydF4y2Ba

图1gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图1gydF4y2Ba。原子核的语义分割。在这个图中,输入图像来自于三阴乳腺癌(TNBC)。gydF4y2Ba

细胞核分割问题可以被看作是一个语义分割问题,我们要从背景的细胞核。gydF4y2Ba图1gydF4y2Ba显示了输入图像和相应的语义分割输出的细胞核。基于卷积神经网络(CNN)的方法像完全卷积网络(FCN) (gydF4y2Ba长et al ., 2015gydF4y2Ba),U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba),UNet + + (gydF4y2Ba周et al ., 2018gydF4y2Ba)等给出非常有前途的结果在生物医学图像分割任务以及细胞核分割问题(gydF4y2BaSirinukunwattana et al ., 2016gydF4y2Ba;gydF4y2Ba哈克和黄,2022gydF4y2Ba;gydF4y2BaSharma et al ., 2022gydF4y2Ba)。然而,这些全程指导方法成功地训练,我们至少需要几的带注释的数据量(即。真实,图像与相应的进行像素级标签)(gydF4y2BaZeiler费格斯,2014年gydF4y2Ba;gydF4y2BaKumar et al ., 2017gydF4y2Ba;gydF4y2BaSharma et al ., 2022gydF4y2Ba)。不幸的是,这种好的注释数据集,即使很小型,在生物医学领域非常罕见。此外,由于原子核的异质性,甚至更难学习好的模型的场景下缺乏注释和示例。同时,常用的策略,首先收集一个未经组织病理学的数据集,然后做手工进行像素级的标签在专家的帮助下,也是一个昂贵的,耗时的和乏味的过程(gydF4y2Ba徐et al ., 2017gydF4y2Ba;gydF4y2Ba陈c . et al ., 2019gydF4y2Ba;gydF4y2Ba杨s . et al ., 2021gydF4y2Ba)。例如,注释即使是很小的细胞核分割数据集组成的50图像补丁需要120 - 130 h专家病理学家的时间(gydF4y2Ba侯et al ., 2019gydF4y2Ba)。因此,紧急问题提出:我们如何强劲火车深CNN细胞核分割模型,而不需要任何进一步的注释吗?gydF4y2Ba

细胞核分割问题,只需申请转移(即学习。,米odel年代tr一个我nedw我th one organ or cancer type, and then evaluated with different organ or cancer types) unfortunately leads to poor performance due to the domain shift problem (Sharma et al ., 2022gydF4y2Ba)。这一领域转变问题发生由于不同的扫描仪,扫描协议,组织类型等。gydF4y2BaSharma et al ., 2022gydF4y2Ba)。在本文中,我们提出域适应,学习转移的一个子类,基础框架为细胞核分割解决领域转变的问题。我们认为未经数据集(即。,forwh我chwewant to predict the labels) as the target domain. Then, with the help of another related but different annotated dataset, referred as the source domain, we apply adversarial learning (格拉汉姆·古德费勒et al ., 2014gydF4y2Ba)基于域适应技术细胞核分割问题。因此,我们建议的框架,学习从标记源域和适应无标号的目标域。gydF4y2Ba

在这项工作中,我们首先提出一个无监督领域适应(UDA)模型对细胞核分割关闭之间的差距带注释的源域和标记目标域。无人监督的领域适应方法能够减少标签成本利用跨域数据和调整分配转变标记源域数据和标记目标域之间的数据。我们经验和仔细观察到,图像从不同的核数据集,即使来自不同的器官或癌症类型,表现出不同虽然真实相应的分割非常相似(见标签gydF4y2Ba图2gydF4y2Ba)。总之,真实标签为细胞核分割域不变。因为上述的观察,我们应用领域适应在输出空间。因此,对抗的帮助下学习,我们训练一个健壮的细胞核分割网络生成源领域极为相像的目标图像的输出。敌对的学习努力使目标域的预测与源领域地面真理通过鉴别器训练。除了映像级别领域适应输出空间,我们应用域不变class-conditional特性域特征空间的适应性。然而,仅仅迫使目标域分布向源领域可以摧毁的目标域的结构模式,导致模型的精度下降。也因此,我们使用一个重建网络最大化目标图像之间的相关性和目标预测。再次,重建网络(即不能完美地重建原始图像。,the reconstructed images lack original texture, style, color distribution, etc.) for which we incorporate adversarial learning into the reconstruction network, which in turn helps us to translate source domain images to the target domain. We additionally train our UDA model with these target-translated source images, and observe a significant performance boost. Finally, we extend our UDA framework to Semi-Supervised Domain Adaptation (SSDA) model considering that we have some annotations available from the target domain.

图2gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图2gydF4y2Ba。从不同的领域看起来不同而进行像素级图像分割输出是相似的。在这个图中,源域和目标域图像来自肾脏肾透明细胞癌(KIRC)和三阴乳腺癌(TNBC),分别。gydF4y2Ba

进行广泛的实验在两个细胞核分割数据集我们得出结论,我们提出使用UDA方法,NuSegUDA,优于全程指导模型训练的源域和评估目标域,和基线通用和生物医学UDA分割模型。实验结果(见第4节)也显示培训NuSegUDA提出图像重建的影响敌对的损失,target-translated源图像和特性聚类的损失。此外,我们的SSDA模型的准确性,NuSegSSDA,高度竞争的全程指导下的上限模型训练的目标域。gydF4y2Ba

因此,本文的主要贡献有:(1)提出一种基于无监督学习对立领域适应(UDA)的方法,它是应用于解决核特征空间和输出空间分割问题未经数据集。(2)此外,我们把敌对的学习融入一个重建网络翻译源域到目标域图像,与这些target-translated源图像和训练模型。(3)许多基线相比,我们的方法很简单,因为它不依赖于任何数据synthesization或数据增大。(4)我们建议使用UDA框架可以很容易地扩展到Semi-Supervised领域适应(SSDA)场景,目标域是标记的一小部分。(5)广泛和全面的两个数据集的实验证明了该方法的优越性。gydF4y2Ba

2。相关的工作gydF4y2Ba

在文学中,几个领域适应模型已经提出了通用的图像分割。gydF4y2Ba伊索拉et al。(2017)gydF4y2Ba甘应用条件(gydF4y2Ba殿下,Osindero 2014gydF4y2Ba)image-to-image翻译问题。CyCADA提出一个无监督领域适应(UDA)模型利用输入空间和特征空间适应(gydF4y2Ba霍夫曼et al ., 2017gydF4y2Ba)。多层次的敌对的基于网络的语义分割领域适应气候变化的方法提出了在AdaptSegNet (gydF4y2Ba蔡et al ., 2018gydF4y2Ba)。gydF4y2BaZhang et al。(2018)gydF4y2Ba提出了一个完全卷积适应网络语义分割。CrDoCo提出了一个基于跨域一致性损失pixel-wise对抗的领域适应算法(gydF4y2Ba陈研究。et al ., 2019)gydF4y2Ba)。gydF4y2Ba杨j . et al。(2021)gydF4y2Ba提出了敌对的慎独UDA模型最大化协议清洁样品和他们敌对的例子。gydF4y2Ba托尔多et al。(2021)gydF4y2Ba提出了基于feature-clustering UDA框架组特性相同的类到紧,布置得井然有序集群。gydF4y2Ba

领域适应也被用于不同生物医学图像分割任务。联式域基于鉴别器使用UDA脑损伤模型分割提出了gydF4y2BaKamnitsas et al。(2017)gydF4y2Ba。gydF4y2Ba董et al . (2018)gydF4y2Ba介绍了另一个使用UDA心胸比率估计通过胸部器官分割的框架。gydF4y2Ba霍et al。(2018)gydF4y2Ba提出了一个端到端CycleGAN (gydF4y2Ba朱et al ., 2017gydF4y2Ba)基于整个腹部MRI CT图像合成和CT脾肿大分割网络。gydF4y2Ba马哈茂德et al . (2019)gydF4y2Ba提出了一个细胞核分割方法使用synthesization生成一个大型数据集。gydF4y2Ba戈拉米et al。(2019)gydF4y2Ba提出了biophysics-based医学图像分割框架,丰富了训练数据集通过生成合成肿瘤MR图像。gydF4y2Ba侯et al。(2019)gydF4y2Ba也为组织病理学图像分割合成带注释的训练数据。gydF4y2Ba哈克和黄(2020)gydF4y2Ba利用对手的学习在输出空间以及重建核网络分割。gydF4y2Ba夏et al。(2020)gydF4y2Ba提出Uncertainty-aware视点Co-Training (UMCT)框架能够大规模利用标记数据提高容积医学图像分割。gydF4y2BaRaju et al。(2020)gydF4y2Ba提出一个user-guided领域适应肝脏分割框架使用prediction-based对抗领域适应模型用户交互和面具的联合分布的预测。胃肠内镜成像EndoUDA提出另一个UDA-based分割模型包括共享的编码器和联合损失函数改进的看不见的目标域泛化(gydF4y2Ba侯赛因et al ., 2021gydF4y2Ba)。gydF4y2Ba李et al。(2021)gydF4y2Ba提出另一个氮化镓(gydF4y2Ba殿下,Osindero 2014gydF4y2Ba)基于无监督领域适应框架的细胞核分割也利用self-ensembling和条件随机场(gydF4y2BaBoykov和柯尔莫哥洛夫,2004gydF4y2Ba)。gydF4y2BaSharma et al。(2022)gydF4y2Ba提出了一种基于互信息的使用UDA跨域细胞核分割的方法。gydF4y2Ba

一些以前的方法(gydF4y2Ba董et al ., 2018gydF4y2Ba;gydF4y2Ba蔡et al ., 2018gydF4y2Ba;gydF4y2Ba哈克和黄,2020gydF4y2Ba;gydF4y2Ba托尔多et al ., 2021gydF4y2Ba)采用无监督领域适应气候变化技术输出空间或功能空间。不同于这些方法,在我们的工作,我们应用领域适应在输出空间和特征空间。此外,不同于以往的作品,我们利用一个重建网络,以确保目标域预测空间对应到目标域图像。而且,最近的一些工作(gydF4y2Ba霍et al ., 2018gydF4y2Ba;gydF4y2Ba戈拉米et al ., 2019gydF4y2Ba;gydF4y2Ba侯et al ., 2019gydF4y2Ba;gydF4y2Ba马哈茂德et al ., 2019gydF4y2Ba)复杂数据synthesization技术应用于生成大量的训练数据集。相反,在我们的工作,我们只是把敌对的学习这样的源域图像可以被翻译到目标域进行进一步的培训。gydF4y2Ba

3所示。方法gydF4y2Ba

在本节中,我们首先描述,我们旨在解决的问题。然后,我们介绍了我们提出的细节无监督领域适应(UDA)和Semi-Supervised领域适应(SSDA)框架。最后,我们讨论该模型的实现。gydF4y2Ba

3.1。问题定义gydF4y2Ba

在我们的细胞核分割问题,我们核组织病理学图像补丁作为输入gydF4y2BaXgydF4y2Ba的大小gydF4y2BaHgydF4y2Ba×gydF4y2BaWgydF4y2Ba×3。输入gydF4y2BaXgydF4y2Ba来自源域和目标域。根据问题(即。,un年代uperv我年代ed或 semi-supervised) and domain (i.e., source or target), we may also have the corresponding pixel-wise ground-truth labelYgydF4y2Ba的大小gydF4y2BaHgydF4y2Ba×gydF4y2BaWgydF4y2Ba×1这基本上是一个二进制的面具。使用分割网络,我们要预测的分割输出Ŷ大小gydF4y2BaHgydF4y2Ba×gydF4y2BaWgydF4y2Ba×1。gydF4y2Ba

在形式上,在无人监督的领域适应(UDA)问题,源域组成gydF4y2BaNgydF4y2Ba年代gydF4y2Ba{注释的图像(gydF4y2BaXgydF4y2Ba年代gydF4y2Ba,gydF4y2BaYgydF4y2Ba年代gydF4y2Ba)},目标域gydF4y2BaNgydF4y2BatgydF4y2Ba{(未经图像gydF4y2BaXgydF4y2BatgydF4y2Ba)}。在Semi-Supervised域的情况下适应(SSDA)问题,源域是一样的在使用UDA问题,我们假设目标领域gydF4y2Ba NgydF4y2Ba tgydF4y2Ba lgydF4y2Ba 图片和注释gydF4y2Ba {gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba YgydF4y2Ba tgydF4y2Ba )gydF4y2Ba }gydF4y2Ba 和gydF4y2Ba NgydF4y2Ba tgydF4y2Ba ugydF4y2Ba 未经图像gydF4y2Ba {gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba }gydF4y2Ba 。在使用UDA和SSDA问题,源域和目标域数据相关的数据,但是他们来自不同的发行版(即。,不同的器官或癌症类型)。无监督和Semi-Supervised域的适应,我们的最终目标是学习细胞核分割模型,准确地产生分割输出在目标域。gydF4y2Ba

3.2。无人监督的领域适应气候变化gydF4y2Ba

我们参考细胞核分割无监督领域适应NuSegUDA (UDA)模型,和框架所示gydF4y2Ba图3gydF4y2Ba。NuSegUDA由四个模块组成:分割网络(gydF4y2Ba年代gydF4y2Ba),重建网络(R),预测鉴别器(gydF4y2BaDgydF4y2BaPgydF4y2Ba)和图像鉴别器(gydF4y2BaDgydF4y2Ba我gydF4y2Ba)。gydF4y2Ba

图3gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图3gydF4y2Ba。完整的NuSegUDA架构。分割网络生成分割输出,重建网络输入图象重构。预测鉴别器区分输出源域和目标域输出。图像鉴别器区分原始图像和重建图像。gydF4y2Ba

3.2.1之上。分割网络gydF4y2Ba

分割网络gydF4y2Ba年代gydF4y2Ba把图片gydF4y2BaXgydF4y2Ba作为输入并产生相同大小的细分预测Ŷ作为输入。在这里,gydF4y2BaXgydF4y2Ba可以是源域形象吗gydF4y2BaXgydF4y2Ba年代gydF4y2Ba,或者是目标领域的形象gydF4y2BaXgydF4y2BatgydF4y2Ba。因此,源域的预测gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba =gydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba 和目标域的预测gydF4y2Ba YgydF4y2Ba tgydF4y2Ba ^gydF4y2Ba =gydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba 。从甘的角度(gydF4y2Ba格拉汉姆·古德费勒et al ., 2014gydF4y2Ba)框架,分割网络gydF4y2Ba年代gydF4y2Ba可以认为发生器模块。gydF4y2Ba

我们训练gydF4y2Ba年代gydF4y2Ba生成源域分割预测gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba 是类似于真实源域标签gydF4y2BaYgydF4y2Ba年代gydF4y2Ba。因为在无人监督的领域适应真实(UDA)标签不能用于目标图像,我们不能计算任何监督进行像素级损失为目标预测。在实践中,我们发现,结合dice-coefficient损失和熵最小化损失不仅仅是有效地使用二进制叉损失细胞核分割任务。因此,我们定义细分的损失gydF4y2BalgydF4y2Ba赛格gydF4y2Ba为:gydF4y2Ba

lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba cgydF4y2Ba egydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba 。gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ^gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba +gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ^gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba )gydF4y2Ba
lgydF4y2Ba egydF4y2Ba 米gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba =gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba ,gydF4y2Ba wgydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 2gydF4y2Ba )gydF4y2Ba
lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba =gydF4y2Ba lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba cgydF4y2Ba egydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba +gydF4y2Ba lgydF4y2Ba egydF4y2Ba 米gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 3gydF4y2Ba )gydF4y2Ba

在哪里gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba 和gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ^gydF4y2Ba 是平的gydF4y2BaYgydF4y2Ba年代gydF4y2Ba和gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba ,分别。gydF4y2Ba

这里,可能出现的问题,为什么我们使用单一分割网络gydF4y2Ba年代gydF4y2Ba在NuSegUDA虽然我们有两个不同的领域。因为我们特别寻找核两域图像,使用多个分割网络是很不寻常的。此外,使用两个分割网络会增加可学的参数的数量从而减缓训练过程。因此,单一分割网络有助于防止内存问题和培训在NuSegUDA延迟。gydF4y2Ba

培训细分网络gydF4y2Ba年代gydF4y2Ba只有带注释的源数据教gydF4y2Ba年代gydF4y2Ba对源图像进行准确的预测。然而,这种分割网络就有可能产生错误的输出目标图像源图像和目标图像的视觉差异(见gydF4y2Ba图2gydF4y2Ba)。这种视觉领域差距导致域名转移的问题。根据我们之前提到的观察细胞核分割输出域不变,我们要求gydF4y2Ba年代gydF4y2Ba生产目标域预测尽可能接近源域预测。换句话说,我们想要的目标的分布预测gydF4y2Ba YgydF4y2Ba tgydF4y2Ba ^gydF4y2Ba 接近源分布的预测gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba 。由于这个原因,我们利用预测鉴别器gydF4y2BaDgydF4y2BaPgydF4y2BaNuSegUDA,我们预测对手的损失定义为:gydF4y2Ba

lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba PgydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba pgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba pgydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba pgydF4y2Ba ,gydF4y2Ba wgydF4y2Ba pgydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba DgydF4y2Ba PgydF4y2Ba (gydF4y2Ba ŶgydF4y2Ba tgydF4y2Ba )gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 4gydF4y2Ba )gydF4y2Ba

在ŶgydF4y2BatgydF4y2Ba=gydF4y2Ba年代gydF4y2Ba(gydF4y2BaXgydF4y2BatgydF4y2Ba),gydF4y2BaHgydF4y2BapgydF4y2Ba和gydF4y2BaWgydF4y2BapgydF4y2Ba高度和宽度预测鉴频器的输出吗gydF4y2BaDgydF4y2BaPgydF4y2Ba(ŶgydF4y2BatgydF4y2Ba)。预测鉴别器的细节gydF4y2BaDgydF4y2BaPgydF4y2Ba3.2.3节中讨论。gydF4y2Ba

预测方程(4)可以帮助对抗损失gydF4y2Ba年代gydF4y2Ba傻瓜预测鉴别器,这样认为gydF4y2Ba YgydF4y2Ba tgydF4y2Ba ^gydF4y2Ba 作为源域分割输出。分割损失和预测对手的损失共同指导gydF4y2Ba年代gydF4y2BaŶ生成目标域的预测gydF4y2BatgydF4y2Ba这类似于源域真实。gydF4y2Ba

3.2.2。重建网络gydF4y2Ba

如前所述,分割网络gydF4y2Ba年代gydF4y2Ba生产域不变域的预测。换句话说,我们想生成目标域预测的方式使他们成为类似于源域的预测。然而,它是非常可能的目标预测与相应的目标之间并非亦步亦趋的输入图像。在这种情况下,重建图像的能力从预测类似的视觉外观作为输入图像将确保有一个输入图像和分割输出之间的相关性。gydF4y2Ba

来确保我们的目标域预测空间对应到目标域图像,重建网络gydF4y2BaRgydF4y2Ba用于NuSegUDA。以类似的方式gydF4y2Ba夏和巴巴(2017)gydF4y2Ba,我们认为分割网络gydF4y2Ba年代gydF4y2Ba和重建网络gydF4y2BaRgydF4y2Ba分别作为一个编码器和译码器。gydF4y2BaRgydF4y2Ba目标图象重构从相应的预测。因此,gydF4y2Ba年代gydF4y2Ba和gydF4y2BaRgydF4y2Ba完全是一个autoencoder。gydF4y2Ba

使用我们的重建网络gydF4y2BaRgydF4y2Ba,我们首先重建目标输入图像gydF4y2BaXgydF4y2BatgydF4y2Ba从ŶgydF4y2BatgydF4y2Ba。然后,我们计算重建损失为:gydF4y2Ba

lgydF4y2Ba rgydF4y2Ba egydF4y2Ba cgydF4y2Ba ogydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba ×gydF4y2Ba CgydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba ,gydF4y2Ba wgydF4y2Ba ,gydF4y2Ba cgydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba RgydF4y2Ba (gydF4y2Ba ŶgydF4y2Ba tgydF4y2Ba )gydF4y2Ba )gydF4y2Ba 2gydF4y2Ba (gydF4y2Ba 5gydF4y2Ba )gydF4y2Ba

在那里,gydF4y2BaRgydF4y2Ba(ŶgydF4y2BatgydF4y2Ba)是重建Ŷ网络的输出gydF4y2BatgydF4y2Ba,gydF4y2BaCgydF4y2Ba是输入图像通道的数量gydF4y2BaXgydF4y2BatgydF4y2Ba。gydF4y2Ba

虽然我们使用上面重建损失重建目标域图像从其预测,重建的图像可能有非常不同的材质和风格(核和背景)比原始图像(见gydF4y2Ba图4gydF4y2Ba)。原因是pixel-wise重建的损失gydF4y2BalgydF4y2Ba侦查gydF4y2Ba在方程(5)不能捕获目标领域的整体像素分布图像。为了解决这个问题,除了gydF4y2BalgydF4y2Ba侦查gydF4y2Ba,我们还利用图像鉴别器gydF4y2BaDgydF4y2Ba我gydF4y2Ba区分原始图像和重建图像。训练gydF4y2BaRgydF4y2Ba和gydF4y2Ba年代gydF4y2Ba生成original-alike重建图像,我们定义图像重建敌对的损失为:gydF4y2Ba

lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba 我gydF4y2Ba ×gydF4y2Ba WgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba wgydF4y2Ba 我gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba DgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba )gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 6gydF4y2Ba )gydF4y2Ba
图4gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图4gydF4y2Ba。可视化target-translated源域的图像gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba也是一样的重建源图像吗gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ~gydF4y2Ba 。gydF4y2Ba(两者)gydF4y2Ba和gydF4y2Ba(D-F)gydF4y2Ba选择从肾脏肾透明细胞癌(KIRC)领域,和三阴乳腺癌(TNBC)域,分别。在gydF4y2Ba(C)gydF4y2Ba和gydF4y2Ba(F)gydF4y2Ba,我们看到KIRC域图像(即翻译。,侦查tructed)我ntoTNBC domain styles, and vice versa, respectively. In(B, C)gydF4y2Ba和gydF4y2Ba(E, F)gydF4y2Ba,gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Baw / ogydF4y2BalgydF4y2BaadvIgydF4y2Ba和gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Baw /gydF4y2BalgydF4y2BaadvIgydF4y2Ba参考翻译与图像重建图像NuSegUDA训练时没有和敌对的损失gydF4y2BalgydF4y2BaadvIgydF4y2Ba,分别。gydF4y2Ba

在哪里gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba =gydF4y2Ba RgydF4y2Ba (gydF4y2Ba ŶgydF4y2Ba tgydF4y2Ba )gydF4y2Ba ,gydF4y2BaHgydF4y2Ba我gydF4y2Ba和gydF4y2BaWgydF4y2Ba我gydF4y2Ba图像的高度和宽度鉴频器输出吗gydF4y2Ba DgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba )gydF4y2Ba 。这种敌对的损失gydF4y2BalgydF4y2BaadvIgydF4y2Ba火车gydF4y2BaRgydF4y2Ba和gydF4y2Ba年代gydF4y2Ba重建目标域的图像类似的分布(纹理,风格,颜色分布,等等)的原始图像的目标域。gydF4y2Ba

在NuSegUDA,gydF4y2BalgydF4y2BaadvPgydF4y2Ba帮助细分网络gydF4y2Ba年代gydF4y2Ba生成目标预测gydF4y2Ba YgydF4y2Ba tgydF4y2Ba ^gydF4y2Ba 相似的预测源gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ^gydF4y2Ba 。而且,由于gydF4y2BalgydF4y2BaadvIgydF4y2Ba,重建网络gydF4y2BaRgydF4y2Ba学会重构目标图像(例如,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba ),非常类似于原始的目标图像的纹理,风格,颜色分布,等等。换句话说,gydF4y2Ba年代gydF4y2Ba地图两域图像(例如,gydF4y2BaXgydF4y2Ba年代gydF4y2Ba和gydF4y2BaXgydF4y2BatgydF4y2Ba)共同预测子空间gydF4y2Ba ℝgydF4y2Ba pgydF4y2Ba ngydF4y2Ba ,从gydF4y2Ba ℝgydF4y2Ba pgydF4y2Ba ngydF4y2Ba RgydF4y2Ba重建图像在目标域。因此,使用gydF4y2Ba年代gydF4y2Ba和gydF4y2BaRgydF4y2Ba我们可以将源域图像gydF4y2BaXgydF4y2Ba年代gydF4y2Ba到目标域。因此,目标翻译源域图像gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba=gydF4y2BaRgydF4y2Ba(gydF4y2Ba年代gydF4y2Ba(gydF4y2BaXgydF4y2Ba年代gydF4y2Ba))。gydF4y2Ba图4gydF4y2Ba显示的可视化图像重建的影响敌对的损失gydF4y2BalgydF4y2BaadvIgydF4y2Ba在gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba。最后,我们训练细分网络gydF4y2Ba年代gydF4y2Ba{(gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba,gydF4y2BaYgydF4y2Ba年代gydF4y2Ba使用后)}gydF4y2BalgydF4y2Ba反式gydF4y2Ba损失是dice-coefficient损失和熵最小化损失:gydF4y2Ba

lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba cgydF4y2Ba egydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba 。gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ~gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba +gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ^gydF4y2Ba (gydF4y2Ba 7gydF4y2Ba )gydF4y2Ba
lgydF4y2Ba egydF4y2Ba 米gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba ,gydF4y2Ba wgydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ~gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ~gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 8gydF4y2Ba )gydF4y2Ba
lgydF4y2Ba tgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba cgydF4y2Ba egydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba lgydF4y2Ba egydF4y2Ba 米gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba (gydF4y2Ba 9gydF4y2Ba )gydF4y2Ba

在哪里gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ~gydF4y2Ba =gydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba 。而且,gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba 和gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ′gydF4y2Ba ~gydF4y2Ba 是平的gydF4y2BaYgydF4y2Ba年代gydF4y2Ba和gydF4y2Ba YgydF4y2Ba 年代gydF4y2Ba ~gydF4y2Ba ,分别。gydF4y2Ba

3.2.3。鉴别器gydF4y2Ba

我们利用两个鉴别器在NuSegUDA:预测鉴别器(gydF4y2BaDgydF4y2BaPgydF4y2Ba)和图像鉴别器(gydF4y2BaDgydF4y2Ba我gydF4y2Ba)。预测鉴别器区分输出源域和目标域的输出,而图像鉴别器区分原始图像和重建图像。我们讨论的细节都鉴别器在下面。gydF4y2Ba

预测鉴别器gydF4y2Ba作为我们的目标是生成的类似预测源图像和目标图像,我们将预测鉴别器gydF4y2BaDgydF4y2BaPgydF4y2Ba在NuSegUDA。此鉴别器将源域预测或目标域预测作为输入,然后区分是否输入(即。预测)来自源域和目标域的。训练gydF4y2BaDgydF4y2BaPgydF4y2Ba我们使用以下叉损失:gydF4y2Ba

lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba 年代gydF4y2Ba PgydF4y2Ba (gydF4y2Ba YgydF4y2Ba ^gydF4y2Ba )gydF4y2Ba =gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba pgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba pgydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba pgydF4y2Ba ,gydF4y2Ba wgydF4y2Ba pgydF4y2Ba zgydF4y2Ba pgydF4y2Ba 。gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba DgydF4y2Ba PgydF4y2Ba (gydF4y2Ba YgydF4y2Ba ^gydF4y2Ba )gydF4y2Ba )gydF4y2Ba +gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba zgydF4y2Ba pgydF4y2Ba )gydF4y2Ba 。gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba DgydF4y2Ba PgydF4y2Ba (gydF4y2Ba YgydF4y2Ba ^gydF4y2Ba )gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 10gydF4y2Ba )gydF4y2Ba

在哪里gydF4y2BazgydF4y2BapgydF4y2Ba= 0时gydF4y2BaDgydF4y2BaPgydF4y2Ba把目标域预测作为输入gydF4y2BazgydF4y2BapgydF4y2Ba= 1输入时从源域的预测。gydF4y2Ba

图像鉴别器gydF4y2Ba我们使用图像鉴别器gydF4y2BaDgydF4y2Ba我gydF4y2Ba在NuSegUDA重建图像分布变得类似于原始图像。的输入gydF4y2BaDgydF4y2Ba我gydF4y2Ba最初的目标图像或重建的目标图像。然后,gydF4y2BaDgydF4y2Ba我gydF4y2Ba区分是否输入原始或重建一个。类似于gydF4y2BaDgydF4y2BaPgydF4y2Ba之后,我们使用叉培训损失gydF4y2BaDgydF4y2Ba我gydF4y2Ba:gydF4y2Ba

lgydF4y2Ba dgydF4y2Ba 我gydF4y2Ba 年代gydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba )gydF4y2Ba =gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba 我gydF4y2Ba ×gydF4y2Ba WgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba hgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba wgydF4y2Ba 我gydF4y2Ba zgydF4y2Ba 我gydF4y2Ba 。gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba DgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba )gydF4y2Ba )gydF4y2Ba +gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba zgydF4y2Ba 我gydF4y2Ba )gydF4y2Ba 。gydF4y2Ba 日志gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba DgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba )gydF4y2Ba )gydF4y2Ba (gydF4y2Ba 11gydF4y2Ba )gydF4y2Ba

在哪里gydF4y2BazgydF4y2Ba我gydF4y2Ba= 0时gydF4y2BaDgydF4y2Ba我gydF4y2Ba需要重建的目标图像gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba 作为输入gydF4y2BazgydF4y2Ba我gydF4y2Ba= 1时,输入来自原始目标图像gydF4y2BaXgydF4y2BatgydF4y2Ba。gydF4y2Ba

3.2.4。级的适应gydF4y2Ba

除了输出映像级别领域适应气候变化,我们也应用级的领域适应NuSegUDA减少特征空间领域的差距。我们认为,我们的网络分割gydF4y2Ba年代gydF4y2Ba由一个编码器吗gydF4y2Ba年代gydF4y2BaEgydF4y2Ba和一个解码器gydF4y2Ba年代gydF4y2BaDgydF4y2Ba(例如,gydF4y2Ba年代gydF4y2Ba=gydF4y2Ba年代gydF4y2BaEgydF4y2Ba操作系统gydF4y2BaDgydF4y2Ba)。在这里,编码器gydF4y2Ba年代gydF4y2BaEgydF4y2Ba特征提取器。由于输入数据跨领域的差异,也有转变的特征在特征空间分布跨越gydF4y2Ba年代gydF4y2BaEgydF4y2Ba。类似于gydF4y2Ba托尔多et al。(2021)gydF4y2Ba,我们利用集群的损失特性作为约束向class-conditional功能域之间的对齐。gydF4y2Ba

给定源图像gydF4y2BaXgydF4y2Ba年代gydF4y2Ba和目标图像gydF4y2BaXgydF4y2BatgydF4y2Ba,我们首先提取特征gydF4y2BaFgydF4y2Ba年代gydF4y2Ba=gydF4y2Ba年代gydF4y2BaEgydF4y2Ba(gydF4y2BaXgydF4y2Ba年代gydF4y2Ba),gydF4y2BaFgydF4y2BatgydF4y2Ba=gydF4y2Ba年代gydF4y2BaEgydF4y2Ba(gydF4y2BaXgydF4y2BatgydF4y2Ba)。然后,集群计算损失为:gydF4y2Ba

lgydF4y2Ba cgydF4y2Ba lgydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ∣gydF4y2Ba FgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba ∣gydF4y2Ba ∑gydF4y2Ba fgydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba FgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba ∈gydF4y2Ba YgydF4y2Ba ^gydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba dgydF4y2Ba (gydF4y2Ba fgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba )gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ∣gydF4y2Ba CgydF4y2Ba ∣gydF4y2Ba (gydF4y2Ba ∣gydF4y2Ba CgydF4y2Ba ∣gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba )gydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba ∈gydF4y2Ba CgydF4y2Ba ∑gydF4y2Ba kgydF4y2Ba ∈gydF4y2Ba CgydF4y2Ba ,gydF4y2Ba kgydF4y2Ba ≠gydF4y2Ba jgydF4y2Ba dgydF4y2Ba (gydF4y2Ba cgydF4y2Ba jgydF4y2Ba ,gydF4y2Ba cgydF4y2Ba kgydF4y2Ba )gydF4y2Ba (gydF4y2Ba 12gydF4y2Ba )gydF4y2Ba

在哪里gydF4y2BafgydF4y2Ba我gydF4y2Ba相对应的特征向量是空间位置的gydF4y2BaFgydF4y2Ba年代gydF4y2Ba或gydF4y2BaFgydF4y2BatgydF4y2Ba,ŷgydF4y2Ba我gydF4y2Ba相应的预测类,gydF4y2BaCgydF4y2Ba是语义类的集合{0,1}为细胞核分割问题。计算ŷgydF4y2Ba我gydF4y2Ba,细分预测Ŷdownsampled匹配的空间维度gydF4y2BaFgydF4y2Ba。我们设置了函数gydF4y2BadgydF4y2Ba(.)L1范数。在方程(12),gydF4y2BacgydF4y2BajgydF4y2Ba表示语义类的重心gydF4y2BajgydF4y2Ba,使用下面的公式计算:gydF4y2Ba

cgydF4y2Ba jgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba fgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba δgydF4y2Ba jgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba fgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba δgydF4y2Ba jgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ^gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba ∈gydF4y2Ba {gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba 1gydF4y2Ba }gydF4y2Ba (gydF4y2Ba 13gydF4y2Ba )gydF4y2Ba

其中δgydF4y2BajgydF4y2Ba,gydF4y2BaŷgydF4y2Ba我gydF4y2Ba如果ŷ= 1gydF4y2Ba我gydF4y2Ba=gydF4y2BajgydF4y2Ba,否则为0。gydF4y2Ba

在方程(12),聚类损失由两项组成:第一项措施如何关闭特性从各自的重心,和第二项措施语义类质心的差距有多远。因此,根据第一项,同一个类的特征向量从相同或不同的域是收紧在质心类特性。因为第二个任期,来自不同阶层的特性得到斥力应用于功能重心将它们分开。gydF4y2Ba

因此,我们尽量减少以下全损时训练我们的分割网络gydF4y2Ba年代gydF4y2Ba和重建网络gydF4y2BaRgydF4y2Ba:gydF4y2Ba

lgydF4y2Ba ugydF4y2Ba dgydF4y2Ba 一个gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba =gydF4y2Ba lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba PgydF4y2Ba lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba PgydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba rgydF4y2Ba egydF4y2Ba cgydF4y2Ba ogydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba lgydF4y2Ba rgydF4y2Ba egydF4y2Ba cgydF4y2Ba ogydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba 我gydF4y2Ba lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba tgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba lgydF4y2Ba tgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba cgydF4y2Ba lgydF4y2Ba lgydF4y2Ba cgydF4y2Ba lgydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba )gydF4y2Ba (gydF4y2Ba 14gydF4y2Ba )gydF4y2Ba

在那里,λgydF4y2BaadvPgydF4y2Ba,λgydF4y2Ba侦查gydF4y2Ba,λgydF4y2BaadvIgydF4y2Ba,λgydF4y2Ba反式gydF4y2Ba和λgydF4y2BaclgydF4y2Ba权重平衡相应损失。gydF4y2Ba

3.3。Semi-Supervised领域适应气候变化gydF4y2Ba

在Semi-Supervised领域适应(SSDA)问题,我们旨在确保最好的用法可用目标域的注释gydF4y2BaYgydF4y2BatgydF4y2Ba当训练我们的分割网络gydF4y2Ba年代gydF4y2Ba。在这样的场景中,我们扩展提出NuSegUDA框架NuSegSSDA,细胞核分割SSDA模型。gydF4y2Ba

在NuSegSSDA未经目标图像gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba 我们作为NuSegUDA遵循相同的步骤。然而,当我们遇到一个带注释的目标数据gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba YgydF4y2Ba tgydF4y2Ba )gydF4y2Ba 在培训的同时,我们另外计算分割的损失gydF4y2Ba lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba )gydF4y2Ba 以类似的方式对方程(3),然后在计算我们合并的总损失gydF4y2Ba lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba )gydF4y2Ba 这样细分网络学习生成预测接近目标真实。因此,方程(14)现在修改如下:gydF4y2Ba

lgydF4y2Ba 年代gydF4y2Ba 年代gydF4y2Ba dgydF4y2Ba 一个gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba =gydF4y2Ba lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba )gydF4y2Ba +gydF4y2Ba lgydF4y2Ba 年代gydF4y2Ba egydF4y2Ba ggydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba PgydF4y2Ba lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba PgydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba rgydF4y2Ba egydF4y2Ba cgydF4y2Ba ogydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba lgydF4y2Ba rgydF4y2Ba egydF4y2Ba cgydF4y2Ba ogydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba 我gydF4y2Ba lgydF4y2Ba 一个gydF4y2Ba dgydF4y2Ba vgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba tgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba lgydF4y2Ba tgydF4y2Ba rgydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba 年代gydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba →gydF4y2Ba tgydF4y2Ba )gydF4y2Ba +gydF4y2Ba λgydF4y2Ba cgydF4y2Ba lgydF4y2Ba lgydF4y2Ba cgydF4y2Ba lgydF4y2Ba (gydF4y2Ba XgydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba XgydF4y2Ba tgydF4y2Ba ugydF4y2Ba )gydF4y2Ba (gydF4y2Ba 15gydF4y2Ba )gydF4y2Ba

4所示。实验gydF4y2Ba

4.1。数据集gydF4y2Ba

在我们的实验中,我们使用两个圆)染色组织病理学与真实数据集注释细胞核分割。我们使用的数据集都是公开的。我们提出以下的简短的数据集。gydF4y2Ba

Dataset-1 (KIRC)gydF4y2Ba这是来自数据集gydF4y2BaIrshad et al。(2014)gydF4y2Ba图像的提取在40 x放大整个幻灯片图片(WSI)肾肾透明细胞癌(KIRC)。这个数据集,称为KIRC,由486名)染色组织学图像注释的400×400像素大小由专家病理学家和研究人员。在我们的实验中,我们随机KIRC分割成80%的训练,10%的验证和测试为10%。gydF4y2Ba

Dataset-2 (TNBC)gydF4y2BaNaylor et al。(2018)gydF4y2Ba这个数据集生成通过收集幻灯片从三阴乳腺癌(TNBC)患者40 x放大。总共50)染色组织学图像的像素大小512×512,标签是由专家病理学家和研究人员。我们遵循相同的数据分割为KIRC这个数据集。我们称这个数据集TNBC在我们的实验。gydF4y2Ba

视觉差异数据集gydF4y2Ba虽然数据集包含)染色组织病理学图像,他们是来自两个不同的器官,癌症,和机构。TCGA KIRC图像来自门户(图片获取工具对我们是未知的),而TNBC图像获得居里研究所使用飞利浦超快速扫描仪1.6 ra。器官不同,癌症类型差异,制度不同,使用不同的成像工具和协议导致视觉图像从这两个数据集之间的差异。看到gydF4y2Ba图2gydF4y2Ba,TNBC图像看起来比KIRC暗图像。gydF4y2Ba

4.2。实现gydF4y2Ba

在我们的工作中,我们使用U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba)我们两分割网络和重建网络。我们选择U-Net因此我们提出分割框架可以直接应用于其他生物医学领域。我们首选U-Net UNet + + (gydF4y2Ba周et al ., 2018gydF4y2Ba因为数量少的参数)。DCGAN (gydF4y2Ba雷德福et al ., 2015gydF4y2Ba),我们设计了我们预测鉴别器和图像鉴别器组成的五个回旋的层。训练NuSegUDA NuSegSSDA,我们跟着训练策略从甘(gydF4y2Ba格拉汉姆·古德费勒et al ., 2014gydF4y2Ba)。亚当优化器(gydF4y2BaKingma英航,2014gydF4y2Ba)学习速率为0.0001,0.001,0.001,和0.001用于分割网络,重建网络,预测鉴别器,分别和图像鉴别器。我们根据经验选择0.001,0.01,0.001,0.001,和0.002λgydF4y2BaadvPgydF4y2Ba,λgydF4y2Ba侦查gydF4y2Ba,λgydF4y2BaadvIgydF4y2Ba,λgydF4y2Ba反式gydF4y2Ba和λgydF4y2BaclgydF4y2Ba,分别。我们实现NuSegUDA和NuSegSSDA使用PyTorch (gydF4y2BaPaszke et al ., 2019gydF4y2Ba),在单个GPU和训练。我们不使用任何数据增加在我们的实验。gydF4y2Ba

4.3。实验结果gydF4y2Ba

4.3.1。无人监督的领域适应气候变化gydF4y2Ba

实验一(KIRC→TNBC)gydF4y2Ba在我们的第一个实验中,我们选择KIRC作为源域和TNBC作为目标域,用KIRC→TNBC。在我们的实验中,我们选择U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba)作为代表基于卷积神经网络(CNN)的方法。全程指导细分模式U-Net洞察了如何执行时直接应用转移(即学习。、培训只有KIRC,然后测试它TNBC没有任何修改)。AdaptSegNet (gydF4y2Ba蔡et al ., 2018gydF4y2Ba)和OrClEmb (gydF4y2Ba托尔多et al ., 2021gydF4y2Ba)表示通用的无监督领域适应(UDA)模型。DA-ADV (gydF4y2Ba董et al ., 2018gydF4y2Ba),CellSegUDA (gydF4y2Ba哈克和黄,2020gydF4y2Ba),EndoUDA (gydF4y2Ba侯赛因et al ., 2021gydF4y2Ba),SelfEnsemb (gydF4y2Ba李et al ., 2021gydF4y2Ba)和玛尼(gydF4y2BaSharma et al ., 2022gydF4y2Ba)被选为代表UDA生物医学图像分割模型。gydF4y2Ba

从gydF4y2Ba表1gydF4y2Ba,我们看到source-trained U-Net给实验性能的下界(见第一排gydF4y2Ba表1gydF4y2Ba),这是因为视觉域的源训练图像和测试图像目标之间的差距,也称为域转移问题。我们看到,建议使用UDA模型NuSegUDA优于所有使用UDA基线模型借据%,骰子点数,豪斯多夫距离。具体来说,NuSegUDA借据% 1.28和0.42高于最佳通用UDA基线OrClEmb,分别和最佳生物医学UDA基线摩尼。gydF4y2Ba图5gydF4y2Ba显示的可视化结果CellSegUDA SelfEnsemb,摩尼,NuSegUDA。在gydF4y2Ba表1gydF4y2Ba,第二个(即最后一行。,U-Net (target-trained)] shows the upper-bound of experimental performance (i.e., training U-Net with TNBC-train and testing it on TNBC-test).

表1gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

表1gydF4y2Ba。基线研究参与者的社会人口特征。gydF4y2Ba

图5gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图5gydF4y2Ba。无监督的可视化领域适应(UDA) KIRC→TNBC。gydF4y2Ba(一)gydF4y2Ba目标图像,gydF4y2Ba(B)gydF4y2Ba真实,gydF4y2Ba(C)gydF4y2BaCellSegUDA,gydF4y2Ba(D)gydF4y2BaSelfEnsemb,gydF4y2Ba(E)gydF4y2Ba摩尼,gydF4y2Ba(F)gydF4y2BaNuSegUDA(我们的)。在gydF4y2Ba(氟)gydF4y2Ba红色、绿色像素,像素,和蓝色像素显示真正的阳性,假阳性、假阴性,分别。换句话说,绿色和红色像素显示预测核像素,而绿色和蓝色像素显示真实核像素。这average-dense细胞核组织病理学图像gydF4y2Ba(一)gydF4y2Ba选择,以便读者可以很容易地找出视觉差异没有进一步放大。gydF4y2Ba

实验二(TNBC→KIRC)gydF4y2Ba我们在同样的方式进行另一个实验中实验一通过选择TNBC源和KIRC目标领域。这个实验也反映出的卓越NuSegUDA相比其他方法的分割精度(见最后三列gydF4y2Ba表1gydF4y2Ba)。gydF4y2Ba

4.3.2。Semi-Supervised领域适应气候变化gydF4y2Ba

实验一(KIRC→TNBC)gydF4y2Ba在实验一,我们评估我们Semi-Supervised域适应(SSDA)方法NuSegSSDA KIRC→TNBC。gydF4y2Ba表2gydF4y2Ba显示了NuSegSSDA的实验性能。对于这个实验,源数据集KIRC UDA是一样的实验。然而,现在我们对TNBC部分标记。我们训练NuSegSSDA考虑10%,25%,50%,和75%的图像TNBC-train数据集有注释。然后,测试TNBC-test给我们增加借据和骰子分数,和减少豪斯多夫距离。这是因为更多的假阴性核可以识别和一些假阳性细胞核可以删除NuSegSSDA我们训练更多的目标(见注释gydF4y2Ba图6gydF4y2Ba)。我们比较NuSegSSDA全程指导模型U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba生物医学SSDA),基线模型CellSegSSDA (gydF4y2Ba哈克和黄,2020gydF4y2Ba)来演示我们建议的SSDA模型的优越性。U-Net训练,我们将全部KIRC数据集与相同的10%,25%,50%,和75%的TNBC-train NuSegSSDA我们选择火车。我们观察到,NuSegSSDA方法的准确性上限低(只有1.35借据%)从目标领域我们训练更多的注释。gydF4y2Ba

表2gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

表2gydF4y2Ba。Semi-Supervised领域适应(SSDA)实验一和实验二的结果。gydF4y2Ba

图6gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图6gydF4y2Ba。可视化Semi-Supervised领域的适应(SSDA) KIRC→TNBC。gydF4y2Ba(一)gydF4y2Ba目标图像,gydF4y2Ba(B)gydF4y2Ba真实,gydF4y2Ba(C)gydF4y2BaNuSegSSDA (10%),gydF4y2Ba(D)gydF4y2BaNuSegSSDA (25%),gydF4y2Ba(E)gydF4y2BaNuSegSSDA (50%)gydF4y2Ba(F)gydF4y2BaNuSegSSDA (75%)。在gydF4y2Ba(氟)gydF4y2Ba红色、绿色像素,像素,和蓝色像素显示真正的阳性,假阳性、假阴性,分别。gydF4y2Ba

实验二(TNBC→KIRC)gydF4y2Ba在第二个实验中,我们选择TNBC作为源和KIRC作为目标域。第二个实验相比,也展示了卓越的NuSegSSDA U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba)和CellSegSSDA (gydF4y2Ba哈克和黄,2020gydF4y2Ba)(见最后三列gydF4y2Ba表2gydF4y2Ba)。类似于实验一,第二个实验中,我们再次看到NuSegSSDA增加当多个目标图像的分割精度是注释。gydF4y2Ba

4.3.3。烧蚀研究gydF4y2Ba

来验证提出使用UDA框架的鲁棒性,我们执行广泛的消融研究适应的NuSegUDA KIRC TNBC,从TNBC KIRC。首先,我们检查每一个损失的贡献最后借据%,骰子分数,和豪斯多夫距离;然后,我们调查的影响,不同的分割网络骨干NuSegUDA。gydF4y2Ba

效率的损失gydF4y2Ba图像的贡献敌对的损失gydF4y2BalgydF4y2BaadvIgydF4y2Batarget-translated源监督损失gydF4y2BalgydF4y2Ba反式gydF4y2Ba,和集群损失gydF4y2BalgydF4y2BaclgydF4y2Ba我们提出NuSegUDA模型所示gydF4y2Ba表3gydF4y2Ba。我们看到,只简单地应用gydF4y2BalgydF4y2BaadvIgydF4y2Ba或gydF4y2BalgydF4y2BaclgydF4y2BaCellSegUDA (gydF4y2Ba哈克和黄,2020gydF4y2Ba)提供了更好的性能比CellSegUDA孤单。然而,当我们仅适用于监督target-translated来源的损失gydF4y2BalgydF4y2Ba反式gydF4y2BaCellSegUDA,由于缺乏性能较低gydF4y2BalgydF4y2BaadvIgydF4y2Ba的损失。没有应用image-adversarial损失gydF4y2BalgydF4y2BaadvIgydF4y2Ba,target-translated源图像gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba看起来很不同的目标域图像的纹理,风格,颜色分布,等等(见gydF4y2Ba图4gydF4y2Ba)。因此,模型的性能(即。,CellSegUDA w /gydF4y2BalgydF4y2Ba反式gydF4y2Ba)减少与这些训练gydF4y2BaXgydF4y2Ba年代gydF4y2Ba→gydF4y2BatgydF4y2Ba图像。gydF4y2Ba

表3gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

表3gydF4y2Ba。的影响gydF4y2BalgydF4y2BaadvIgydF4y2Ba,gydF4y2BalgydF4y2Ba反式gydF4y2Ba,gydF4y2BalgydF4y2BaclgydF4y2Ba损失NuSegUDA实验一和实验二。gydF4y2Ba

同样,NuSegUDA w / ogydF4y2BalgydF4y2BaadvIgydF4y2Ba给比NuSegUDA更糟的性能与真实感较低是因为训练NuSegUDA target-translated源域图像。这再次验证的有效性gydF4y2BalgydF4y2BaadvIgydF4y2BaNuSegUDA。最后,启用了拟议的一切损失,我们实现NuSegUDA表现最好的模型对实验的演示了新提出的共同影响图像敌对的损失,target-translated源损失,监管和集群NuSegUDA损失。gydF4y2Ba图7gydF4y2Ba显示的可视化结果NuSegUDA w / ogydF4y2BalgydF4y2BaadvIgydF4y2Ba,NuSegUDA w / ogydF4y2BalgydF4y2Ba反式gydF4y2Ba,NuSegUDA w / ogydF4y2BalgydF4y2BaclgydF4y2Ba,NuSegUDA。gydF4y2Ba

图7gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

图7gydF4y2Ba。可视化的提议的有效性gydF4y2BalgydF4y2BaadvIgydF4y2Ba,gydF4y2BalgydF4y2Ba反式gydF4y2Ba,gydF4y2BalgydF4y2BaclgydF4y2Ba损失在NuSegUDA KIRC→TNBC。gydF4y2Ba(一)gydF4y2Ba目标图像,gydF4y2Ba(B)gydF4y2Ba真实,gydF4y2Ba(C)gydF4y2BaNuSegUDA w / ogydF4y2BalgydF4y2BaadvlgydF4y2Ba,gydF4y2Ba(D)gydF4y2BaNuSegUDA w / ogydF4y2BalgydF4y2Ba反式gydF4y2Ba,gydF4y2Ba(E)gydF4y2BaNuSegUDA w / ogydF4y2BalgydF4y2BaclgydF4y2Ba,gydF4y2Ba(F)gydF4y2BaNuSegUDA。在gydF4y2Ba(氟)gydF4y2Ba红色、绿色像素,像素,和蓝色像素显示真正的阳性,假阳性、假阴性,分别。gydF4y2Ba

不同的分割网络的影响gydF4y2Ba在NuSegUDA,我们使用U-Net (gydF4y2BaRonneberger et al ., 2015gydF4y2Ba)为骨干网络的分割。我们也评估模型的性能通过替换骨干分割网络有两个更常用的基于卷积神经网络(CNN)的方法:FCN (gydF4y2Ba长et al ., 2015gydF4y2Ba)和UNet + + (gydF4y2Ba周et al ., 2018gydF4y2Ba)。如前所述,基于CNN的方法仍然是占主导地位的语义分割的细胞核。然而,由于内在当地自然和有限接受卷积操作、基于CNN模型可能无法获取全局上下文的输入(gydF4y2Ba陈et al ., 2021gydF4y2Ba;gydF4y2Ba贾et al ., 2021gydF4y2Ba;gydF4y2Ba郑et al ., 2021gydF4y2Ba)。为此,我们探索《变形金刚》的可行性,另一个cnn,在NuSegUDA分割为骨干网络。变压器主要利用self-attention机制提取固有特性(gydF4y2Ba泰et al ., 2020gydF4y2Ba),由于这种self-attention机制,变形金刚是强大的全局上下文建模时的输入(gydF4y2Ba郑et al ., 2021gydF4y2Ba)。视力检查的有效性基于变压器模型,我们取代U-Net NuSegUDA TransUNet (gydF4y2Ba陈et al ., 2021gydF4y2Ba),基本上结合混合CNN-transformer编码器与解码器架构。gydF4y2Ba

表4gydF4y2Ba显示了使用不同的量化结果在NuSegUDA分割网络。CNN-based模型中我们看到,UNet + +和U-Net胜过其他CNN方法在实验一和实验二。比起我们也看到,的基于变压器模型TransUNet不给任何更好的准确性比U-Net和UNet + +两个实验。发生这种情况是因为我们的小型训练数据集,因为视觉变形金刚(VT)需要大量数据的训练,通常超过必要标准cnn(是什么gydF4y2Ba刘et al ., 2021gydF4y2Ba)。gydF4y2Ba

表4gydF4y2Ba
www.雷竞技rebatfrontiersin.orggydF4y2Ba

表4gydF4y2Ba。影响不同的分割在NuSegUDA网络骨干。gydF4y2Ba

5。结论gydF4y2Ba

准确的细胞核分割是一个重要的步骤对癌症诊断和进一步的临床过程。收集一个完全注释细胞核分割数据集,数据集或手动标记一个未经很昂贵,耗时的不切实际的,尽管这种注释需要火车卷积神经网络以全程指导的方式。在这项工作中,我们提出一种新颖的无监督领域适应(UDA)框架命名NuSegUDA在未经数据集,利用分段核对抗的学习。在NuSegUDA,我们应用领域适应在特征空间和输出空间。我们也将图像敌对的损失和监督亏为NuSegUDA target-translated来源,和火车模型target-translated源域图像。广泛而突出实验结果验证的有效性的每个新提出的模块和损失,和NuSegUDA超过基线模型的优越性。最后,假设我们有一些注释,我们扩展工作Semi-Supervised域适应(SSDA)。我们希望我们提出使用UDA和SSDA方法是非常有用的在其他生物医学图像分割任务。gydF4y2Ba

数据可用性声明gydF4y2Ba

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。gydF4y2Ba

作者的贡献gydF4y2Ba

MH、HM和JH的方法和设计的研究。MH实现该方法,组织实验段,写了初稿的手稿。嗯,JH修正草案。所有作者的文章和批准提交的版本。gydF4y2Ba

资金gydF4y2Ba

这部分工作是由美国国家科学基金会支持的iis - 1553687。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

引用gydF4y2Ba

Boykov Y。,Kolmogorov, V. (2004). An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision.IEEE反式。模式肛门。马赫。智能。gydF4y2Ba26日,1124 - 1137。doi: 10.1109 / TPAMI.2004.60gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

侯赛因·N。阿里,S。,Gupta, S., Braden, B., and Rittscher, J. (2021). “Endouda: a modality independent segmentation approach for endoscopy imaging,” in医学影像计算和计算机辅助介入的国际会议- MICCAI 2021。在计算机科学的课堂讲稿gydF4y2Ba,卷12903 (Cham: Springer), 303 - 312。doi: 10.1007 / 978 - 3 - 030 - 87199 - 4 - _29gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

陈,C。,Dou,Q., Chen, H., Qin, J., and Heng, P.-A. (2019). “Synergistic image and feature adaptation: towards cross-modality domain adaptation for medical image segmentation,” inAAAI 19: AAAI人工智能大会的程序gydF4y2Ba33卷(火奴鲁鲁,你好),865 - 872。doi: 10.1609 / aaai.v33i01.3301865gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

陈,J。陆,Y。余问。,luo,X。埃德里E。王,Y。,et一个l。 (2021). TransUNet: Transformers make strong encoders for medical image segmentation.arXiv预印本gydF4y2BaarXiv: 2102.04306。doi: 10.48550 / arXiv.2102.04306gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

陈,研究。,l我n,Y。- - - - - -Y。,Y一个ng, M.-H., and Huang, J.-B. (2019). “CrDoCo: Pixel-level domain transfer with cross-domain consistency,” in2019年《IEEE计算机视觉与模式识别会议gydF4y2Ba(长滩,CA), 1791 - 1800。doi: 10.1109 / CVPR.2019.00189gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

咚,N。,Kampffmeyer, M., Liang, X., Wang, Z., Dai, W., and Xing, E. (2018). “Unsupervised domain adaptation for automatic estimation of cardiothoracic ratio,” in医学影像计算和计算机辅助介入的国际会议- MICCAI 2018。在计算机科学的课堂讲稿gydF4y2Ba卷。11071年,eds a . Frangi j·施纳贝尔c . Davatzikos c . Alberola-Lopez和g Fichtinger (Cham: Springer), 544 - 552。doi: 10.1007 / 978 - 3 - 030 - 00934 - 2 - _61gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

戈拉米,。,年代ubramanian, S., Shenoy, V., Himthani, N., Yue, X., Zhao, S., et al. (2019). “A novel domain adaptation framework for medical image segmentation,” in国际MICCAI Brainlesion车间。BrainLes 2018: Brainlesion:神经胶质瘤、多发性硬化、中风和创伤性脑损伤。BrainLes 2018。在计算机科学的课堂讲稿gydF4y2Ba卷。11384年,eds a . Crimi巴卡,h . Kuijf f . Keyvan m·雷耶斯和t . van Walsum (Cham: Springer), 289 - 298。doi: 10.1007 / 978 - 3 - 030 - 11726 - 9 - _26gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

格拉汉姆·古德费勒,我。,Pouget- - - - - -Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., et al. (2014). “Generative adversarial nets,” in神经信息处理系统的进步27(少量的2014)gydF4y2Ba、eds z . Ghahramani m·威林c·科尔特斯n .劳伦斯和k·温伯格(蒙特利尔QC), 2672 - 2680。gydF4y2Ba

谷歌学术搜索gydF4y2Ba

哈克,M . M。,Hu一个ng,J. (2020). “Adversarial domain adaptation for cell segmentation,” in第三医学影像会议程序与深度学习,PMLRgydF4y2Ba,卷121 eds t . Arbel i b·德·m·德Bruijne m . Descoteaux h . Lombaert和c Pal(蒙特利尔QC), 277 - 287。gydF4y2Ba

谷歌学术搜索gydF4y2Ba

哈克,M . M。,Hu一个ng,J. (2022). “Self-supervised pre-training for nuclei segmentation,” in医学影像计算和计算机辅助介入的国际会议。医学影像计算和计算机辅助干预- MICCAI 2022。在计算机科学的课堂讲稿gydF4y2Ba卷。13432年,eds l . Wang窦,p·弗莱彻,s . Speidel和s·李(Cham: Springer), 303 - 313。doi: 10.1007 / 978 - 3 - 031 - 16434 - 7 - _30gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

霍夫曼,J。Tzeng E。、公园、T。,朱,J.-Y。,伊索拉,P。,年代一个enko,K., et al. (2017). Cycada: Cycle-consistent adversarial domain adaptation.arXiv预印本gydF4y2BaarXiv: 1711.03213。doi: 10.48550 / arXiv.1711.03213gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

侯,L。,Agarwal, A., Samaras, D., Kurc, T. M., Gupta, R. R., and Saltz, J. H. (2019). “Robust histopathology image analysis: to label or to synthesize?,” in《IEEE计算机视觉与模式识别会议gydF4y2Ba(长滩,CA), 8533 - 8542。doi: 10.1109 / CVPR.2019.00873gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

霍,Y。,Xu,Z., Bao, S., Assad, A., Abramson, R. G., and Landman, B. A. (2018). “Adversarial synthesis learning enables segmentation without target modality ground truth,” in2018年IEEE 15日生物医学成像(2018位ISBI)国际研讨会gydF4y2Ba(华盛顿特区:IEEE), 1217 - 1220。doi: 10.1109 / ISBI.2018.8363790gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Irshad, H。,Montaser-Kouhsari, L., Waltz, G., Bucur, O., Nowak, J., Dong, F., et al. (2014). Crowdsourcing image annotation for nucleus detection and segmentation in computational pathology: evaluating experts, automated methods, and the crowd.Pac,计算机协会。Biocomput。gydF4y2Ba2015年,294 - 305。doi: 10.1142 / 9789814644730 _0029gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

伊索拉,P。,朱,J.-Y。周,T。,Efro年代,A. A. (2017). “Image-to-image translation with conditional adversarial networks,” in《IEEE计算机视觉与模式识别会议gydF4y2Ba(嗨火奴鲁鲁),1125 - 1134。doi: 10.1109 / CVPR.2017.632gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

贾,H。,Tang, H., Ma, G., Cai, W., Huang, H., Zhan, L., et al. (2021). PSGR: Pixel-wise sparse graph reasoning for COVID-19 pneumonia segmentation in CT images.arXiv预印本gydF4y2Ba。arXiv: 2108.03809。doi: 10.48550 / arXiv.2108.03809gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Kamnitsas, K。,Baumgartner, C., Ledig, C., Newcombe, V., Simpson, J., Kane, A., et al. (2017). “Unsupervised domain adaptation in brain lesion segmentation with adversarial networks,” in国际会议在医学影像信息处理。IPMI 2017。在计算机科学的课堂讲稿gydF4y2Ba,卷10265 (Cham: Springer), 597 - 609。doi: 10.1007 / 978 - 3 - 319 - 59050 - 9 - _47gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Kingma, d . P。,Ba, J. (2014). Adam: A method for stochastic optimization.arXiv预印本gydF4y2Ba。arXiv: 1412.6980。doi: 10.48550 / arXiv.1412.6980gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Kumar N。,Verma, R., Sharma, S., Bhargava, S., Vahadane, A., and Sethi, A. (2017). A dataset and a technique for generalized nuclear segmentation for computational pathology.IEEE反式。医疗成像。gydF4y2Ba36岁,1550 - 1560。doi: 10.1109 / TMI.2017.2677499gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

李,C。,Zhou, Y., Shi, T., Wu, Y., Yang, M., and Li, Z. (2021). “Unsupervised domain adaptation for the histopathological cell segmentation through self-ensembling,” in学报MICCAI计算病理学研讨会,PMLRgydF4y2Ba156年,151 - 158。网上:gydF4y2Bahttps://proceedings.mlr.press/v156/li21a.htmlgydF4y2Ba

谷歌学术搜索gydF4y2Ba

刘,Y。,年代一个ng我neto,E。,Bi, W。,年代ebe, N., Lepri, B., and Nadai, M. (2021). “Efficient training of visual transformers with small datasets,” in35会议程序神经信息处理系统(NeurIPS) 2021gydF4y2Ba(虚拟)。gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

长,J。,年代helh一个米er,E。达雷尔,t (2015)。 “Fully convolutional networks for semantic segmentation,” in《IEEE计算机视觉与模式识别会议gydF4y2Ba(波士顿),3431 - 3440。doi: 10.1109 / CVPR.2015.7298965gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

马哈茂德,F。,Borders, D., Chen, R. J., McKay, G. N., Salimian, K. J., Baras, A., et al. (2019). Deep adversarial training for multi-organ nuclei segmentation in histopathology images.IEEE反式。医疗成像。gydF4y2Ba39岁,3257 - 3267。doi: 10.1109 / TMI.2019.2927182gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

殿下,M。,Osindero, S. (2014). Conditional generative adversarial nets.arXiv预印本gydF4y2BaarXiv: 1411.1784。doi: 10.48550 / arXiv.1411.1784gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

那,P。莱城,M。,Rey一个l,F。沃尔特,t (2018)。在组织病理学图像分割的核深回归距离的地图。gydF4y2BaIEEE反式。医疗成像。gydF4y2Ba38岁,448 - 459。doi: 10.1109 / TMI.2018.2865709gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Paszke,。,Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., et al. (2019). Pytorch: An imperative style, high-performance deep learning library.冻伤的19:学报的第33届国际会议上32神经信息处理系统gydF4y2Ba(温哥华BC), 8026 - 8037。gydF4y2Ba

谷歌学术搜索gydF4y2Ba

雷德福,。梅斯,L。,Ch我nt一个l一个,年代。(2015)。 Unsupervised representation learning with deep convolutional generative adversarial networks.arXiv预印本gydF4y2Ba。arXiv: 1511.06434。doi: 10.48550 / arXiv.1511.06434gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

拉,一个。霁,Z。,Cheng,C。T., Cai, J., Huang, J., Xiao, J., et al. (2020). “User-guided domain adaptation for rapid annotation from user interactions: a study on pathological liver segmentation,” in医学影像计算和计算机辅助介入的国际会议- MICCAI 2020。课堂讲稿在计算机科学中,卷》12261gydF4y2Ba(Cham: Springer), 457 - 467。doi: 10.1007 / 978 - 3 - 030 - 59710 - 8 - _45gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Ronneberger, O。费舍尔,P。,Brox, T. (2015). “U-net: Convolutional networks for biomedical image segmentation,” in医学影像计算和计算机辅助介入的国际会议- MICCAI 2015。在计算机科学的课堂讲稿gydF4y2Ba,卷9351 (Cham: Springer), 234 - 241。doi: 10.1007 / 978 - 3 - 319 - 24574 - 4 - _28gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

沙玛,Y。赛义德·S。,Brown, D. E. (2022). “Mani: Maximizing mutual information for nuclei cross-domain unsupervised segmentation,” in医学影像计算和计算机辅助介入的国际会议gydF4y2Ba问:窦,eds l . Wang, p·弗莱彻,s . Speidel和李s (Cham: Springer), 345 - 355。doi: 10.1007 / 978 - 3 - 031 - 16434 - 7 - _34gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Sirinukunwattana, K。、Raza s e。曾荫权Y.-W。大镰刀刀柄,d R。克里族,即。,R一个jpoot,N。M. (2016). Locality sensitive deep learning for detection and classification of nuclei in routine colon cancer histology images.IEEE反式。医疗成像。gydF4y2Ba35岁,1196 - 1206。doi: 10.1109 / TMI.2016.2525803gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

茶,Y。,Dehgh一个n我,M., Bahri, D., and Metzler, D. (2020). Efficient transformers: a survey.arXiv预印本gydF4y2BaarXiv: 2009.06732。doi: 10.48550 / arXiv.2009.06732gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

托尔多,M。,Michieli, U., and Zanuttigh, P. (2021). “Unsupervised domain adaptation in semantic segmentation via orthogonal and clustered embeddings,” in2021年《IEEE / CVF冬季会议在计算机视觉的应用程序gydF4y2Ba(嗨,Waikoloa), 1358 - 1368。doi: 10.1109 / WACV48630.2021.00140gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

蔡,中州。,Hung,W。- - - - - -C。舒尔特,S。孙,K。,Y一个ng, M.-H., and Chandraker, M. (2018). “Learning to adapt structured output space for semantic segmentation,” in2018年《IEEE计算机视觉与模式识别会议gydF4y2Ba盐湖城(UT), 7472 - 7481。doi: 10.1109 / CVPR.2018.00780gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

夏,X。,Kulis, B. (2017). W-net: A deep model for fully unsupervised image segmentation.arXiv预印本gydF4y2Ba。arXiv: 1711.08506。doi: 10.48550 / arXiv.1711.08506gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

夏,Y。,Y一个ng,D。Yu, Z。,l我u,F., Cai, J., Yu, L., et al. (2020). Uncertainty-aware multi-view co-training for semi-supervised medical image segmentation and domain adaptation.地中海。图像肛门。gydF4y2Ba65年,101766年。doi: 10.1016 / j.media.2020.101766gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

徐,Y。,Jia, Z., Wang, L.-B., Ai, Y., Zhang, F., Lai, M., et al. (2017). Large scale tissue histopathology image classification, segmentation, and visualization via deep convolutional activation features.BMC生物信息学gydF4y2Ba18:281。doi: 10.1186 / s12859 - 017 - 1685 - xgydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

杨,J。李,C。一个,W。,妈,H。,Guo, Y., Rong, Y., et al. (2021). “Exploring robustness of unsupervised domain adaptation in semantic segmentation,” in《IEEE / CVF计算机视觉国际会议gydF4y2Ba(BC)蒙特利尔,9194 - 9203。doi: 10.1109 / ICCV48922.2021.00906gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

杨。,Zhang, J., Huang, J., Lovell, B. C., and Han, X. (2021). “Minimizing labeling cost for nuclei instance segmentation and classification with cross-domain images and weak labels,” in人工智能学报AAAI会议gydF4y2Ba35(虚拟)卷,697 - 705。doi: 10.1609 / aaai.v35i1.16150gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

Zeiler, m D。,Fergu年代,R。(2014)。 “Visualizing and understanding convolutional networks,” in欧洲计算机视觉-大会2014。在计算机科学的课堂讲稿gydF4y2Baeds d舰队,t . Pajdla b . Schiele和t . Tuytelaars (Cham: Springer), 818 - 833。doi: 10.1007 / 978 - 3 - 319 - 10590 - 1 - _53gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

张,Y。秋,Z。,姚明,T。刘,D。,Mei, T. (2018). “Fully convolutional adaptation networks for semantic segmentation,” in《IEEE计算机视觉与模式识别会议gydF4y2Ba盐湖城(UT), 6810 - 6818。doi: 10.1109 / CVPR.2018.00712gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

郑,S。陆,J。,Zhao, H., Zhu, X., Luo, Z., Wang, Y., et al. (2021). “Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers,” in《IEEE / CVF计算机视觉与模式识别会议gydF4y2Ba(TN纳什维尔),6881 - 6890。doi: 10.1109 / CVPR46437.2021.00681gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

周,Z。,年代我dd我quee, M. M. R., Tajbakhsh, N., and Liang, J. (2018). “UNet++: A nested u-net architecture for medical image segmentation,” in深度学习在医学图像分析和多通道学习临床决策支持。DLMIA ML-CDS 2018。课堂讲稿在计算机科学中,卷》11045gydF4y2Ba(Cham: Springer), 3-11。doi: 10.1007 / 978 - 3 - 030 - 00889 - 5 _1gydF4y2Ba

《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

朱,J.-Y。、公园、T。,伊索拉,P。,Efro年代,A. A. (2017). “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in《IEEE计算机视觉国际会议gydF4y2Ba(2017年ICCV)(威尼斯),2223 - 2232。doi: 10.1109 / ICCV.2017.244gydF4y2Ba

CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba

关键词:gydF4y2Ba细胞核分割、领域适应,无人监督的领域适应,Semi-Supervised域适应,敌对的学习gydF4y2Ba

引用:gydF4y2Ba黄马哈克MM, H和J (2023) NuSegDA:域适应细胞核分割。gydF4y2Ba前面。大数据gydF4y2Ba6:1108659。doi: 10.3389 / fdata.2023.1108659gydF4y2Ba

收到:gydF4y2Ba2022年11月26日;gydF4y2Ba接受:gydF4y2Ba2023年2月13日;gydF4y2Ba
发表:gydF4y2Ba2023年3月02。gydF4y2Ba

编辑:gydF4y2Ba

王华gydF4y2Ba美国科罗拉多矿业学院的gydF4y2Ba

审核:gydF4y2Ba

Haoteng唐gydF4y2Ba美国匹兹堡大学,gydF4y2Ba
伊曼易廖gydF4y2Ba诺丁汉大学马来西亚校区,马来西亚gydF4y2Ba

版权gydF4y2Ba©2023哈克,马和黄。这是一个开放分布式根据文章gydF4y2Ba知识共享归属许可(CC)gydF4y2Ba。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。gydF4y2Ba

*通信:gydF4y2Ba穆罕默德Minhazul哈克,gydF4y2Bamohammadminhazu.haq@mavs.uta.edugydF4y2Ba

下载gydF4y2Ba