使用人工智能研究应如何报道?教训在心脏MRI系统回顾

介绍

人工智能(AI)的开发和应用是一个令人兴奋的前沿在放射学(1- - - - - -3)。AI工具保证自动化的复杂和耗时的任务,使他们有吸引力的时代医学成像的需求和复杂性的增加。这反映在最近的快速扩张的数量研究提出人工智能成像工具。然而,有几个挑战需要克服人工智能可以有效地实现在常规临床实践(4)。透明的模型设计、培训和测试对理解generalisability至关重要的工具,但可以有问题的专有技术。评估性能的人工智能工具相关人群和环境也是一个重要的步骤来确定他们的外部效度。也有越来越多的人意识到领域内的道德问题。这些包括担忧AI人类偏见传播工具的风险,包括种族,这可能导致歧视少数民族人口组(5- - - - - -7)。这些挑战的方式和质量本质上是与人工智能的研究工具。

比较现代医学证据支撑的能力和需要,研究提出了一个透明的、一致的和可再生的方式。质量差的报告有助于研究浪费,阻碍进步的领域,限制临床适用性。重要的是各利益攸关者(包括人员,放射科医生使用人工智能工具,临床医生使用AI-derived信息和公转理解什么是高质量的报告。提出了结构化工具协助报告使用人工智能的研究,包括人工智能在医学成像的检查表(声称)(8)。

AI CMR的分割

心脏成像的需求正在增长,而且对自动化的需求。心脏磁共振成像(CMR)允许非侵入性评估心脏解剖和功能。CMR可以产生量化指标(如心室卷,心肌厚度和梗塞大小)的诊断和预后价值。然而,这些测量需要解剖结构的准确描述成像,或分割。那些阅读CMR研究传统上进行手工分割为了获得这些metrics-a过程是艰苦的,耗时和容易interobserver可变性。能够自动化这个过程使用人工智能方法的焦点近年来越来越多的研究(9- - - - - -12)。

在最广泛的术语中,传统上由人类人工智能自动化流程。机器学习是人工智能的一个主要分支,程序自动识别相关的特征数据和任务适应改善其性能。机器学习包括范围广泛的技术,包括深度学习和神经网络。在医学影像分割的背景下,这涉及到一个项目学习识别图像中的解剖特性(如心内膜)来描述结构(如心脏室)。尽管特定的方法和模型设计是无数,他们迄今为止共享一些相似之处发展。这通常包括三个阶段:培训、验证和测试。在培训期间,数据是通过算法和该算法识别特性,使其承担任务。在验证阶段,该算法暴露在看不见的验证集和其性能的任务是确定。然后适应算法优化其性能和训练和验证步骤是重复,直到达到令人满意的性能和最终的模型建立。新模型测试,看不见的,数据产生最终的性能结果。 This is a gross simplification of varied and complex processes, but is nonetheless important for contextualising how studies using AI are reported.

系统回顾

我们最近进行了系统回顾报告的质量的研究使用人工智能方法的分割结构CMR (13)。研究呈现完全自动化的人工智能方法的分割心脏室,心肌或疤痕组织成人CMR图像包含的资格。包括研究评估的描述性信息,符合要求。我们分组个人索赔标准分为四个领域:研究描述,数据集描述,模型描述和性能描述。包括209年的研究,在37个不同的国家,从2012年到2022年出版。中值总体研究都声称合规标准是67%(四分位范围(差)59 - 73%)。模型描述域值是最高(100%,差80% - -100%),大大降低研究描述(71%,差63%—-86%),数据集描述(63%,差50% -67%)和性能描述(60%,差50% -70%)域(图1)。

人工智能模型需要培训的发展,暴露出一个算法的数据(如CMR图像)学习特性(如相对不同的解剖结构所在地),使其承担的任务(如描绘左心室心内膜)。这个过程是至关重要的,支撑着所有人工智能工具的性能和有效性。质量、大小和变化的数据集用于训练是特别重要的在考虑模型的临床适用性时,作为一个模型训练数据从一个人口或人群不能概括当应用于他人。例如,模型训练完全CMR图像年轻患者可能不会执行以及使用时的老年人口。至关重要的是,研究数据源描述他们在一个明确的和透明的方式,这样的generalisability模型可以理解。这包括病例信息(如数量、合格标准和临床特点)和数据本身的性质(如图像和它们是如何获得的类型)。

我们发现,尽管大多数研究表明他们的数据源(94%),这是一个重大的遗漏时失踪。大约一半使用公开数据集(49%),其中大多数(66%)通过医学影像计算和计算机辅助干预(MICCAI)挑战,强调他们的角色在推进。公开的数据集援助再现性和模型之间的比较,但与任何回顾数据源选择有自己的偏见。多个或合并数据集被用于一些研究(17%),但有可能改善模型的generalisability接触不同的人群。大多数研究报道病例数(95%),使用中值78和大范围的3到12984。不足的病例数和变化可能会影响generalisability。少数的研究未能报告CMR图像用于分割的类型(14%),极大地限制他们的模型的可解释性。

同样,详细描述结构的人工智能模型和训练方法很重要,期望在这个领域。这应该是透明的,可再生的。理解模型结构可以帮助突出generalisability性能偏差,因此模型。然而,这可能是一个挑战由于专有的“黑箱”方法在设计。此外,出版物应该写在一个可访问的方式,这样的方法并不模糊。例如,研究目前临床消息应该确保计算机科学方法和概念(如模型结构)解释清楚读者可能不是人工智能专家(反之亦然)。这种平衡很难实现在这样一个快速发展的技术领域。我们发现符合模型描述域的确是优秀的。这可能反映了一个事实,大多数发表在技术(58%)和混合型(11%)期刊。雷竞技电竞体育竞猜平台大多数研究提供模型的细节(95%)、训练方法(78%)和软件(74%)。 However, open source code was only provided in a minority of studies (10%). Publishing the open source code for an AI model greatly improves transparency and facilitates the comparison of different models.

了解有效的人工智能模型执行翻译成临床实践是至关重要的。性能需要以一致的方式描述,使模型之间的比较。然而,我们发现,模型性能变量的描述,与许多出版物未能提供关键信息。性能评估的方式各不相同,需要透明。理想情况下,这应该包括测试模型使用一个独特的和外部数据集(如图像从不同的人口获得不同的中心)。这是一个重要的步骤在确保一个AI模型generalisable和翻译成有效的临床使用。只有少数(22%)的研究中,我们评估了他们的模型外部数据。预计AI模型可以失败,是良好的实践研究提供了一个分析失败的案例来说明如何以及为什么发生。这是至关重要的发展领域和临床实施。临床医生使用一个AI模型将需要了解的因素可能导致错误的结果。 This goes hand-in-hand with understanding measures of diagnostic accuracy (such as sensitivity and specificity), which are major determinants of clinical utility. We noted that few studies reported failure analysis of incorrectly classified cases (32%) or estimates of diagnostic accuracy (21%).

我们所知,本研究最大的基于ai心脏成像文献回顾。当然,有限制。复习有一个狭隘CMR的人工智能的方法来分割。只包含期刊论文呈现完全自动化的技术。半自动技术包含手动和基于ai元素及其区别完全自动化技术是开放的一定程度的主观性。自动化技术的排斥,未公开发表的文献和会议摘要很重要,以确保一致的和可再生的评价纳入研究的特征,但狭窄的范围检查和选择性偏差的风险。最后,还有观察者偏见和interobserver可变性的固有风险评估报告的质量时,即使使用结构化的工具,如索赔;未来的研究可以考虑定量评估interobserver协议。然而,尽管有这些限制,我们的研究认为重要的因素对人工智能的研究一般,和我们的发现有可能适用于更广泛的领域,人工智能在医学成像。

讨论

这系统综述确定重要和频繁的现有文献的空白。在本文中,我们探索了一些高质量的AI出版物在心脏成像的特点。我们鼓励研究者和读者记住这些时使用人工智能方法和评价研究。基于这些发现在我们的系统回顾,我们给出了一些建议人工智能研究人员提高报告的质量的研究,提供了图2。研究方法应足够详细地描述,使再现性。关于所有数据源的信息,包括所有参与者的临床特点,应提供有效性和generalisability为了了解研究。测试在多个和外部数据集是一个重要的步骤在人工智能的翻译模型的临床实践。研究在这一领域可能有广泛的读者应该访问和透明的不管杂志和出版物的类型。工具,如声称可以帮助展示和评估研究。

作者的贡献

我和山:构思的需要一个更一般的讨论系统的审查结果。我和女士:写的手稿,由五角和批判性回顾了SA。所有作者造成了阅读最后的手稿。系统上的所有作者也被作者审查。我和女士:同样的这个手稿和应该考虑加入第一作者。所有作者的文章和批准提交的版本。

资金

支持的研究是NIHR格兰特AI_AWARD01706,威康信托基金会拨款215799 / Z / 19 / Z和205188 / Z / 16 / Z,医学研究委员会资助MC-A658-5QEB0,英国心脏基金会授予RG / 19/6/34387。投资者没有任何作用在研究的设计和实施;在收集、分析和解释数据;或准备,审查和批准。对开放存取的目的,作者由公共版权CC许可适用于任何作者接受手稿版本产生的提交。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用