跳转到主要内容

原始研究的文章

前面。地中海,2022年12月20日
秒。管理科学
卷9 - 2022 | https://doi.org/10.3389/fmed.2022.1016366

“没有工作没有医生:“医生的临床决策和人工智能感知

大卫Samhammer 1 * 罗兰辊 2、3 帕特里克•汉默4 Bilgin Osmanodja 3 Aljoscha Burchardt2 Manuel Mayrdorfer 3、5 Wiebke Duettmann3 彼得Dabrock 1
  • 1系统神学研究所二世(道德),Friedrich-Alexander-Universitat埃(能力),德国埃朗根
  • 2德国研究中心人工智能(DFKI),柏林,德国
  • 3肾脏学和医学重症监护,夏洛蒂柏林,柏林自由大学的企业成员,Humboldt-Universitat祖茂堂柏林和柏林学院健康、德国柏林
  • 4工业工程系和创新科学、哲学和道德群体,你埃因霍温,荷兰埃因霍温
  • 5肾脏学与透析,内科三世,医科大学的维也纳,奥地利的维也纳

作品简介:人工实施决策支持系统(AI-DSS)有可能帮助医生分析数据和促进寻找一个正确的诊断或合适的干预。这些系统往往是强调的潜力。然而,实现在临床实践中值得持续关注。本文旨在阐明因使用的需求和挑战AI-DSS从医生的角度。

方法:这项研究的基础是一个定性内容分析专家的采访经验丰富的医师测试一个AI-DSS后一个简单的使用场景。

结果:结果提供见解的基础临床决策,将挑战当使用AI-DSS以及反映在测试运行。

讨论:同时我们可以证实有些意料中的需求更好explainability和控制,其他见解强调需要维护古典的优势医疗行业在使用AI-DSS以及扩大人工智能的观点挑战的重要性的临床环境,特别是在治疗。我们的结果压力调整AI-DSS共享决策的必要性。我们得出这样的结论:explainability必须符合具体情况而促进有意义的交互系统。

介绍

计算机的不断增加的性能和大量数据的可用性导致了一个巨大的进步领域的人工智能(AI)和近年来机器学习(1)。在医学领域,人工实施决策支持系统(AI-DSS)目前收到关注。这些人工智能应用程序基于机器学习或深度学习方法提供巨大的潜力来支持临床决策(2,3),例如通过减少医务人员的工作负载(4)。

AI-DSS临床决策的影响已经可以观察到在许多设置。在图像识别中,系统已经可以更准确地解读图像在某些方面比医学专家(4)。在肿瘤中,沃森的肿瘤表明癌症患者的治疗选择医学文献,旨在作为一种跨学科的方法建立肿瘤会议(5)。对于远程健康评估,系统提供真实的诊断建议症状检查的形式(6)。下面的研究特别感兴趣的是风险评估的可能性,即。对当前或未来的健康状况,使语句的患者(7)。

在临床决策支持当然是远离新决策。几十年来,努力强化系统地考虑和实施现有证据到临床实践指南(8),在此“包装证据并提出建议医疗决策者”(9)。一部小说,独特的挑战提出AI-DSS可用数据点的扩散,增加计算复杂度可用的应用程序来处理它们。一方面,这些可以提高诊断和预测能力,从而提高临床效用。另一方面,一个典型的挑战是,不仅对治疗医生,但即使是设计师的决策支持工具,这些发展导致大量增加认知不透明度如何以及为什么一个给定的输出提供(10- - - - - -12)。

这就产生了挑战超出AI-DSS的性能。而信任的重要性,责任归因,透明度备受争议——文学(10),还有缺乏知识的需要医生在日常工作中关于这些问题(13)。促使本研究的假说是部署AI-DSS可以看作是社会技术的挑战,这意味着可用的系统必须满足用户的需求,它将部署的环境中(14)。因此重要的是要考虑给定流程和工作流的临床决策发生(15)。符合这一假说,人们越来越意识到经验见解AI-DSS的实际应用是非常重要的。定性分析可以仔细看看医疗专家的角色当应用AI-DSS (16- - - - - -18),特别是在回答医生的参与AI-DSS的开发和实现(19,20.)。

目前研究的目的是为了经验探索医生对一个特定的态度和观点,小说,machine-learning-based AI-DSS用例肾脏学。我们进行了一项定性研究调查的实证问题医生经验操作AI-DSS实现视图列出的挑战。我们的研究试图确定他们感知和预测的问题,和他们想象的策略有助于发展相关AI-DSS进一步。

材料和方法

经验数据由14个半结构化访谈专家与医生在肾移植治疗。面试后进行一个实验期间医生测试实验AI-DSS旨在协助风险评估肾移植后的患者。系统测试是基于常规临床数据来自1500名患者和100000多的数据点,使感染和移植的风险损失的预测在接下来的90天。内部验证显示AUC-ROC值0.95 0.83的排斥和移植失败,有前景的结果。比较肾脏科医师使用和不系统的性能,一个读者研究执行:医生被要求作出预测的排斥和贪污的风险损失在接下来的90天,第一次没有,第二部分与人工智能系统的建议。首先,读者的研究显示,医生的预测与AI-DSS对齐。然而,并不能提高性能(AUC-ROC;0.6413和0.6314的拒绝;0.8072与0.7778移植失败)(21)。即使系统似乎有前途,比医生的任务,其他问题出现的这样的一个系统是否会添加任何临床决策的价值,它应该如何实现,机会,被医生的担忧。这导致了决定补充实验和随后的定性研究。

专家访谈作为数据收集的方法

正如专家访谈的名称所暗示的,受访者不感兴趣他们的全部,但在他们的特定的角色专家已经表示狭义社会环境。法的目的是获得知识的专家,其中包括他们的经验以及社会环境的具体规则和结构相互作用(22)。由于这个原因,建议面试不仅进行探究的,与其他定性方法很常见,例如,在叙事访谈。为了解决专家时,建议调整问题的特定上下文(22)。

定性的社会研究的主要目的是描述例程,模式的解释,和社会现实的结构特征,通过评估材料获得沟通或交互过程(23)。因此,专家访谈也提供的可能性接近收集材料电感(24)。即使面试指南可能缩小框架,专家访谈还提供空间为所谓的“探索未知的”(22)。

数据收集

期间收集的采访,我们牢记的矛盾本质专家面试。采访发生的社会背景是狭义的临床环境和医生作为医疗行业的一部分。因此,面试指南关于这个设置是基于理论假设。最初,我们的研究兴趣是学习的医生认为AI-DSS在前面的实验。此外,面试指南包括关于信任问题、透明度和责任,更规范的挑战在文献中讨论AI-DSS (10)。我们的目标是让医生有机会进一步突出问题,他们认为在临床中使用AI-DSS相关决策。因此,我们使用开放式问题,医生也可以把自己的想法和表达方式在采访中。

我们包括所有高级医师肾移植的经验在我们的机构,那些愿意参与,没有参与学习概念或传导。总共7高级医生参与了这项研究,我们决定包含相同数量的初级医生,导致共有14个参与者。即使我们是平衡的研究参与者的性别分布,分析不重点是放在这,因为性别是在处理AI-DSS无关。

定性数据评价内容分析

整个过程基于定性的分析专家访谈内容分析根据娃(25)。方法被选中,是因为它提供了可能解决材料从以前开发的理论观点,以及访谈归纳方法(25)。因此,这种方法适用于我们的事业,没有忽视医生的感知问题。定性内容分析的目标是文本段落的解释任务收集的材料,以及他们的系统化。娃渴望确保定性研究规则。出于这个原因,他建议定义一个流程模型(见图1)从一开始就制定一个计划的材料是如何接近。中心的分析材料的编码。最后,中央内容应该降到可控水平(25)。

图1
www.雷竞技rebatfrontiersin.org

图1所示。调查过程模型根据菲利普·迈尔(定性内容分析25)。

数据分析

访谈转录后,分析的帮助下进行Atlas.Ti编码软件。考虑到上述理论假设,三个访谈编码由一个研究员。生成的代码被编辑和组合成一个编码方案。因此,它是重要的在这一点上,以满足主体间性验证的要求。因此,我们决定进行一个intercoder可靠性检查以及几个同行的情况简报。这两种方法通常用于检查结果的有效性通过定性研究(26)。intercoder可靠性检查是由一个额外的研究分析前三个面试的编码方案。为此,临时结果与其他科学家详细讨论。随后,新方案编制的结果,加入反馈的讨论,导致一个编码方案应用到剩余的采访。

的解释,个人子代码由两位研究者再次更加仔细的检查。在编码过程中,备忘录和评论写指出文本段落似乎尤其相关的和有意义的。这个过程的灵感来源于在扎根理论方法(27)。然而,最终只有编码后的结论进行解释和显示以下结果。采访是在德国进行,给出的报价已经被翻译成英语。翻译是由作者。提高阅读的流动,这些报价已经消除。多个跨学科研究团队中的讨论,特别是两国研究人员进行了访谈,确保所使用的引用的意义并没有改变在这个过程。

结果

中给出的数字结果引号中可以找到补充材料。共有9个主题提出了三个主要部分。

第一小节关注信任,责任,和信息的可访问性临床决策的基础。因为信任和责任关系概念,人际交流的重要性也被认为是(参见临床决策的“基础”的一节)。第二章着重于医生的报道挑战他们在实施AI-DSS预测。当他们看到机会,挑战包括损失的风险经验和需要解释的结果AI-DSS给病人。此外,引用透明性explainability的形式出现(参见“挑战关于人工实施决策支持系统”)。最后,我们描述医生的反思与AI-DSS的交互,AI-DSS将来使用,及其改进建议(参见“反映了实验”的一节)。

临床决策的基础

在采访中,值得信赖的决策被描绘成要求的证据和经验。此外,与病人交流,同事,上司,强调护理。这些主题是特别重要的责任,这是采访医生定位最重要的是与充分告知患者。

证据和经验

受访者的意见与AI-DSS值得信赖的决策所涉及的,以证据为基础和最初eminence-based决策之间的矛盾变得明显。首先,医生理解值得信赖的决策反映了目前的结构和标准在医学(第一季度)。为了病人的安全,任何选择的治疗必须依赖前瞻性临床研究,验证其有效性(第二季,第三季)。换句话说,应该循证决策。根据受访者,然而,循证医学的理想总是不能获得在日常临床实践(第四季度),例如,因为可用的不完美的证据。在这种情况下,医生谈论eminence-based决策的重要性,人类经验和直觉等特点被认为是重要的(Q5,Q6):

我认为,临床经验起了很大的作用,而它可能不是,不,临床经验只是扮演了一个角色,我觉得个人。我们还在和人打交道,我认为人是一个非常有经验的临床医生有时会根据直觉做出决定。我已经看过很多次的决定没有错。有时候,有时候,事情是,如果一个前瞻性,积极行为排除事情是的,也许是更明智的,即使现在不会有什么出来但至少减少风险或前瞻性,积极行动,有时[是]也许更好。还在病人的感觉(迄今为止)。

在这句话的开始,经过短暂的犹豫,你证明她的意见关于经验的重要性。她指的情况下更有经验的医生不得不做出决定,并不会有道理的。这是再次澄清术语“肠”,指一个直观的决定或一个基于感情。在采访中,经验和直觉似乎是重要的值得信赖的决策和作为一个重要的质量对于任何医生。

人与人之间的交流

根据受访者,良好的决策是一个过程,涉及各种各样的观点。

[…]病人,我,其他学科、实验室医生和放射学和一位医生。我认为有时候,当然,其他球队,其他助手,他们指出,[…]他们也许做了检查,护理,我不知道,病人在护理人员告诉别的又或者他们再次注意的东西,我没有注意到。所以有更多的人(游戏的)。

医生清楚地表明决定最初发生在她和病人之间。然而,这一决定似乎在其中起到了中介作用几个实例。这样做的原因是对专业知识的需要,这是表示提到的其他学科和实验室医学。指的是高级医师也表明层次元素。此时,特别值得一提的是护理人员,咨询针对他们独特的交际与病人的关系。这种多样性的视角在临床决策是观察整个面试(九方- - - - - -问题)。

责任

受访者认同这一观点,即负责决定在日常临床实践是主治医生(Q14- - - - - -杆子有着)。因此,尽管病人是决策过程的一部分,但医生专家应提供的相关知识。医患关系的存在被认为是引起一种责任感。因此,他们的任务包括决定如何诊断和可能的治疗(交流)。这包括病史,评估相关的参数,并对病人的个人情况(的时候)。来自考试和实验室的每个参数值可以反映在推荐的治疗,但只有通过医生的有意识的决定(问题19)。

挑战关于人工实施决策支持系统

医生描述需要AI-DSS合并到现有的决策过程。他们也表达某种不安的AI-DSS可能防止批判性思维和收购的经验。是特别重要的是出现了医患关系的描述。提到使用AI-DSS并不免除的医生向病人解释系统的结果。在这一点上需要透明度和explainability变得明显。

机遇和风险

作为AI-DSS的好处之一,是说:

,目的是补充道。这有很多与病人的互动和主观评估。这样一个系统和一个/,是的,像[。]一个额外目标进一步的胳膊,好像有人坐在一旁边(Q20)。

这一事实,除了与病人和病人的评估,客观事实用于诊断最初支持AI-DSS作为进一步的分类参数。然而,引用属性更AI-DSS:它创造了另一个人在房间里的形象的特殊能力提升客观性。

这种人性化还发现在其他报价。例如,通过描述一个AI-DSS作为观察者的肩膀看起来治疗医生(温度系数),或者通过冲突化解能力归因于AI-DSS (的时候)。所有这一切出现在采访中与一个伟大的需要采访医生接收确认信息和支持决策或一个AI-DSS作为额外的安全网(Q23处- - - - - -Q26)。

如果怀疑需要支持变得太大,一个怀疑的态度有时是明显的采访。尽管它假定AI-DSS的使用将导致一个更关键的态度的决策(),为他人的危险感觉确认太快被高亮显示。

我认为总是有点担心还年轻同事很快依靠人工智能,不要塑造自己的本能。所以这就是为什么我认为/所以对我来说,我会这样做的方式,是的,我看到,当确认或激励或进一步输入但尽量保持自己在整个决策过程。这是一个很好的,是的,扣的事情,但是我认为不应该成为基础,(Q28)。

这句话使问题的态度可见。虽然AI-DSS的使用可以导致缓解在决策过程中,它可以防止临床的发展”的本能。”,尤其是缺乏经验的医生应该能够使他们的决定没有额外的帮助,从而获得重要的经验。

医患关系

大多数采访医生强调的重要性直接接触病人的潜在部署任何AI-DSS背景条件。根据他们的说法,这第一印象已经有一个巨大的影响后续治疗(Q29)。描述了如何重要的是认真对待病人(Q30),了解他们(),倾听他们的需求(),而不是提前形成一个意见完全基于实验结果(Q33)。这种关系不仅是重要的获取信息相关的诊断还涉及患者在决策根据他们的情况下(Q34)。重要的是,每个病人被认为是个体案例(Q35)。与病人互动因此大大不同,需要获得一个整体的个人条件(Q36)。概述了,病人也必须信任医生(的地区),因为没有意愿的治疗的病人被认为几乎没有成功的机会。

我是一个顾问谁试图得到最好的病人最后决策权在于耐心,因为如果他不确定这个自己,任何治疗可能没有成功(Q38)。

因此,治疗不仅是描述为了解病人的相关数据,但会议她,包括她在决策过程(Q39)。使用AI-DSS相关联的挑战是,医生必须解释系统的使用,结果病人在某种程度上他们能够理解为了满足这个要求。因此,医生还必须能够解释为什么一个特定的系统使用和解释它如何到达它的结果(Q40)。

透明度和explainability

采访医生提到一个AI-DSS应该有一定程度的透明度(Q41)。然而,透明度似乎并没有与索赔,使充分披露的所谓“黑盒。“医生意识到这是一个许多相关的人工智能形式的特征,并非每一步的分析可以完全理解(Q42)。相反,受访者强调需要建立一个AI-DSS的功效。此外,系统输出应该可辩解的合理的治疗医生。

例如,前瞻性临床研究应确保系统数据的评价不是对某些群体的人有偏见(Q43)。在所有方面,系统仍然需要证明可靠,必须逐步实现在日常临床实践(Q44)。为此,应该可辩解的。即使一个系统是基于良好的证据,这并不免除治疗医生从医患关系的交际任务。提供病人只有光秃秃的数据会出现不可靠的(Q45)。相反,在采访中,医生显然是分配给的任务简化某些结果,使它们尽可能理解患者,根据个人需求(Q46)。

反射实验

医生不同的他们认为在他们的决策系统。一些医生把给定的建议作为一个出发点,到达自己的判断。然而,大部分医生倾向于第一次完整地做出自己的评价,然后使用推荐系统的关键问题。它也被观察到,当系统的推荐的理由可以不再被理解,一个距离。在这些情况下,医生通常回归自己的评估。系统测试AI-DSS预计不会很快接管决策在诊所。医生的责任,因此被视为决定不太可能挤出系统,根据医生。从这个实验后,受访者提供建议改善AI-DSS一般和特定的测试系统。

使用人工实施决策支持系统进行了测试

总的来说,该系统是用于两种不同的方式。例如,一个医生使用给定的风险预测和决策过程从一开始就认为:

[…],我想立即给我一个方向。我或我们都不知怎么总是这么专业的怀疑,我有一个,现在也因为这是第一次体验这个应用程序,现在不能马上给自己百分之一百。但它立即给我一个趋势,然后很快如果我已经开始研究后来不知怎的,它实际上总是被确认。我发现我说,当时不知怎么以工代赈(Q47)。

在这种情况下,医生检查系统的方向。似乎她要保持一个关键的态度。从声明中可以得出结论,根据医生的看法,某些基本不信任是医学界的一部分。根据这个,不宜简单地接受AI-DSS的建议,至少不是只要这样一个系统是新的,即。,还没有被证明可靠的试验和实践。然而,尽管需要批判性的态度,减少系统的工作负载,使用了强调。

另一个医生使用系统在实验中作为第二意见。系统仅仅是咨询的关键问题的决策过程的评估。因此,需要额外的工作自己使用给定的风险预测:

我想我总是试图看看自己,然后又问AI我是否忽略了任何的点模型发现重要等等。和有quasi-tried得到一个公正的观点,然后再一次,再一次让我支持,否则一个变得如此懒惰的思维(Q48)。

引用清楚地显示了系统是如何作为一个机会评估医生的评估。一开始,她描述了预测没有使用。她随后AI-DSS的初始决策是独立的,只有与它相比。这个过程的基本原理是特别有趣的。医生强调变得“懒惰思维”的担忧如果一个AI工具之前咨询自己的具体方法。这表明有一定的提前预订让决策过于简单。

其他受访者表示,愿意接受系统的结果还取决于它在多大程度上符合自己的思考的具体情况。确认,例如,削减导致的不信任Q49),而与系统差异引发的不确定性。在大多数情况下,不确定性是用来批判质疑自己的评估(Q50)。当差异不能被理解,然而,一些医生迅速恢复完全对自己的评价:

如果我现在,如果我是相同的意见然后我容忍了这一点,但是如果是,,如果我发现它完全荒谬的,那么我只是忽略它(Q51)。

这句话总结的区别是系统提供的评估是否符合医生的评估。忽略了系统意味着排除它的决策过程。缺失的是什么医生此时是一个理解为什么AI-DSS到达这样一个差异化的评估。“荒谬”这个词的使用表明,她无法解释它。

期望对临床决策的影响

反映在实验中,受访者认为,通过使用该系统,他们将决策权力移交给(Q52)。医生描述这样一个系统作为一个参数可以包含在自己的诊断评估以及其他信息。该系统将帮助应对大量的数据(Q53,Q54),从而使决策过程更加有效(Q55)。

决策的责任与一个AI-DSS仍被认为是治疗医生。例如,他们怀疑不承担这种责任的决定AI-DSS可能导致可能的扩散或空白,没有人可以负责一个AI-supported决定了(Q56)。此外,移交责任与损失相关联机构(Q57,Q58)。

作为一个额外的理由,这样一个系统可以帮助更容易携带沉重的负担的责任(Q59)。没有进一步的识别问题。强调AI-DSS也可以用于未来的发展更重要的态度在决策过程(Q60)。先前建立的根本改变结构在日常临床实践不是预期的(Q61)。

这些点与受访者的方式将这种系统融入他们的日常工作。例如,它应该避免错误的决定而不是预先决策(Q62)。最后,相信应该基于自己的评估,感觉,和直觉。医生的一个担忧是,思考人的决策过程。失去人类的判断是伴随着损失范围的治疗选项(Q63)。因此,应始终注意保持批判性思维态度(Q64)。为此,必须阻止,AI-DSS站在获取专业知识的方法(Q65)。

改进的建议

考虑由医生的建议来改善使用AI-DSS,看来医生想要更多的信息,并进一步影响系统。几个医生想要额外的解释系统如何到达其评估(Q66,Q67)。此外,该系统的评估不应该独立,但是应该能够与其他程序(Q68)。一个特定的建议是系统的可能性将进一步突出文学或研究成果立即将预测与进一步的证据(Q69)。此外,建议是让用户实现机制中包括哪些参数影响的分析AI-DSS (Q70)。为此,采访医生希望系统提供可追踪的预测。

讨论

在三个主题,这项研究的结果出现一组规范要求使用AI-DSS可以推断(见表1)。每个人都依附于目前的辩论和扩展问题周围的人工智能在医学上。第一,医生的要求维护经验和自主决策可以被看作是一种态度与医学有关的职业。仍值得商榷这种专业的态度提供了良好的先决条件与部署相关的挑战AI-DSS(参见“维护经验和自治”的一节)。此外,作为医生的决策没有发生在真空中是很重要的考虑临床环境。问题包括临床组织结构以及如何塑造必须解决医患关系的讨论AI-DSS(参见“临床环境的重要性”)。特别是责任告知病人的思维是指需要透明度和explainability不仅在技术上,但适应特定应用程序上下文。设计似乎明智的医生和AI-DSS之间的交互,这样就可以对它施加影响(参见“Explainability和有意义的互动”的一节)。

表1
www.雷竞技rebatfrontiersin.org

表1。主题和推断规范性要求的结果。

保持专业知识和自治

我们的结果表明,受访者觉得在决策过程中即使使用AI-DSS负责。他们有一个临界距离测试AI-DSS和强调,使用不应该需要专业知识的流失。符合这一点,他们试图保持决策自主权。医生的要求保持专业知识和自主决策反映了古典对医疗行业的理解。典型特征的一个正式的职业包括学术教育,高度的专业知识,致力于中央社会规范和价值观连同高度自治(28)。这些特征应该确保专业人士能够运用他们的专业知识对个别病人和他们的特质(28)。

原则上,这些医疗行业的特点,包括其受托责任的病人,可能是有前途的来源开发和部署的指导和培育信任AI-DSS在临床实践(29日)。这是说,很难说这经典的理解可以在考虑AI-DSS维护。Noordegraaf (30.)指出的那样,这样专业的特点正在受到挑战。AI-DSS等新技术直接影响医生的工作流程,从而可能预示着转移能力(30.)和可能改变给定的本构特征的职业。从这个意义上讲,Noordegraaf提供一个建议重新考虑职业可能重塑他们所面临的挑战:归因等专业知识和自治必须考虑在关系的方式。他声称目前医疗行业的特色不在于单纯的正式特点但互联性与其他社会实践。

专业人士不仅行动,但他们也必须与其他和表述行为的采取行动:他们如何做事,如何关联的客户体验,如何学习,如何偏离标准,以及他们如何出现值得信赖,决定他们是否被视为“专业人士”(30.):209)。

我们因此建议专业知识和自治,受访者的支持在结果不应仅仅是构思的主题形式特征的角色和关系特征的医学专业。对于一个给定的AI-DSS,应该评估是否促进或抑制这些关系特性的实现。

临床环境的重要性

AI-DSS组织结构是一个高度的重要性被忽视的研究领域当带到AI-DSS的讨论(31日)。我们的研究结果表明AI-DSS需要用户为各种不同的交互与高级医师,在日常沟通的同事,实验室的医生和护理人员。所有这些相互作用例如,什么时候一个初级医生咨询资深医生在诊所或不同部门的合作属于各自的机构的组织结构。确保部署AI-DSS有益,一个运转良好的用户之间的相互作用,可用的技术和组织是必要的(31日)。由于医生的决策并不发生在真空中,实际实现的任何评估临床AI-DSS因此需要至少部分基于机构的组织结构的信息。

一个简单而一致的结果是,流动的需求AI-DSS引入日常临床实践不应该抑制甚至阻止收购的经验和参与人际互动。既不应该挤出病人在决策过程中扮演的角色。共享决策的概念(SDM)通常被认为是最优的方法涉及病人治疗(32),也是越来越重要的讨论AI-DSS。长效磺胺的目的是为患者提供适当的信息的最大数量,积极考虑在决策过程中病人的需要,并加强医患关系(33)。我们的研究结果强调的AI-DSS SDM不应该限制医患关系,但提供强化的关系(34)。

Explainability和有意义的交互

受访者的评价explainability可以讨论有关可辩解的AI(新品)。新品通常被认为是解决这个问题的关键的所谓“黑盒”算法,因此处理缺乏透明度和维护信任和安全35)。原则上如果AI-DSS可辩解的,用户可以启用解释系统的方式,让他们评估输出,检测错误,因此运动控制系统。Explainability还可以把自己的困难。例如,放置在单独的高需求,不仅要了解系统在某种程度上,也涉及其使用她自己的目标36)。

新品就不仅仅是一个技术挑战。总有社会影响的解释是如何设计的组件,例如,对他们来说,解释,具体需要什么用户,问题的教育产品是必要的,能够理解给出的解释(37,38)。

本研究指定的东西是否算得上一个有用的解释取决于AI-DSS医生使用什么。例如,自从AI-DSS的结果必须向患者解释,采访医生需要了解系统如何到达这个目的的建议。正是这些背景知识的差异和假定不同的目标受众追求在AI-DSS explainability时需要注意。

explainability相关问题,采访的医生清楚地表明,他们想控制AI-DSS。这可以得出从受访者的测试系统的改进的建议。,希望能够影响系统输出。这样的控制是以某种形式的explainability。例如,有意义的人类控制的概念(MHC)要求用户必须能够理解AI-DSS的影响在实际应用的上下文(39)。医生必须不仅能够操作AI-DSS,但也可以评估的情况下,系统应该使用,应如何解释AI-DSS的建议在一个特定于上下文的方式。关注应该致力于如何一个可用的AI-DSS和用户之间的交互——在我们的例子中医生应该组织(40)。

胡佛(41)描述了特定于上下文的使用方法的问题与一个人工智能系统应该如何行使。他声称决策,特别是涉及到很多领域的责任,不应该由人工智能系统。不是因为系统必然带来更糟糕的决策比人类,但因为使用系统可以积极预防人类必不可少的参与和获得的经验和技能,如直觉。没有这些,专家无法充分评估新的和复杂的情况。很重要对于每一个专家在某些情况下获得生活经验,然后出现相关的处理问题,在其他上下文(42)。胡佛,代理人负有责任的情况下,使用一个人工智能系统必须能够锻炼意义的控制系统。通过一个有意义的交互系统,代理是直接参与所发生的,因此可以影响情况符合他们的专业知识。

通过这种方式,它是原始的,未来的社会技术设计配置的方式,避免“运营商传球给队友”,随后的“自动化自满”(41):8]。

专业出现在这种情况下的能力评估十分重要和相关的需要在一个特定的情况下决定。从这个意义上讲,有意义的互动使经验和专业知识,甚至可能通过,AI-DSS的使用,确保一个系统的理解的结果,使用户能够将系统集成到现有的决策结构。

限制

像所有的实证研究,目前有一定的局限性。一般来说,我们相信是有意义的陪伴和补充实验在医学领域与社会研究的定性方法。然而,它也可能影响实验的态度接受采访的医生。例如,我们的结果显示一个AI-DSS感兴趣的态度。基于目前的研究,这应该被视为在前面实验的经验。在不同的上下文中,态度是不同的。

此外,通过专注于医生,这项研究提供了重要的见解与AI-DSS临床决策的挑战。讨论AI-DSS的实现在临床实践中,同样重要的是采访所有卫生保健专业人员以及病人和开发人员包括他们的印象,经验,和观点在整个讨论。

结论

随着AI-DSS的进步表现,如何实现相关系统的问题在实践中变得更加中央。本研究的目的是探讨医生的观点后测试一个AI-DSS预测风险肾移植治疗。结果指出问题的基础临床决策,预期与AI-DSS相关的挑战,和具体考虑的实验小说AI-DSS进行了测试。总的来说,这些发现表明AI-DSS一个积极的态度。问题包括专业知识和自治的潜在损失。高度重视的临床环境中人工智能决策支持以及病人参与。这是符合渴望进一步建立explainability和控制的手段。

这些发现引起共鸣与当前人工智能在医学上辩论。如何实现AI-DSS的问题在当前的组织结构以及确保共享决策的重要性,保持同样的中央。Explainability必须符合具体情况和AI-DSS旨在确保有意义的互动。在这个意义上,专业知识和自治的治疗医生可能实现AI-DSS时维护。我们希望本研究补充概念讨论围绕AI-DSS医学与实证证据,并为进一步的研究提供了一个起点。

数据可用性声明

最初的贡献在这项研究中都包含在本文展示/补充材料。进一步询问可以针对相应的作者。

道德声明

个人的书面知情同意了出版的任何潜在的可识别的数据包括在本文中。这是确保数据不允许任何结论得出的个人。

作者的贡献

RR, PH值,BO, AB,毫米,WD的概念和设计研究。PH值和BO执行执行的研究和采访。DS, RR, BO、AB和PD进行了数据分析。DS写的手稿。所有作者的手稿修改和阅读和批准提交的版本。

资金

这个项目部分由联邦教育部和研究(BMBF、德国)在项目的“有效:Al-Driven决策在诊所。伦理、法律和社会挑战”(批准协议号。01 gp1903a和01 gp1903b)和欧盟的地平线2020研究和创新计划(批准的协议。780495)(BigMedilytics)。

确认

我们感激Svenja哈恩,菲奥娜Bendig,洛伦茨Garbe,瑟瑞娜,Susanne贝克,米歇尔Fiekens,西蒙Gerndt对他们有用的反馈早期版本的手稿。我们还要感谢Siglinde Peetz,亚历克斯Gropel Carima Jekel审查过程中由于其有用的输入。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

作者免责声明

任何传播结果只反映了作者的观点。欧盟委员会不负责任何使用,可能是由它所包含的信息。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/fmed.2022.1016366/full补充材料

引用

1。Coeckelbergh M。AI道德。剑桥,麻州:麻省理工学院出版社(2020)。

谷歌学术搜索

2。戴尔我,安萨里,喧嚣年代,全G, Paul a .人工神经网络作为临床决策支持系统。Concurr第一版Pract Exp。(2021)33:e6342。doi: 10.1002 / cpe.6342

CrossRef全文|谷歌学术搜索

3所示。马Shailaja K, Seetharamulu B -贾巴尔。机器学习在医疗保健:审查。论文发表在2018年的第二次国际会议上电子、通讯和航空航天技术(ICECA)。哥印拜陀:(2018)。910 - 4页。doi: 10.1109 / ICECA.2018.8474918

CrossRef全文|谷歌学术搜索

4所示。Topol e .高性能医学:人类与人工智能的融合。Nat地中海。(2019)25:44-56。doi: 10.1038 / s41591 - 018 - 0300 - 7

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

5。杰Z,判断Z,李·l·沃森的荟萃分析肿瘤在临床应用。Sci代表。(2021)11:5792。doi: 10.1038 / s41598 - 021 - 84973 - 5

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

6。钱伯斯D,卡佩尔AJ,约翰逊M,普雷斯顿L,巴克斯特SK,展台,等。数字和在线检查和健康评估/症状分类服务紧迫的健康问题:系统回顾。BMJ开放。(2019)9:e027743。doi: 10.1136 / bmjopen - 2018 - 027743

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

7所示。de本田啊,Leeuwenberg, Hooft L,康德IMJ Nijman SWJ, van Os HJA et al .准则和基于人工智能的预测模型在医疗质量标准:范围审查。地中海NPJ数字。(2022)5:1-13。doi: 10.1038 / s41746 - 021 - 00549 - 7

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

8。Kredo T, Bernhardsson年代,Machingaidze年代,年轻的T, Louw Q, Ochodo E, et al。指导临床实践指南:游戏的当前状态。Int J质量卫生保健。(2016)28:122-8。doi: 10.1093 / intqhc / mzv115

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

9。男性Treweek年代,奥克斯曼广告,艾德森P, Bossuyt点,布兰德L, Brożek J, et al。开发和评估传播策略来支持决策和实践基于证据(决定):协议和初步结果。实现科学。(2013)八6。doi: 10.1186 / 1748-5908-8-6

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

10。布劳恩米,无角的P,贝克,Dabrock P .引物在道德的基于ai在临床决策支持系统。J医学道德。(2021)47:e3-3。doi: 10.1136 / medethics - 2019 - 105860

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

11。Mittelstadt B,紧密相联的P, Taddeo M,韦希特尔年代,Floridi l算法的伦理:映射的辩论。大数据Soc。(2016)21。doi: 10.1177 / 2053951716679679

CrossRef全文|谷歌学术搜索

12。Tsamados, Aggarwal N,配备J,莫理J,罗伯茨H, Taddeo M, et al。算法的伦理:关键问题和解决方案。AI Soc。(2022)37:215-30。doi: 10.1007 / s00146 - 021 - 01154 - 8

CrossRef全文|谷歌学术搜索

13。杜Antoniadi, Y, Guendouz Y,魏L, C礼拜日,贝克尔英航,等。当前的挑战和未来的新品在临床决策支持系统基于机器学习的机会:一个系统的复习。:科学。(2021)11:5088。doi: 10.3390 / app11115088

CrossRef全文|谷歌学术搜索

14。萨默维尔巴克斯特克,即社会技术系统:系统工程从设计方法。交互的第一版。(2011)23:4-17。doi: 10.1016 / j.intcom.2010.07.003

CrossRef全文|谷歌学术搜索

15。Petitgand C, Motulsky,丹尼斯•J-L Gis C .调查阻碍医师采用基于人工智能的决策支持系统的急救护理:一个解释的定性研究。数字珀耳斯健康医疗。(2020)270:1001-5。doi: 10.3233 / SHTI200312

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

16。Ferretti,施耐德,Blasimme机器学习在医学:黑盒打开新的数据保护。欧元转速的数据保护法律。(2018)4:320-32。

谷歌学术搜索

17所示。Jongsma KR、Bekker锰、Haitjema年代,Bredenoord。数字健康如何影响医患关系:一个empirical-ethics研究视角和产科护理的经验。怀孕Hypertens。(2021)25:81-6。doi: 10.1016 / j.preghy.2021.05.017

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

18岁。泰伯P,堰C,巴特勒JM, Graber CJ,琼斯MM, Madaras-Kelly K, et al。社会动态群体仪表板的抗菌药物管理:定性分析。感染控制。(2021)49:862-7。doi: 10.1016 / j.ajic.2021.01.015

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

19所示。Schaaf J,普罗科什H-U, Boeker M, Schaefer J, Vasseur J, Storf H, et al .采访专家罕见疾病临床决策支持系统软件发展的定性研究。Mak BMC医学通知决策。(2020)20:230。020 01254 3 doi: 10.1186 / s12911

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

20.施瓦茨JM, Moy AJ·罗塞蒂SC, Elhadad N,卡托KD。临床医生参与基于机器学习的研究预测临床决策支持医院设置:范围审查。J是通知协会。(2021)28:653 - 63。doi: 10.1093 /地点/ ocaa296

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

21。Naik辊R, Mayrdorfer M, Duettmann W, MG,施密特D, Halleck F, et al。评估病人的临床决策支持系统检测肾移植后的风险。公共卫生。(2022)10:979448。doi: 10.3389 / fpubh.2022.979448

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

22。Liebold R, Trinczek R . Experteninterview。:库尔年代,Strodtholz P, Taffertshofer编辑。Handbuch Methoden der Organisationsforschung:定量和定性Methoden。威斯巴登:VS -毛皮Sozialwissenschaften (2009)。32-56页。3 531 - 91570 8 _3 doi: 10.1007/978

CrossRef全文|谷歌学术搜索

23。电影U, Kardorff E, Steinke即定性大幅减退是什么?Einleitung uberblick。:电影U, Kardorff E, Steinke我编辑。定性的大幅减退。Handbusch。汉堡:罗Taschenbuch 1 - (2000)。

谷歌学术搜索

24。默兹米,内格尔美国Das Experteninterview-konzeptionelle《音乐和methodische癖性。:冰斧,冰斧G, Lauth H-J,扬D编辑。-和Sozialwissenschaft: Methoden der vergleichenden政治Neue Entwicklungen Anwendungen。威斯巴登:VS -毛皮Sozialwissenschaften (2009)。p . 465 - 79。doi: 10.1007 / 978 - 3 - 531 - 91826 - 6 _23

CrossRef全文|谷歌学术搜索

25。娃P。定性Inhaltsanalyse:《音乐和Techniken。Weinheim:相关的(2015)。

谷歌学术搜索

26岁。Misoch年代。定性访谈。柏林:De Gruyter Oldenbourg (2019)。

谷歌学术搜索

27。玻姆a Theoretisches codieren: textanalyse der扎根理论。:电影U, Kardorff E, Steinke我编辑。定性的大幅减退。Handbuch。汉堡:罗Taschenbuch 1 - (2000)。

谷歌学术搜索

28。雅培公司广告。专业的系统:一篇关于劳动分工的专家。芝加哥:芝加哥大学出版社(1988)。

谷歌学术搜索

29。Mittelstadt b原则本身不能保证道德AI。Nat智能马赫。(2019)1:501-7。doi: 10.1038 / s42256 - 019 - 0114 - 4

CrossRef全文|谷歌学术搜索

30.Noordegraaf m .保护或连接专业吗?联系专业人士如何(仍然)作为独立和权威的专家。J自称器官。(2020)7:205-23。doi: 10.1093 / jpo / joaa011

CrossRef全文|谷歌学术搜索

31日。赫曼T, Pfeiffer美国保持组织的循环:社会技术的延伸,以人为中心的人工智能。AI Soc。(2022)。doi: 10.1007 / s00146 - 022 - 01391 - 5

CrossRef全文|谷歌学术搜索

32。虽然a共享决策。Br J Commun孕育。(2019)24:250 - 250。doi: 10.12968 / bjcn.2019.24.5.250

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

33。低音某人托马斯•EC Siminoff洛杉矶。超越理性:扩大共享决策的实践在现代医学。社科地中海。(2021)277:113900。doi: 10.1016 / j.socscimed.2021.113900

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

34。拉希米SA,黄Cwintal M, Y, Ghadiri P,年仅研究生R, Poenaru D,等。应用人工智能共享决策:确定审核范围。地中海JMIR通知。(2022)10:e36199。doi: 10.2196/36199

CrossRef全文|谷歌学术搜索

35。Holzinger, Kieseberg P, Weippl E, Tjoa。目前的进步,机器学习和知识提取的趋势和挑战:从机器学习到可辩解的人工智能。在:Holzinger Kieseberg P Tjoa, Weippl E编辑。机器学习和知识提取、课堂讲稿在计算机科学。可汗:施普林格国际出版(2018)。1 - 8页。doi: 10.1007 / 978 - 3 - 319 - 99740 - 7 - _1

CrossRef全文|谷歌学术搜索

36。康尼锡PD。允许用户控制算法服务的挑战。AI Soc。(2022)。doi: 10.1007 / s00146 - 022 - 01395 - 1

CrossRef全文|谷歌学术搜索

37岁。Asghari H,伯恩N, Burchardt,迪克斯D, Faßbender J, Feldhus N, et al。当解释解释什么是很困难的。一个跨学科的底漆的新品和有意义的信息自动决策。日内瓦:Zenodo (2022)。doi: 10.5281 / zenodo.6375784

CrossRef全文|谷歌学术搜索

38。Ratti E,坟墓m可辩解的机器学习实践:打开另一个黑盒可靠的医学人工智能。AI道德。(2022)2:801-14。doi: 10.1007 / s43681 - 022 - 00141 - z

CrossRef全文|谷歌学术搜索

39岁。霍洛维茨M, Scharre P。有意义的人类控制武器系统:底漆。(2015)。网上:https://www.cnas.org/publications/reports/meaningful-human-control-in-weapon-systems-a-primer(2022年11月29日访问)。

谷歌学术搜索

40。de Sio FS, Mecacci G,卡尔弗特年代,Heikoop D, Hagenzieker M, van Arem b实现有意义的人类控制自动驾驶系统:一个多学科的方法。头脑马赫。(2022)。doi: 10.1007 / s11023 - 022 - 09608 - 8

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

41岁。胡佛WD。Design-for-responsible算法决策系统:一个问题的伦理判断和人类有意义的控制。AI道德。(2022)2:827-36。022 00144 w doi: 10.1007 / s43681

CrossRef全文|谷歌学术搜索

42。Coeckelbergh m .良好的医疗是“如何”:护理的质量,机器的作用,需要新的技能。:范Rysewyk SP, Pontier M编辑。机医学伦理、智能系统、控制和自动化:科学和工程。可汗:施普林格国际出版(2015)。33-47页。doi: 10.1007 / 978 - 3 - 319 - 08108 - 3 - _3

CrossRef全文|谷歌学术搜索

关键字:人工智能、医生、决策支持、健康,定性内容分析

引用:Samhammer D,滚子R,无角的P, B Osmanodja Burchardt, Mayrdorfer M, Duettmann W和Dabrock P(2022)“没有工作没有医生:“医生的临床决策和人工智能感知。前面。地中海。9:1016366。doi: 10.3389 / fmed.2022.1016366

收到:2022年9月14日;接受:2022年11月23日;
发表:2022年12月20日。

编辑:

丽丝Aagaard,独立研究员,丹麦哥本哈根

审核:

桑德尔Kerpel-FroniusSemmelweis大学匈牙利
丹尼斯Shung耶鲁大学,美国
麦克尔- Lindskov萨克斯丹麦,丹麦国家伦理中心

版权©2022 Samhammer辊、胡梅尔Osmanodja, Burchardt, Mayrdorfer, Duettmann Dabrock。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。

*通信:大卫•Samhammerdavid.samhammer@fau.de

下载