修改人力系统工程原理为嵌入式智能应用

1。介绍

复杂系统,通常与高安全性的影响类似于军事和交通系统时,越来越多地利用人工智能(AI)来提高系统的性能。当面对数据不足时,不完全信息和不确定的条件下,人工智能往往不能提供必要的决定和/或行动支持和不能依赖基于理论的预测来填补任何推理的差距(主教,2021年),这可能带来灾难性的结果就像一个行人的死亡的超级自动驾驶事故2018年在阿兹(拉里斯,2018)。

相比其他关于机器学习的文章,有相对较少的讨论包含嵌入式AI可以或应该如何改变系统应该如何构思、设计和测试,即,系统工程过程。人们普遍同意,系统工程方法应该考虑人们和组织,怀孕,开发和管理复杂的系统,也被称为人类系统工程(尽情et al ., 2011)。然而,由于使用的不断增加嵌入式AI在社会的许多方面,人类系统工程从业者需要适应这种新技术,这将需要新的接触点等的设计和部署系统。

在复杂的系统与软件使用的不断增加,敏捷软件开发实践已成为事实上的标准(克劳德和薯条,2013)。虽然理论上敏捷过程包括用户早在生命周期的设计过程,近年来,这种方法都集中在速度和“足够好”软件版本。这样一个焦点可能会导致丢失的关键考虑系统与嵌入式智能所特有的。不适应人类系统工程过程占AI引入独特的问题,尤其是在human-algorithm交互,系统利用嵌入式AI风险更大的重要的问题,特别是那些在安全至上的设置操作。此外,由于人类扮演独特的角色在安全至上的系统中,作为设计师,上级及队友,人为因素是特别重要的专业人员,包括用户体验专家,参与整个生命周期。

以下部分将讨论如何在需求开发过程需要改变的“质量”,以及当前的测试,评估验证和确认方法固有的任何系统工程方法(2022年国家科学学院)。

2。人工智能发展的要求

需求开发包括指定高层所需的系统目标和功能,包括将责任分配给各代理(人类或计算机代理)(主教法冠,2014)。发生在需求开发过程的一个重要问题,工程师认为一个系统比真的更有能力,导致潜在的功能差异。

可以由人工智能神经网络工作在非常狭窄的应用程序,但如果这样的一个系统提供的数据不真实地模拟数据与它最初的训练,这些算法可以努力理解数据甚至稍微不同的演讲(卡明斯,2021)。如果需求开发,高估的功能嵌入的AI和不充分考虑人类队友的背景和作用(Tomsett et al ., 2018),然后会发生系统故障。

行人的死亡的超级无人驾驶汽车监督的疏忽安全驱动程序(拉里斯,2018)突出了这样一个断开。系统的设计者当选不是提醒司机安全当底层计算机视觉系统难以正确确定一个潜在的威胁。系统安全的司机也不是用来检测一个分心,这两个设计决策,没有标识为重要的需求,直接导致了行人的死亡。

识别的AI脆性在需求阶段是至关重要的,因为它意味着人类可能需要调整自己的认知工作,结果出人意料的新功能的底层AI的局限性。因此,过分依赖人工智能能力差距将导致潜在的功能,在人类可能意外需要干预退化AI但可能没有资源或时间。为此,在考虑需求开发可以或应该如何改变的AI,以下方面需要专用的焦点¹:

•确定何时、何地以及如何AI-enabled技术是脆弱的。

•确定新的功能和任务可能是由于将脆性AI引入复杂的系统。

•确定那些可能导致AI脆性的现实世界的约束。

•协调AI脆性的风险和风险的人类决定偏见在决定适当的函数,以及是否独家角色或人类和自治之间合作最好的支持总体任务,同时提供安全缓冲对固有的局限性。

•调查到什么程度的风险AI脆性可能影响人类的信任和适当的信任怎么能修复,重新调整和维护。

•考虑时间压力的影响在人类决策系统,利用不同类型的人工智能。

•确定上下文的各种预期操作的作用域。

•决定是否和如何可辩解的AI /可翻译的实际用户,尤其是在关键时间的设置和不同级别的培训。

•确定推理过程,决定和限制的嵌入式AI应该是透明的,以及这些信息的成本和收益透明。

•描绘人类可以增加人工智能的环境和设计减轻固有的脆性。

•确定可接受的水平的不确定性特征应该在需求过程。

•调查是否应该这样设计人类和AI系统形成互补的团队和确定关键决策的任何必要的冗余。

•确定以及人类如何帮助检测敌对攻击和这样的一个函数是否会导致工作负载超过可接受范围。

•地图和沟通能力的边界人和AI-enabled系统退化和有潜在危险的阶段的运营系统是可以避免的。

3所示。Embedded-AI系统的“质量”上

下一个重要步骤是任何系统工程工作理解相关的特定系统的“质量”上。“质量”是功能性发展、运营和支持需求技术(主教法冠,2014)。常见的“质量”包括可用性、可靠性、适应性、可维护性、可访问性和可持续性。

更好地了解新能力是新兴的AI,重要的是要首先理解偏差的性质在人工智能系统。有多个来源的偏见,人类引入人工智能系统的设计,其中包括:(1)偏见不恰当的数据管理,(2)偏见的设计算法,和(3)偏差的解释产生的算法(卡明斯和李,2021年)。

在数据管理方面,完善的偏见可以不经意间引入一个人工智能系统由于底层数据样本选择偏差(例如,Samimi et al ., 2010;Gianfrancesco et al ., 2018)。然而,有少得多的研究数据集的实际管理如何影响结果。甚至更多的问题在实际数据标签错误,通过人类或基于机器的标签系统。一项研究观察10个主要数据集引用超过100000次发现3.4%的平均错误率在所有的数据集(Northcutt et al ., 2021)。这些错误影响算法的整体性能的结果,和无处不在的商业语言模型和计算机视觉系统。

除了数据管理,重大偏差时可以引入一个AI系统从业者主观地选择一个人工智能算法为应用程序和相关的参数。最近的一项研究表明至少有10机器学习算法的重要设计者的主观决策可能影响的总体质量模型(卡明斯和李,2021年)。目前没有标准或接受实践这样的偏见和主观性可以或应该评估或者减轻。

最后,第三个偏差的主要来源是解释复杂的统计数据由人工智能生成,这是一个证据确凿的弱点,即使是专家(Tversky和卡尼曼,1974年)。研究成果最近试图使输出更可辩解的(钱德勒,2020年;费雷拉和蒙泰罗,2020)或可说明的(Fernandez-Loria et al ., 2020)。然而,大多数的这些努力尝试改善专家和可解释性很少努力旨在帮助AI-embedded系统的用户。

explainability差距的重要性不能被低估,尤其是对于时间压力是系统的用户如在运输和军事系统。用户可能不知道,可能有很多漏洞百出的假设和偏见,可以质疑任何AI-generated结果。这种差距也值得注意,因为它影响认证工作,即。,如果外部系统评价者不是AI创作者无法理解系统的结果,那么他们不能开发适当的信心,这样的系统可以满足指定的需求。

鉴于这些偏见的来源,表1概述了如何一些传统的需要改编的“质量”以及新的需要考虑的“质量”上。除了传统的可用性问题,需要额外的关注使得用户AI非常透明的极限。适用性类别的可能最大的变化将是需要解决的概念也被称为“概念漂移,漂移模型。“这发生在输入和输出数据之间的关系随时间变化(Widmer库巴特,1996),做出这样的预测系统无关的在最好的情况下,或在最坏的情况下,潜在的危险。例如,如果一个嵌入式AI系统实时决策和分析图像依赖于一个年长的训练集的数据分类,这可能会导致严重的问题,象不正确标签建筑作为一个武器设施时,它实际上是一个学校。这个漂移代表一个可能的来源动态不确定性,应考虑在决定当一个系统是否符合规定要求。

概念漂移也影响可持续性的概念范畴,因为防止漂移的最好方法是确保底层数据在任何人工智能模型充分代表当前的操作领域。为此,有必要开发一种人工智能维护社区工作的需要数据库管理、数据和模型质量保证,数据适用性评估,与测试人员一起确定下游的影响问题。有最近的努力等人群来源报告(例如,负责人工智能协作,2022年),但需要更多的正式的工作形式的一个专门的人工智能维护劳动力,这是一个全新的工作领域发展。

还有一个需要显式地考虑一个新的“能力”可审核性,这是需要记录和评估中使用的数据和模型开发一个AI-embedded系统,为了揭示可能的偏见和概念漂移。虽然已经有了最近的研究努力在发展过程来更好地说明数据集的适当性(Gebru et al ., 2018),以及模型的性能与给定数据集(米切尔et al ., 2019),没有已知的有组织的审计工作在企业或机构。安全至上的系统可能需要更高水平的比纯粹的软件系统,可审核性和可审核性可能属于上述人工智能维护员工的范围。

最后一个新的“能力”的类别表1被称为被动的脆弱性。有越来越多的证据表明,人工智能系统在大型数据集训练尤其容易受形式的被动窃听,那里的环境是在小方面修改利用漏洞在底层机器学习算法。例如,敌对的机器学习是用来哄骗一个特斯拉85对35英里每小时和少量的磁带限速标志(奥尼尔,2020),这样的情况也发生在自然语言处理(莫里斯et al ., 2020)。网络安全实践需要修改在未来占这个新威胁向量,是独特的人工智能和安全仍然是一个未知的潜在影响。

4所示。测试、评估、验证和验证(TEVV)的人工智能系统

而需求和经验代设计师AI-embedded系统提供了系统的体系结构的参数,同样重要的是在系统工程过程测试、评估、验证和验证(TEVV)技术发展阶段。TEVV确保需求的充分满足,以及突出,不可避免的设计交易可能会引入不可接受的风险。不幸的是,没有行业或政府什么是可接受的共识embedded-AI TEVV实践系统。最近的一个报告凸显了军事TEVV不足AI-embedded系统(弗卢努瓦et al ., 2020),美国国家运输安全委员会呼吁更严格的监督自动车辆的测试和认证(NTSB, 2019)。

TEVV AI系统的主要原因是不易于理解的方法来确定当前缺乏这样的系统如何应对已知和未知的不确定性。有三个主要来源的不确定性人工智能系统,如所示图1。环境的不确定性,比如天气的影响,是一种已知的确定性和非确定性系统的不确定性来源。同样,人类行为对于演员和外部系统可以有相当的不确定性。什么是新的在人工智能系统是需要考虑的可变性,即盲点,在嵌入式AI在这样的系统中,以及这些盲点如何导致人类与人工智能问题的实际操作系统的性能。

虽然人们普遍认识到,商业和政府机构需要适应他们的测试实践解决AI盲点问题,几乎没有实质性进展。典型的系统工程方法来测试通常包括在早期发育测试技术的发展,然后操作测试作为一个成熟的系统。确定性系统虽然这种方法是合理的,它只是不会可持续系统与嵌入式AI,被别人指出(拉兹et al ., 2021;Wojton et al ., 2021)。

一个主要问题是不断更新的软件代码,是一个必要的敏捷软件开发的副产品。在这种设计方法,软件可以改变在看似小,然后导致意想不到的结果。没有原则的测试,尤其是对软件比能有导数的效果对人类的性能,潜在的阶段将潜在的系统故障。此外,由于软件通常是不断更新系统的整个生命周期,目前尚不清楚应该如何适应测试抓住一个问题的出现与嵌入的人工智能系统。

这种阶段性的测试方法不明确解释需要测试AI盲点。理解,有新的TEVV来源的不确定性,需要反思,尤其是当这些不确定性的来源与人类工作,需要新台,允许调查这样的不确定性。

核心问题之一的角色是人工智能的核心实验仿真和实际测试。公司倾向于行为的大部分系统在模拟实验成本和调度的原因。因为不确定性是一个潜在的未知的未知,来自人工智能系统的设计,环境,和人类,更强调需要学习多少测试应该在模拟与真实的世界。

考虑到变化,人工智能是并将继续引进系统以及他们使用的设计,调查有几个方面值得更多的关注TEVV而言,其中包括:

•人工智能性能应如何测量,包括个人行为以及行为和紧急行为模式。

•如何知道偏见发展的人工智能系统是测量和测试吗?

•如何未知来源的偏见被发现?

•什么方法可以开发潜在揭示未知来源的偏见?

•程序部署后测试的需要,包括person-in-the-loop评估,当有意义的软件进行更改或环境条件的改变。需要额外的工作来定义“有意义的软件更改。”

•人类决策偏见如何影响数据管理,这怎么能测试和如何减轻这种偏见吗?

•或测试用例应该怎么发达,边缘和角落病例的确定,特别是在人类操作或可能会受到脆AI的影响?

•台应该开发,允许多学科交互和调查,也包括足够的真实数据调查的角色不确定性,因为它与AI-blind斑点。

•鉴于变化几乎持续不断的AI系统的基础软件和环境条件,识别、测量和减轻概念漂移仍然是一个悬而未决的问题。

•人类如何证明概率AI系统在真实世界的场景吗?

•确定适当程度的信任系统可能并不总是以可重复的方式,就像那些嵌入AI,等两人操作和验证是至关重要的系统。

•基于风险的框架,平衡algorithm-focused的发展,嵌入式系统和操作测试和实际的合理使用与模拟测试。

•一个配方构成不合理风险等不同的人工智能应用程序和如何测试配方,即。可能被认为是一个可接受的风险,军用无人驾驶坦克非常不同于个人拥有的无人驾驶汽车。

有许多团体在工业、政府和学术界努力更好地理解这些问题,和有循序渐进(弗里曼,2020;DSTL 2021;泰特,2021)。进步往往是狭隘的,特定的函数,例如,Waymo最近解释它是如何测试其AI-enabled汽车防撞系统(Kusano et al ., 2022)。虽然值得称赞,如何扩展这种方法更广泛的其他系统或如何使这一个行业标准仍然是开放的问题。此外,不仅是更多的资金需要在测试和认证空间,研究机构需要了解测试、安全性和认证工作不仅仅是外围活动,必然伴随的研究,但是他们本身是合法的研究领域(卡明斯et al ., 2021)。

5。结论

最近的转变主要是基于硬件的系统在复杂的设置和一些嵌入式确定的软件系统,大量利用概率AI推理要求典型的系统工程过程适应,尤其是开发和TEVV功能性和非功能性需求。虽然已经有大量文献地址应该如何为复杂系统开发的需求和嵌入式软件,以及如何测试这些系统,这项工作的大部分假设底层软件包含确定性算法,执行相同的方式为每一个使用。

然而,人工智能,依赖于概率推理是脆弱的,并且可以以意想不到的方式失败。人工智能能力的过高可能导致需求导致系统需要人工监督以意想不到的方式很少或根本没有支持。这样的滥用也可能引入新的功能,结果从一个人工智能系统推理的方式他们的设计师的预料。此外,有很少甚至没有共识的这样一个系统应该如何测试,模拟应该打多少到可接受的测试协议和什么是“足够好”表现在安全至上的设置。

这项工作了14个新考虑发展的功能和任务需求复杂嵌入式系统的人工智能。这些建议强调不确定性和人工智能之间的互联性,以及一个或多个人类可能需要扮演的角色等的监督和安全操作系统。此外,11个新的或修改的非功能性需求,即。“质量”,还被划定,关注大类的可用性,可持续性和适用性,同时引入两个新的“质量”,可审核性和被动的脆弱性。这些新的能力强调新员工需要专攻人工智能维护。

TEVV而言,10个地区的弱点是指出,需要更多的注意之前,开发人员可以开发人工智能的合理风险评估系统的性能。企业和政府机构需要建立公私伙伴关系,解决人工智能测试和认证问题,尤其是安全关键的设置。虽然政府机构正式系统测试的丰富经验,商业实体有先进的人工智能开发经验,结合自己的能力可以推进领域远远快于如果每个人都尝试开发自己的测试和认证协议。

最后,而AI似乎主要是属于这个域的计算机科学,有关键的方面需要人的专长领域的人体工程学,社会、认知、和生理科学、系统工程、哲学、公共政策和法律。如果AI烟道式的方式继续发展,它可能会以意想不到的方式产生巨大的负面影响。虽然企业和政府机构可以形成跨学科团队为特定项目,最终学术界(和相关的资助机构)需要确保跨领域研究和教育的价值和回报,这样学生研究生跨学科技能的政府和行业的迫切需要。

数据可用性声明

最初的贡献都包含在本文的研究中,提出进一步调查可以针对相应的作者。

作者的贡献

MC的构思和写整篇论文。

的利益冲突

作者说,这项研究是在没有进行任何商业或金融关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

脚注

引用