简短的研究报告的文章

前面。机器人。AI, 2022年11月18日
秒。人机交互
卷9 - 2022 | https://doi.org/10.3389/frobt.2022.1024594

自主安全注意事项、模块化机器人在航空制造业

Christoph沃尔特*, www.雷竞技rebatfrontiersin.org

西蒙Bexten,

Torsten Felsch,

Myroslav Shysh和

诺伯特•Elkmann

弗劳恩霍夫研究所工厂操作和自动化敌我识别,机器人系统,德国马格德堡

工业机器人是万能的机器,可以用来实现各种任务。他们已成功地应用在经过集成和落户或多或少的静态和重复性行为与关闭的工作细胞就足够了。在航空航天制造,机器人仍然难以与专门的机器或手工劳动。这可以归因于复杂的或自定义部分和/或小批量大小。这里,适用性的机器人可以提高通过启用协作用例。当固定防护栅栏不是所需的大部分地区由于处理问题,传感器等方法分离速度和监控(SSM)是必需的。这个贡献是关于如何构建动态的空间围绕一个机器人和一个人的方式,他们的组合满足分离要求机器人和人之间的距离。目标是最小化说距离通过计算量自适应和尽可能精确地给出可用的信息。我们使用分布法来计算机器人安全空间,包括最坏的破坏行为。我们专注于提供最坏表示考虑所有可能的突发变化。 Our approach to generate the person safety space is based on an outlook for 2D camera, AI-based workspace surveillance.

1介绍

我们的目标是使用导弹的方法来实现协作应用程序允许人类和机器人的工作空间上彼此接近。为了达到这个目标,必要的安全距离应尽可能精确地决定,应该尽量减少不确定性和地区应该动态地适应形势。很多原创作品的地对地导弹实现与解决的子问题:碰撞或距离计算Glogowski et al。(2019),机器人控制停止或避免Ubezio et al。(2021),工作区监测检测和传感接近物体或人Ferraguti et al。(2020)。一个好的概述中可以找到米罗et al。(2022)。我们正在努力方面的合作设计一个可行的方法。这主要涉及相关的计算空间以及感官工作区监控摄像头的帮助下以一种促进交互的两个方面。关于机器人的控制,我们不依靠任何一种回避行为,进而导致更多的复杂性与接近的人,因此可以不确定性的来源。相反,我们使用的方法阻止机器人尽可能快。这种方法应该实现由所有其他行为无论如何作为一个后备的可能性(失败的设备在safety-monitored避免运动),通过这些系统基本上可以不是更好的提高与人类合作通过进一步减少距离。

在航空航天制造业、大型零件的处理是一种常见的发生Caterino et al。(2021)。还有低吞吐量相比其他行业。静止一段时间,这将导致部分工作正在进行。很多工作是由人类工人。当引入机器人自动化的一些任务,密切human-robot-collaboration和共处的能力是有益的使用et al。(2022),Meißner et al。(2018)。当减少整个机器人速度并不理想,这使得最小化分离距离的选择通过消除不确定性,使其动态,和使用能力的传感器(德国委员会电气、电子和信息技术的喧嚣和VDE (2021))。传感器就能监测人的位置和运动的问题。调查的分离距离使用不同的方法过去都淹没了Lacevic和罗科(2010),Vicentini制作et al。(2014)。最近工作还试图利用先进的安全应用程序模式检测与识别使用et al。(2022)。

在以下部分工作我们提出简要分析智能机器人适用于预装的特定用例以及飞机总装结构。使用固定和移动机器人正在考虑。应用程序的紧固HI-LOK™衣领。这里,它有利于雇佣人力同事与机器人Caterino et al。(2021)。

接下来,我们提出一个方法,第一个空间体积的动态生成机器人基于预先计划好的运动。这是一个实现灵活和安全的SSM-system至关重要的一步。需要动态生成的分离距离还强调通过机器人的动态行为使用自动生成的行动基于模型和环境感知。

在最后一部分,我们将讨论如何检测和监控的人在附近使用光学传感器。我们讨论的可能性,使用基于人工智能(AI)检测人类使用相机。此外,我们提出我们当前构建另一个空间体积代表人类基于凸壳的投影图像的空间轮廓到一楼。

2分析协作应用程序的

当我们考虑机器人系统的安全,必须遵循的原则制定机械指令电子商务(2006)。因此,风险评估是一个机器人系统的特定于特定的实现,但包含的复发风险和缓解措施。风险的主要来源是机械危害,比如机器人的碰撞与一个人。速度和分离监测旨在减轻这种风险通过防止机器人联系一位知情人士在运动。为了更好地理解安全要求,特别是评估实现和可能的改进速度和分离监控,我们考虑几个可能的同一应用程序的实现。我们决定的紧固HI-LOK™项圈的应用程序。我们认为这个应用程序,因为它是一种常见的紧固件用在许多不同的部分机身。有些是更难达到那么。因此提出了一种结合合适的理由不同长处的工作人员和自动处理同一产品和解决方案与共享工作空间(图1)。

图1

图1。共存与人类工人使用固定传感器位置分离(一);自主机器人完全动态的安全空间(B);使用这个设置实现(C)。

我们考虑三种可能的变体:一个实现使用栅栏(这个图1 c固定机器人与光窗帘()图1一个),和一个自主移动机器人动态安全空间(图1 b)。第一个变化会雇佣一个大型机器人和机器人工作空间的扩展通过一个线性单元以覆盖大部分壳碎片。它没有进一步对舰导弹。其他两个变量使用一个小型或中型机器人需要多次搬迁以覆盖很大一部分。第三变化尤其会使用一个较小的类型的机器人,因为移动平台可以轻松之间移动每个紧固步骤反过来需要较少的实际的机器人手臂。这里,权力和力量限制也是一个策略来减轻碰撞。在我们的例子中,导弹仍然是可取的,因为它更好的覆盖更广泛的工具相关的危害,包括机械的。在这个实现中,机器人需要自治。它可以根据需要重新定位自身以及整个部分根据情况相关的决策。人类工人遵循在远处为了弥补剩余的工作机器人(部分不可以)。然而,这需要动态安全监控区域的重新定位。 Furthermore, it is beneficial for the separation between robot and co-worker to be as small as possible in order for the worker to finish work shortly after the robot. This also minimizes the risk of inadvertently triggering safety stop by the worker. To summarize, the fully automated version behind fences is cumbersome when it comes to moving the part in and out. The other two versions show, that it is beneficial to reduce the necessary space between worker and robot in order to cut total time required. This is because larger separation distance results in less work to be done in parallel on the same part.

3代机器人的安全空间

在我们的方法,我们将分离距离两部分:“机器人安全空间”和“人的安全空间”。这两个条款并不与其他术语混淆在文献中或在机器人找到手册像“最大空间”,“工作空间”,“限制空间”,等等。这里,机器人安全空间识别的任务是计算的体积空间可能被移动机器人的一部分在某个时间点上,以防发生的停止条件。对于一个典型的时间触发系统这是与激活时间和周期时间的持续时间。停止运动波及体积可以被描述。类似的卷卷已被用于确保安全的整个动作在过去Taubig et al。(2011),但通常是用来覆盖计划轨迹。体积包括工具和部分连接到工具。机器人安全空间取决于机器人的状态,也就是说,在时间点上执行轨迹。它还取决于设备的性能特征,如反应时间和制动功能奇迹和诺(2017)。因素是在ISO / TS 15066的技术规范ISO (2016)。对舰导弹,它提供了一个公式(情商。)组成的几个被求和计算所需的最小距离任何人类工人和机器人系统。它旨在阻止机器人在一个接近人类接触机器人。它不考虑规避动作。然而,评论应该导弹不能阻止人类与机器人发生碰撞,在一个固定位置后停止。分离的距离 $(年代 (t_{0}))$ 通过考虑计算的速度接近人类(v_H)结合完整的连锁反应时间(T_R)的设备加上停止机器人所需的时间(T_年代)。这部分的方程需要知识的人在工作区域的位置和速度。然而,如果速度是未知的,可以使用最坏的速度。不确定人的位置(Z_D)以及传感器分辨率的追加保证金(手指、手、臂)(C)被添加在这里。总和的另一部分是距离和速度(v_年代)作为机器人走向的人在停止运动。在这里,由制造商提供的信息来描述断裂性能。最大的机器人速度的方向算子的协作工作空间(v_R),我们认为当前的速度在其轨迹,必须认识和保证。再次,一些距离代表的不确定性机器人位置(Z_R)补充道。

\begin{align} 年代 (t_{0}) & \geq (\int_{τ = t_{0}}^{τ = t_{0} + T_{R} + T_{年代}} v_{H} (τ) d τ) + (\int_{τ = t_{0}}^{τ = t_{0} + T_{R}} v_{R} (τ) d τ) \\ + (\int_{τ = t_{0} + T_{R}}^{τ = t_{0} + T_{R} + T_{年代}} v_{年代} (τ) d τ) + (C + Z_{D} + Z_{R}), \end{align} (1)

有一些缺点的标准方法时,一个人的位置和速度。如果这个人是保证完全静止,机器人可以移动的方式直接将停止的人面前。在实践中,这不能假定。规定的假设2米/秒的速度会导致相当大的距离要求的人。这只能反驳通过实现系统快速反应时间与缓慢移动机器人以减少停车时间。不仅更快的反应时间的设备可以将工人和机器人更紧密地联系在一起。现实的简化是用于提到距离公式意味着每个人相同的方式对待一个人的一部分。相比之下,工人会移动四肢,特别是手臂,很快。这导致瞬态高速度,超过了规定的2米/秒,而在有限的特定肢体如果躯干没有开始在同一方向移动。这导致夸张的分离距离。 However, this only becomes a problem when actually performing live speed monitoring.

在我们的方法,我们分别考虑机器人和人的安全空间。优势是,每一个部分都可以适应需求或情况与机器人或传感器系统用于检测人员。然而,机器人安全空间并不完全独立于所使用的传感器。传感器响应时间也是一个因素的安全空间。在传感器延迟,机器人将根据其指定的轨迹。这意味着我们必须区分阻止事件的发生,例如,the intersection of robot and sensor safety space, a trigger signal between both sub-systems, and the start of a stopping motion.

机器人安全空间的知识建立一个SSM-based HRC应用程序是很重要的。一组静态的预定的轨迹,可以考虑整体糟糕的体积,机器人的所有可能的行为变化时停止在任何时间在运动。在这种情况下,安全壁垒像光窗帘可以放置在设计时封装的安全空间。尽管传感器的性能,包括空间分辨率和延迟,需要考虑,这是一个直接的过程。在一个动态生成的运动的情况下,安全空间是在理想的情况下在运行时完成。处理动态生成运动的另一种可能性是设计border-case和执行运行时检查,是否生成的运动将会在这些限制。第三例是使用一个更复杂的传感器系统,介绍了约束像闭塞。在这里,结合动态生成的动作也是可能的。为了处理这个一般情况下,一个在线安全空间计算似乎是最有前途的方法。在我们的例子中,我们提出一个分布离散化与断裂模型,不仅控制停止,但还处理离职的情况下使用专用的预先确定的轨迹(摩擦)休息。 This leads to larger safety spaces than assuming only the ideal breaking situation. By using a precise geometric model as well as the exact trajectory followed by the robot we can minimize the respective terms of the separation distance calculation.

我们考虑两个不同的对象类型:环境的对象可以被认为是静态和动态碰撞对象(DCOBJ)。这些链接是串行的机器人图形是通过另外的应用打破计算基于特定的机器人模型以及当前运动状态。它还包括附件工具或大部分地区。处理DCOBJs,我们实现了一个多阶段的方法。它是基于一个快速的图形能力见图2。首先,表示轨迹的一部分的波及体积覆盖在检测系统生成的反应时间。在这里,链接是逐步根据pre-panned移动轨迹和相应的体素标记为占领。接下来,在迭代过程中从工具和向后的链接,链接到机器人基地的波及体积驱动链接生成并保存到一个单独的体素的结构。连续的所有链接,添加到先前生成的波及体积添加多边形模型当前驱动的链接。光栅化的多边形模型以及从先前的迭代中立体像素结构的重采样是通过应用保守的光栅化。这可以防止薄原语部分消失,因为他们可能不盖体元中心。这些步骤的目标是创建一个卷结构不仅代表机器人几何在单个时间点的轨迹,也破坏时所需的空间可能从那一刻,直到停滞在所有的组合打破距离为每个链接。这给了我们最坏的体积空间,打破期间可能会被一个移动的一部分。为此,打破信息机器人在特定情况下的性能是必需的。 The robot type, attached payload, joint configuration, and speed of movement influence the breaking time and the residual movements of each of the individual joints. While breaking at slow speed can be nearly instantaneous, the kinetic energy that needs to be dissipated when breaking at full speed is much higher. This puts stress not only on the motors or breaks and on the overall structure of the robot but also on the mount or fixture where the robot is attached. The many contributing factors lead to typically conservative specifications of worst-case breaking distances by robot manufacturer. Usually, you can find a table within the documentation that provides the necessary information for exemplary payloads, speeds and extension. The extension basically refers to the distance of the payload from the base. For the given starting point on the trajectory we look up the worst-case bracket from the provided table and use the resulting information as input for our swept volume calculation. In a final step, uncertainty of robot position is added to the voxel structure by marking all voxels within that distance to occupied voxels also as occupied. The algorithm is provided in pseudo-code in 1. In case of a sensor guided movement, the planned trajectory gets perturbed during execution by the sensor input. Our approach could handle such applications as well by sampling from all the possibilities of typically 2D sensor input. Even though inefficient, this covers amplification of Cartesian deviations at the tool by robot structure and could be optimized in the future.

图2

图2。中间步骤生成机器人的安全空间(f);多边形表示(一)体素表示(B),简化使用边界框(C)打破第三关节时,波及体积(D),结合制动1日和3日联合的结果(E)、空间由理想控制停止(F)。

算法1

算法1。机器人安全空间的一代

总结代机器人安全空间,两个点是明显的:使用详细的多边形模型的机器人和附件是有益而使用粗近似形式的几个几何基元在2(见A和C)。也就是说,简化时隐式转换的多边形模型体素表示。优点是,不需要额外的碰撞模型,不包括在生成的不必要的填充体积。另一个值得注意的事实是,我们的算法容易产生体积覆盖所有可能的破坏行为的变化。而产生的体积通常较大的理想行为停止类别1或2(见E和F 2),结果提供了更好的安全,因为它还包括类别0停止。

4工作空间监视和人的安全空间

生成一个详细的表征状态的人,我们认为基于相机的功能检测。与高空间分辨率相机提供丰富的信息。他们也可以用高帧速率,因此小的反应时间,这是特别重要的工作空间监视我们在前一节中。已取得显著进展目标检测时通过应用人工智能(AI)基于机器学习。

人类的感知机器人在工作区域需要率情况不同。基于成像系统像2 d相机(颜色、灰度)或深度照相机(RGB-D相机)是用来捕捉机器人环境。从摄像系统的评估数据可以用最新的基于ai系统。这里,机器学习(ML)方法如深度学习尤其适合解决图像识别的各种任务,如各种对象的识别在凌乱的环境或改变闪电比经典的图像处理方法。

有广泛的任务在计算机视觉中,并确定哪些模型可以解决任务,我们需要定义我们想要解决的任务(图3)。最简单的任务为基于成像数据是图像分类(图3一),其中只有一个相机图像被认为是:如果一个人被认为在这里,系统必须激活紧急停止,分类介绍了模型Krizhevsky et al。(2012)Simonyan和Zisserman (2014)或黄et al。(2017)结果指的是整体形象。从图像数据中提取更详细的信息,其他检测方法(图3 b)和分割(图3 c)可用于分析机器人的环境。检测网络定位图像中的对象的附加信息分类中的估计2 d-pixel坐标(任正非et al。(2015),刘et al。(2016),Redmon et al。(2016),段et al。(2019),Tan et al。(2020))。在长et al。(2020),这些模型的MS-COCO数据集上进行了测试林et al。(2014)与不同的对象和人。毫升方法和模型是不断发展的,这提供了一个概述的方法的性能。接下来,为pixel-wise分类算法(分割)用于分离对象从背景中。分割的代表介绍了网络Ronneberger et al。(2015),他et al。(2017),Badrinarayanan et al。(2017)和王et al。(2020)。其他模型确定各个身体部位的分割等林et al。(2017),居尔et al . (2018)和Oved (2019)。此外,人类的运动状态的识别是有益的,所以估计不仅是基于人类的地位。在这里,它可以决定人类的四肢和他们是否处于弱势地位。然而,主要的优势获取人的运动状态是区分不同的影响可能的分离距离违反:手快速运动的手臂的长度是有限的,但整个躯干运动并非如此。网络体系结构能够捕捉人的四肢生成拓扑框架(图3 d),在肯德尔et al。(2015),曹et al。(2017),居尔et al . (2018)和李et al。(2019)是可用的。信息通常产生在2 d关键点坐标,这需要一个额外的距离估计o生成世界坐标。这里,深度学习方法可以直接确定人类在世界坐标的3 d位置或者他们可以完成的建设容量模型(齐藤et al。(2020),锁et al。(2021))。神经光辉字段(削弱)米尔登霍尔et al。(2020),高et al。(2022)最近的一项技术来生成类3 d表示从一组物体或场景的2 d图像。

图3

图3。对人类各种计算机视觉任务检测:分类(一)、检测(B),分割(C),骨架(D)

要解决的问题的扩展——检测通过简单分类的三维重建limbs-has影响精度,所需的计算能力,剩下的不确定性。其他方面更多的硬件相关问题:相机分辨率和安装距离,动态范围,帧率和积分时间。标准相机的动态范围仍然过小容易应付的阴影,人造光以及阳光直射在同一场景。分辨率之间的权衡清楚解决四肢,帧速率,网络的输入分辨率,因此可用的计算资源。确保观看面积大,为了避免阻塞,至少两个同步摄像机应该有一个重叠的查看区域。为了避免阻塞问题和简化的距离计算,我们支持天花板安装摄像头面临向下。这种方法既适用于,整个身体检测以及pixel-wise分类。然而,它需要延长区分肢体动作。

我们生成人安全空间又在多个阶段(图4)。第一步骤是选择一个可用的相机,不妨碍机器人安全空间或其他结构。然后我们发现人类的存在使用多个模型并行运行。接下来,然后从背景分割(人类图4一)。接下来,我们计算凸壳的轮廓。空间体积然后由投影线从相机的角度通过生成的船体上一楼。在最后一步,由此产生的金字塔(图4 b)是在增厚的增加传感器不确定性安全裕度,最后假设距离的人可以在反应和打破时间的结合。打破时间是动态的,从上一步计算机器人的安全空间。两卷的空间可以一起使用来检查他们是否彼此接触。如果是这样的话,最低分离距离会达到和停止机器人的需要开始。当多个工人在工作区域存在时,一个人安全空间与机器人安全检查交叉生成每个单独的空间。我们提出了一个实验的结果设置检测人类工业设置使用机器学习技术Bexten et al。(2020)。

图4

图4。实验检测一个人使用自顶向下的角度,一般概念的工作区设置(一);分割结果与凸包和3 d-pyramid之上(B)。

5结论和展望

我们已经讨论了工作区监测的必要性和详细的分离距离计算为了使智能机器人在航空制造业。本文中提到的应用场景受益的能力human-robot-collaboration至少在共存共享工作空间的感觉。该方法对3 d安全空间代涵盖所有制动模式的可能性已经可以用于分析静态机器人程序设计时。

我们的方法生成人安全空间是基于生成的3 d表示2 d的自上而下的图像分割后处理步骤使用silhouette-based算法。未来,安全评价的实现2 d图像人工检测将打开部署我们的方法的可能性。随着进一步的发展,两个有趣的改进是可能的。第一个是相关的3 d转换检测到2 d图像区域。在这里,最近基于ai技术削弱展示出了一些有希望的结果直接生成3 d时表示。当考虑可靠性安全应用程序的需求,结合多种人工智能技术冗余的方式似乎是未来最有前途的方法来实现。在这种情况下,提出的算法可以应用于联合3 d表示没有任何变化。第二个改进是区分识别的各个身体部位有关的人。这将避免不必要的巨大的分离距离治疗结果的每一个点在一个人的身体一样。这需要未来安全的实现技术,观察一个人的(近似)状态运动结构部位识别、3 d重点跟踪,或类似的。

为了实现robot-side的方法在实际应用中,目前使用的典型的商业机器人控制器需要更换。他们缺乏特点和处理能力。机器人控制器与前期规划轨迹的能力是必要的。我们还要求机器人安全监控轨迹执行。分布计算是昂贵的,他们需要更多的计算能力在控制器与传感器体积高带宽接口数据交换。

数据可用性声明

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。

作者的贡献

连续波、某人、TF、女士和NE导致概念和设计的研究。连续波实现算法的安全空间。某人AI-recognition算法执行。连续波写了初稿的手稿。连续波,某人,女士,TF写的手稿并提供图片。所有作者导致修订手稿、阅读和批准提交的版本。

资金

这部分工作是在拨款数20 x1720c由德国联邦经济事务部和气候行动。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

Badrinarayanan, V。肯德尔,。,和Cipolla, R. (2017). Segnet: A deep convolutional encoder-decoder architecture for image segmentation.IEEE反式。模式肛门。马赫。智能。39岁,2481 - 2495。doi: 10.1109 / tpami.2016.2644615

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Bexten, S。,年代aenz, J., Walter, C., Scholle, J.-B., and Elkmann, N. (2020). “Discussion of using machine learning for safety purposes in human detection,” in学报2020年25日IEEE新兴技术和工厂自动化国际会议上(ETFA),维也纳,澳大利亚,2011年9月8日至11日,1587 - 1593。doi: 10.1109 / ETFA46521.2020.9212028