深入学习和那些从肌电图快速调整动态手势识别

1介绍

手的识别和使用行为控制技术与潜在的应用在广泛的领域。手术使用武力遥操作系统和压力传感器捕捉手部运动和继电器控制信号远程机器手臂(温家宝et al ., 2013);(温家宝et al ., 2014)。肌电的接口使用残余肌电图(EMG)信号的残肢来控制假肢的自由度蕾斯尼克et al。(2018)。应用扩展的现实(XR),如虚拟现实(VR)和增强现实(AR),通常使用一种形式的跟踪捕捉手势和执行识别控制人机交互(HCI)香港et al。(2021)。EMG迄今为止一直集中主要用于假肢设备;然而EMG可能变革为消费者XR HCI。一个EMG-based共同研发出可穿戴可能使种肌肉控制的电脑交互可以解决光学跟踪手的局限性,如阻塞。让这个选择控制方案可行,必须实现三个主要目标:实际EMG信号采集硬件、数据集训练系统或算法的复杂性在肌肉信号动态交互识别,了解特定于用户的和那些因素可以识别系统。在这项研究中,我们提出一个概念验证,达到这些目标。

这个出版的第一个贡献是一个公开的数据集的同时前臂面肌和手的运动数据。这个数据集收集在一个主题在2周,导致43完成会话总计814分钟(13.5小时)的活动记录。每个会话的数据包括四个主要活动:一个未标记的对象叠加的任务,一个未标记的序列的快速的姿势,标记任务的动态交互手势和标签的任务迅速执行。据我们所知,这集是独特的在这两个会议的数量收集从一个主题,以及广泛的动态活动执行和收集。这个数据集称为MiSDIREKt (Multi-session单一学科动态交互的录音EMG和运动学)数据集。

第二个贡献是一个分类的建议方案,地址inter-session差异的问题。这个架构学习底层session-invariant特性由广泛的培训会议,但表现良好在看不见的会议通过使用一个快速的调整。架构利用BiLSTM层的能力了解颞肌电图的依赖性。这种架构还使用一个encoder-decoder结构瓶颈层利用潜在的非线性降维维表示。

2背景

2.1采集的多通道前臂肌电图

肌电图是研究肌肉活动的不可或缺的工具,神经元的活动,和人类的控制,通常是根据研究的需要。肌内或针EMG执行注入一个传感器采集的组织。这提供了更精确的局部数据入侵过程的缺点,如流动性约束,更长的恢复时间和不适。表面肌电图(表)是一种非侵入性的替代使用电极监测电信号通过皮肤接触,与信号的结果的不准确。湿电极应用于皮肤与凝胶或粘贴,可以为更短的时间内提供高质量的数据,用于应用程序需要快速运动。另外,干电极不需要额外的材料和可以提供快速和简单的设置。然而,他们容易运动工件和一般吵着,所以用于更固定的应用程序Hinrichs et al。(2020)。这些面肌电极连接,样本与低延迟高速度,但电线的存在阻碍运动的范围,介绍了导线阻抗。也存在无线选项,这需要一个无线通信协议,可以在不同采样率和延迟,但提供更好的用户体验由于缺少连接到主机设备。

研究包含EMG收购可以创建他们自己的设备,它允许定制设计参数的具体的研究方et al。(2013)。这种灵活性允许等研究Cisnal et al。(2021),收购设计还允许实时嵌入式控制设备。另一个选择是使用一个商业设备。最常用的设备之一,是Myo臂章(Thalmic实验室,谷歌(goog . o:行情))这是一个无线带组成的8面肌电极以及一个加速度计,IMU和陀螺仪Matsugi et al。(2022)。虽然商用现货产品限制参数如采样率和通道数量,允许方便使用。让这些设备或硬件标准尚未出现,但我们预计,不久将会有广泛采用设备在这个空间。在那之前,需要一个开放的标准硬件规范。

2.2打开数据集的肌电图

许多公开的数据集包含多通道前臂面肌手姿势和活动目前存在的录音。最广泛的数据集是NinaPro数据库Atzori et al。(2014),分为10个单独的数据库不同模式的数据,手势,活动,和主题。许多这些子集也动机不同,导致一些数据库拥有一个更广泛的任务的变化,例如对象把握任务。NinaPro是最广为人知和使用数据集,但存在更多的公开数据集有关表记录的活动。这些数据集在肌电图采集方法等因素不同,对象和会话的数量,金额和性质的活动,和耦合模式的记录。表1显示了一个小样本的公开数据集,虽然这不是一个详尽的清单。

虽然一些数据集包括更多的动态运动,喜欢把握对象Atzori et al。(2014),大多数的公开数据集包含静态等距的姿势。虽然这种风格的记录是有价值的调查静态手构成肌电图的特点,缺乏动态手势可以在追求有害使用肌电图作为输入进行假体或接口控制。训练这种类型的数据会导致膨胀性能评估精度,因为静态等距姿势比动态姿势容易分类。然而,该算法训练对静态姿势可能不是特别有用,因为实际上,用户将流体和快速动态运动手势交互和不能局限于慢和离散静态姿势。此外,精心策划训练样本的等距的姿势可能导致算法不执行在一个嘈杂的环境,可能会进一步降低用户的手势不执行相同的方式作为数据收集。

2.3从EMG手姿势估计和离散的手势

2.3.1 EMG信号处理

EMG信号通常是嘈杂和大量的预处理通常是应用于提取有用信号。使用带通滤波器的基本预处理包括删除不需要的信号,如沙沙沙运动工件或电源线干扰卢卡et al。(2010)。许多应用程序执行进一步的信号处理、特征提取,进一步转变的信号。最常见的类型的时域特征提取与计算(均方根、方差、平均绝对价值,等等)在频域信号振幅和转换(自回归系数、频率的意思是等)信号的功率谱密度Spiewak (2018)。

降维技术寻求促进识别的智能预测EMG信号到一个较低的维度。这种方法不仅取决于渠道的数量或功能,而且使用的窗口的宽度。这些技术通常数据投射到预定义的基函数与某些可取的属性。线性判别分析(LDA)和主成分分析(PCA)找到最大化可分性特征子空间的组织和捕获最大变化方向,分别。经验模态分解阿齐兹et al。(2019)和相关方法学习压缩表示,构建基础功能最能代表数据使用数据本身。然而,这些约束的一个特殊形式表示,限制了他们的表达能力施密德(2010)。神经网络方法的吸引力,他们在很多方面是灵活的和可配置的捕获和表示的特征数据了。encoder-decoder学习提供了一个学习转换的技术培训体系架构来减少输入到几个维度(编码),然后重建这些维度的输入(解码)。由此产生的建筑可以压缩和重构EMG信号Dinashi et al。(2022)没有重大损失的分类精度。因为这个效果,encoder-decoder网络已经开始被成功用于EMG手势识别应用程序易卜拉欣和Al-Jumaily (2018)以及假体应用程序创建控制信号Vujaklija et al。(2018)。

2.3.2识别离散的手势

最近,机器学习方法被用来识别静态姿势和手势的分类EMG信号。早期的研究在这个领域使用更多的资讯的经典方法和贝叶斯分类器金et al。(2008);陈et al。(2007)。最近,深度学习架构取得了前所未有的成功利用大数据集和高度表现力和专业分类器架构。体系结构深层神经网络和多层感知器分类器显示承诺在手势识别法et al。(2021)机器学习,但最受欢迎的类型的架构在这个任务是卷积神经网络(CNN)。许多研究选择使用CNN与特征提取技术创建的图像表示信号,如傅里叶变换或声音。窗口可以创建在CNN架构的输入图像。

由于肌电图的动态时间依赖性,结构更适合于时间序列数据也被调查,如递归神经网络(RNN)的复发性单位(格勒乌)或长期短期记忆(LSTM)。西芒et al。(2019)相比三个时间序列的性能架构(格勒乌,RNN LSTM)在一个手势识别分类的几个数据集8手势。作者发现,三个架构都在他们自己的数据集测试了95%以上和91%以上NinaPro DB5跑车子集。Jabbari et al。(2020)探索的能力堆叠LSTM架构分类不同的手势有不同的力量水平。本研究使用的数据集组成的六种不同的控制提出了三个层次的力量每个(低、中、高),收集9个科目截肢。结果表明,该体系结构表现的准确性为91%,建立架构的能力能够区分不仅姿势控制,这些控制背后的力量。Zhang et al。(2020)格勒乌架构在原始EMG windows用于分类数据集21两手指和手腕的手势姿态的精度90%。这些结果表明,时间序列架构能够识别手势的高精度与传统CNN架构。

对比研究的结果很难由于数据集不同,像手势的数量和类型,主题和会议,任何类失衡。培训计划的差异,尤其是training-validation-test分裂,以及因素的数据收集,如电极放置或表面接触,还将介绍研究之间的差异。

2.3.3 Inter-session分类

EMG收集数据可以大大不同主题之间基于个体解剖。的数据甚至可能在不同会话同一个人根据电极位置,环境差异或噪音的存在。手势识别的性能EMG信号存在看不见的对象,导致应用假体控制器高度科目,需要太多的训练主题。

领域适应气候变化技术使用一个大型的、标记源域的数据训练,和转移表示标记目标领域,有一些相似性标签的来源。这种方法主要用于视觉和图像的问题谢et al。(2022);李et al。(2021)。这个问题的一些方法探讨不同域之间的主题或会话和使用体系结构的选择或适应实现训练科目架构从源架构在多个不同主题或会话。Cote-Allard et al。(2019)提出了转移学习(TL)结构,在这种结构中,一个源网络与数据从所有科目训练数据的一个子集。然后,目标网络为每个主题专门训练而源网络的权重和大多数参数是固定的。这些架构合并,通过逐层element-wise求和,在看不见的目标网络的训练科目,由于利率的成功与提到的研究。Du et al。(2017)介绍深领域适应气候变化的方法,使用一个算法分别学到了从训练数据来源域分布从一个目标域分布的测试数据。这种方法使用自适应批量标准化标记校准数据和微调标记校准数据在可能的情况下,实施适应时表现出显著的改善。

其他方法使用的想法再培训或调整通过更新权重体系结构内基于先前的预测提高科目的性能。翟et al . (2017)提出培训计划包括纠正之前的预测出于面肌漂移在会话的趋势。这再培训提供了一种方法,不需要新数据,发现重大改进。郑et al。(2022)提出了一种自适应再(资讯)架构为用户独立手势识别将体重变化基于每个样本总体分类的贡献。架构允许正确分类样本有一个较小的重量是更进一步的分布和对正确分类样本较大权重的正确分布。这种方法获得了成功与文献尤其是那些使用较小的数据集数量的手势。另一种有前途的方法,用于大脑皮层计算机接口信号马et al。(2022)的分布,使潜在的表征不同会话使用生成模型。

COAPT蕾斯尼克et al。(2018)是一个商业化EMG接口,为用户提供了调整的机会。一个特定的动作序列,执行相同的每一次,。EMG信号用于执行序列用于替换,或更新,界面参数。这是有用的,因为地面实况所需的运动不需要感觉,而是预先安排好的。在这个手稿,我们的灵感来自这个想法手舞的形式,后面将更详细地描述,这是一个代表性的动作序列时用户可以重复校准是必需的。

3的方法

3.1硬件

3.1.1虚拟现实

我们的数据收集虚拟现实应用程序是在统一(统一技术)开发和设计作为一个独立的应用程序运行在元任务2(现实实验室、元)虚拟现实耳机。我们使用耳机内置的人工跟踪收集手的运动姿势和现在physically-simulated手给用户Preechayasomboon和Rombokas (2021)。高帧率是使用人工跟踪模式(60 Hz),但我们的手运动学数据采样的耳机显示帧率平均为72 Hz。

3.1.2 EMG收购硬件

对于数据收集,我们制作一个自定义无线举办表面肌电图数据采集臂环,如图所示图1。的臂章的电子是一个导数OpenBCI神经细胞体(OpenBCI),小型的19毫米22毫米的足迹。我们使用一个ADS1299(德州仪器)作为我们的模拟前端(AFE)信号放大和模数转换,和一个nRF52832(北欧半导体)单片机的无线数据流。臂章的系统能流8通道24位EMG读数为1000 Hz无线USB软件狗,将数据转发到主机电脑、智能手机或虚拟现实耳机。

臂章的3 d打印从导电电极干电极通过注入热塑性聚氨酯(TPU), PI-ETPU 95 - 250年炭黑(Palmiga创新)。电极是圆形,中间直径14毫米,黄铜紧固件。我们使用的3 d打印的一个灵活的臂章海岸98 TPU房子对电极压痕,并使用弹簧紧固件连接电极连接到我们的无线肌电图系统。硬件设计的更全面的描述和表征的电极,包括依赖机械接地与皮肤,可能会发现的Prechayasomboon和Rombokas (2023)。

3.2数据收集

同步肌电图的数据集和数据收集运动移交12天张成的空间。这个话题是一个左撇子男性没有肌肉骨骼损伤。机构审查委员会批准的所有实验程序是华盛顿大学的(STUDY00011627)。主题进行每天一至四个交易日,在一次由四个独特的任务:手舞,叠加,手势,动态交互。总是用手开始和结束舞蹈主题任务,作为一个快速设计一系列离散的手势之前热身和降温后,其他三个主要任务。在最初的手舞任务,主题与其他三个任务,提出了描述更详细的下面,一个伪随机顺序。而堆垛和动态交互任务只执行一次,手势任务被执行两次,尽管没有连续。最后,主题将再次执行手舞任务完成试验。

3.2.1之上叠加的任务

堆积的目标任务是堆栈的一系列对象过去一个特定的高度。堆对象执行任务总共9个重复,三次在三个不同的高度:“高”的高度,“中等”的高度,“短”的高度。描述的对象,图2,被选中,这样用户会使用某种控制,基于函数和分类作为原始对象或对象。原始对象选择创建总电源和精密掌握掌握文档描述的研究Feix et al。(2016);库考特斯基(1989)而基于函数的对象更复杂和更具体的掌握为任务创建行为,研究掌握描述的模式镰仓et al。(1980)。动态,不同性质的掌握、操作和放置对象是有价值的代表自然交互对象和提供无监督数据从非结构化运动,灵感来自现实生活中的日常任务Atzori et al。(2016)。

3.2.2手势

空中手势由一系列20手势,所示图3为主题,以随机的顺序来执行。对于每一个空中手势,一个主题将观察一个手势在虚拟环境。一旦提示开始,主题5秒完成尽可能多的重复的姿态高兴。这个话题没有指示完成尽可能多的重复的动作,但鼓励完成多个迭代的姿态。在每个不同的手势,有一个小的,周期性的空闲阶段。这个空闲的姿势让手指放松和最小化EMG活动之间的手势。所选的姿势是基于以前的研究在EMG机器人和假肢控制Atzori et al。(2016);西贝利厄斯et al . (2005);克劳福德et al。(2005)。这些运动最小自力接触,包含最运动变化,并为构建一个潜在的运动学廖是有价值的。这些运动也明确一个手势分类研究中使用克劳福德et al。(2005)采用肌电图数据作为目标来控制假肢。

3.2.3动态交互

在手势的交互任务中,这个主题进行了一系列动态手势,14所示图4以随机的顺序。主题是第一次暗示准备第二个手势,然后是提示执行手势并托住它一秒钟,之后回到一个中立的姿势。这个姿势是自我选择的话题当执行它,和不同于具体的“休息”的手势包括在这项任务。而不是空中手势任务,受试者,手势暗示,执行指定的时间,而不是执行尽可能多的重复高兴。对于这个任务,主题表现10每个动作的重复。动作是基于现代移动设备智能手机手势,以及行为我们将认为是有用的在一个3 d, XR应用程序的虚拟环境。

3.3分类

分析数据的一个子集,以及如何利用会话的数据,我们考虑一个分类任务部分中描述的动态交互手势3.2.3所示图4。尽管图中他们似乎是特定的姿势,他们更像手势。它们是动态的和暂时的比典型的等距姿势从以前的文献。这些姿势适合与用户界面交互,并在时间和执行类似会议,会议。这意味着,数据集的其他部分相比,会话特定差异更受到EMG收购比行为变化差异。

3.3.1网络体系结构

我们探索的时间序列能力BiLSTM层,复发性层像LSTM层能够识别并从时间序列数据中提取重要信息。暂时动态肌电图的复杂性质,BiLSTM使用单位在此体系结构中由于他们的能力胜过LSTM单位,虽然收敛慢Siami-Namini et al。(2019)。我们也采用encoder-decoder架构作为一种降维,因为它迫使高维输入数据代表在一个小数量的潜在维度。本文中使用的架构设计灵感来源于autoencoder架构,它包含一个瓶颈层辛顿和Salakhutdinov (2006)通过创建的表示。这个潜在的表示不是本质上可判断的,但可以通过可视化和分析提供信息,如集群或可分性。这个架构并不是一个真正的autoencoder,因为autoencoders目标重建原始信号,而这个架构目标进行分类。然而,除了输出层,对称的形式辛顿和Salakhutdinov (2006)的使用autoencoder,编码器译码器由一个镜像网络。这个编码器曾被证明证明提取有用的潜在表现下肢活动央行et al。(2021)和手的动作Portnova-Fahreeva et al . (2020,2022)。

Hyperparameter优化这个架构进行五个交易日的数据集的一个子集,其中每个会话的培训/验证分割60% / 40%。这些会议第一天的会议前5天,因为这些会话将代表用户的情况下最少的偏见或熟悉,像这个话题不会影响或可能疲惫从先前的会话。这种方法发现两层BiLSTM和两个完全连接层,每个部分的架构,提供最佳的性能。对过度拟合提供弹性,辍学层每层之间插入率为0.25。最后的训练,亚当优化器使用的架构学习速率为0.01,128年批量大小,和早期停止进一步减轻过度拟合。为每个会话训练期间,平均20世纪使用;但是这个数字改变基于早期停止和特定的会话。图5显示的细节的形状和类型的每个层。

3.3.2数据处理

在这个数据集处理所有的肌电图数据以同样的方式,开始通过扩展数据毫伏。接下来,一组过滤器的应用,包括60 - 500 Hz的带通滤波器去除运动工件,以及两个切口过滤器在60和120赫兹,将电源线干扰。对于这个分类任务明确,肌电图数据也是downsampled从1000赫兹到72赫兹。低通滤波器是第一个应用于避免别名工件;过滤后的数据被提取然后downsampled EMG信号在时间接近运动帧的实例。这样做是为了匹配手运动学的采样率,并确保标签有一个相应的样本在每个数据模式。

对于一个给定的会话,相对静态的姿势从交互手势中提取的数据子集。下面的动作被从这个任务:接近,进一步放大。每个允许静态姿势举行一个第二,结果在60个样本。每个会话都有10个实例,每个姿势导致大约500 - 600的样品每个构成每个会话,由于跟踪错误和切边。每个样本对应的8×24窗口处理肌电图数据,对应于一个时间窗口的330米。

每一个培训计划需要一个火车/验证/测试。我们不需要一个随机每个分割比例的数据,因为这可能会导致问题的独立测试集。这是因为窗口创建重叠时,步幅比窗口长度小,所以连续两个样本将包含相同数据的一部分。而不是随机分裂,我们分裂行每个构成实例,所示图6。例如,如果我们需要分割的80%和20%,我们将第一个八体式的每个实例,这样可以排除任何可能性的这八个样本实例在剩下的20%,剩下的两个构成每个姿势的实例。因为窗口重叠,使用随机分裂很可能会引入数据训练集和测试集之间的泄漏,如连续两个样品含有相同的数据可以分为不同的部分。用我们的方法,数据泄漏变得不那么担心,因为每个实例之间有大量的空闲时间,比窗口参数。这一过程让我们的培训、验证和测试集相互独立于已经有合适的验证和评价。

3.3.3培训和校准

收集到的原始数据有显著差异之间的会话,尽管被收集的数据来自同一个主题。理解如果每个会话是如此不同,没有会话之间共享信息,如果有任何价值在这个大量的数据,我们建议比较三种不同分类的培训计划:

•单一会话方案

•累计计划

•调整方案

累积和再培训计划,我们使用第一个38会话作为训练集,和为每个计划中,我们使用的最后五个交易日在评估测试集。

3.3.3.1单一会话方案

在应用程序,特别是EMG-controlled假肢,控制算法可以创建特定主题的培训在大量数据从一个用户。模仿,我们的第一个基线培训计划(“单一会话训练”)培养架构使用第一个70%的构成数据从一个特定的会话,验证下10%,其余20%的测试性能。这个培训使用encoder-decoder架构中描述图5 b。这种类型的培训计划是代表创建最专业的选择可以使算法特定会话,但不能概括以及过度拟合训练数据的可能性和学习会话的违规行为。

3.3.3.2累计计划

机器学习的平局是架构可以利用大量数据学习隐藏的一般关系。了解多少潜在的共性存在于会话和多少这些session-independent关系对性能的影响,我们的第二个基本训练计划(“累计培训”)列车使用训练集的结构,每个会话被分裂为第一个80%的数据进行训练和最后20%进行验证。性能测试100%的看不见的测试集,因为没有那些训练要求。这个训练也要用到encoder-decoder架构中描述图5 b。这种类型的培训计划是常见的在许多机器学习方法学习一般的趋势数据,但也可能无法了解具体特定会话的趋势。

3.3.3.3校准计划

我们想象一下,一个高质量的算法应该能够利用大量数据作为适用于特定的会话。为此,我们为第三个前两种方法联合培训计划(“校准培训”)。所示图7,不同的训练计划是用来隔离那些差异从公共关系在所有会话共享。对于每个训练,培训数据分为第一个80%,剩下的20%进行验证。使用这种分裂,session-calibrator架构所示图5一个,训练和验证的重量和参数encoder-decoder架构,所示图5 b冻结。然后,encoder-decoder解冻而session-calibrator以同样的方式冷冻,和培训完成再次使用相同的数据分割。首先调整,具体会话的数据转换为不包含会话的违规行为,所以encoder-decoder本身并不是不断更新与那些信息。这允许encoder-decoder提取底层相似的手势而调整学会转换数据,减轻会话差异的影响。评估性能的测试集的看不见的会话,迅速的部门架构是先做一个小“校准部分”的会话数据,这是第一个20%的数据。剩下的60%的数据从用户和会话仍看不见的是用于评估。

4的结果

4.1分类性能

调整训练方案中性能最高的三个培训计划平均为79.5%,而单一会话和累计培训计划精度较低的49.6%和55.2%。这些精度报告,详细所示图8,平均五个测试会话训练期间看不见的架构。两个培训计划涉及某种形式的培训(单一会话和校准),5倍交叉验证进行两次为每个测试会话,以确保结果的鲁棒性。每个折叠分割是基于实例而不是随机分裂,以确保没有数据训练集和测试集之间的潜在泄漏。每个折叠的数据分割的区别在于它的每个实例提出选择培训和测试。性能分析,平均精度的折叠用于这些计划。累计培训,培训进行相同的测试5个交易日。

结果表明,相似的运动动作的姿态更经常被误诊为彼此。混淆矩阵的每个培训计划,如所示图8 b表明,手势在一组,就像拳头手势或手指灵巧的动作更经常被误诊为彼此。此外,运用武力也似乎是明显的错误分类,更有力的动作,紧握的拳头和硬捏,也有时被误诊。最成功的培训计划,混淆矩阵表明,仍有一些手势之间的误分类但主要是类似的类型和少。

4.2潜在维度表示

的潜在表示会话所示图9随着训练的进行,潜在表征显示改善视觉可分性。单一会话方案似乎显示只有少数主要分组在这些组织中,几乎没有变化,而累积计划开始展示一些分化的潜在的表征。当会话校准器架构是训练有素的,大型集群变得更加定义和分离,也有专注在分离的类内更大的集群。小构成集群也显示紧缩分布而不是更大的云出现在另一个培训计划。

4.3 Multi-session受益

的动机比较三个培训计划检查使用大量数据的任何潜在的好处。明显的分类精度,发现使用其他会话训练有好处,即使那些培训必须完成。在校准计划,这种有益的效应开始高原大约14个交易日,训练精度80%,验证精度为72%,表明培训进一步数据只提供小的增量效益encoder-decoder架构。调整训练期间,我们与单个会话训练时间,因为每个会话都有一个特定session-calibrator架构。介绍了,每当一个新和看不见的会话训练,准确性遭受反弹前的高原。然而,所有训练数据的相对对性能的影响(如图所示的趋势线图10),似乎减少总时代和训练的数量增加。

5讨论

肌电图的巨大潜力接口通道已经认可了几十年。这是一个窗口的活动身体的致动器:肌肉。肌肉的方式人类与世界互动,除了生成的身体姿势。他们产生力量,通过对手coactivations刚度和合规,丰富性,不是视觉效果明显。使用肌电图我们可以无缝网与交互的设备和系统。这种激励的动态,暂时这里提供多样的手势。人类互动时空、瞬态和互动。系统的效用基础上举行一系列的静态姿势是有限的。然而,直到最近,肌电图数据集都集中在这种情况下,因为计算方法没有足够的用于处理动态数据。即使对于静态手势,EMG信号反映的动态生理活动的肌肉,和这种复杂性放大的时间复杂性问题。 The recurrent neural network method we demonstrate here can learn these complexities.

商业的实际实现肌电图界面可能是系统每天穿相同的用户。没有必要让所有潜在用户如果单个模型我们可以利用数据由单个用户的重复使用。据我们所知,这集是第一个关注许多会话EMG相同的用户,和校准计划是一种更有效地使用这些数据,提供79.5%的准确率11手势,而不是学习单独从单一会话(49.6%)。

我们相信,对于一个商业上可行的XR交互系统或义肢或辅助设备的控制方案,快速和动态手势更常见的和自然的用户,这就是为什么我们相信我们的数据集是有价值的。我们也努力显示会话之间差异的影响和如何将这些不同的会话仍然可以用于培训架构。因此,我们关注的增加性能之间的不同的培训计划。

5.1体系结构的选择

使用encoder-decoder体系结构背后的推理与瓶颈层来自两个因素。第一个因素是可视化的每个体系结构的性能。的尺寸允许数据的低维表示,模式,集群,可分性更容易区分。而纯粹的性能指标,如精度或RMSE可能足以报告整体性能,这种潜在的表示提供机会更好地了解一个架构可能会学习或表示数据。第二个因素是潜在的未来使用的管道。高维度数据的低维表示可用于控制,证明了Vujaklija et al。(2018),autoencoder学会了肌电图的潜在维度表示帧和直接提取这些表示控制一个接口。同样,我们正在开发的系统使用低维EMG控制界面与低维表示的高维虚拟或假肢手Portnova-Fahreeva et al . (2020,2022)。这些应用程序为使用数据驱动的压缩结构的探索,如果实施得当,只有一个小对性能的影响Dinashi et al。(2022)。

5.2的局限性和未来的工作

不同的数据采集、手势和主题,和协议很难直接比较这些手势分类结果与其他类似的研究。例如,有不同的方法EMG频率应该包含什么。毫无疑问的信息内容既赫兹乐队Sbrollini et al。(2018),但也有可能退化或污染从其他来源,如肢体的运动心电图相声,等。基于这个原因,大多数人机交互应用程序使用低频达标介于20赫兹和60赫兹洛佩兹et al。(2018);de Rugy et al。(2012)。这个实验我们没有进行全面研究的选择,但选择删除低既赫兹频率的内容。有机会从低频信息可以使用的学习系统来提高性能。

本研究的重点不是比较分类方法,但跨会话解决泛化的问题。第二个培训计划(累计培训)表明,尽管大量的会话执行同样的主题,那些因素很难训练网络,成功地转移到一个新的会话。然而,通过简要培训那些前端校准网络,数据转换以这样一种方式,它可以成功地由session-agnostic主要处理网络,并能对其培训卓有成效的贡献。一个有趣的方向将是测试校准体系结构的有效性通过这些特性变成各种其他模型。此外,它可能会卓有成效的分离那些校准的有效性的影响分类器的体系结构。2.3.3节中我们将描述,其他方法已经开发,以适应inter-session差异。在这个手稿,我们没有实现这些方法在我们的数据集进行比较。建筑设计选择,hyperparameter调优,和类似的实现细节可以有大影响最终性能的方法。为了便于比较,我们包括,除了MiSDIREKt数据集,示例脚本加载数据集和繁殖的结果呈现在这里。随着这一研究主题的成熟,进行更多的研究,它将变得越来越重要了解校准方法与分类方法和手势交互类型。

分类分析提出了考虑数据集的一个子集,实际上最静态和等距姿势中可用的数据。其余的数据集,这是三本分析中使用数量,包含有价值的记录的动态运动与虚拟对象和交互。这些可能的关键理解运动学和肌电图之间的关系,和未来的工作可以探索使用该数据的应用程序像回归预测手关节运动学或假肢控制。

电极位置保证信号质量是至关重要的,这可以通过表面接触不良和降低滑动。的标准放置电极带或数组在前臂上,但最近的研究表明不同的效果和质量的数据记录时EMG手腕Botros et al。(2022)。本研究发现,肌电图记录从电极放置在手腕通常提供更好的质量信号手势涉及精细的手指动作,类似质量为手势包括手腕前臂肌电图。这些发现翻译性能的手势识别,分类器训练在手腕EMG平均表现的更好在这些精细的手指手势和相对的手腕动作分类器训练前臂肌电图。

本研究的数据集创建和使用是一个主题在许多会议,将需要额外的实验证明有效性对许多科目。Du et al。(2017)和翟et al . (2017)显示的好处使用培训主题的多个会话。虽然这些研究使用一个小的会议,这些研究使用众多的科目,它显示了健壮性培训架构的承诺。记住这个先例,未来的研究,使用培训架构创建类似的数据集在多个主题将会是一个必要步骤显示潜在应用的鲁棒性。

6结论

提出了一个数据集,一部小说设备设计用于收集,包括四个不同的任务,其中一些是重复,不同的动态手的动作和任务:快速序列构成背对背,迅速构成,其中每个姿势重复序列,序列的动态交互手势主要是静态的,和叠加对象达成目标高度多次与不同高度目标。这个数据集收集EMG和运动数据从手跟踪软件VR耳机。数据集包含43超过12天完成课程,积累13.5 h的数据,这是最大的连续动态数据公开。我们执行手势分类的数据集使用encoder-decoder架构进行降维。这种分类架构还包含一个调整的过程,session-calibrator架构推广新会话,准确率79.5%,显著改善单一会话和non-recalibrating架构分别为49.6%和55.2%。这个架构对这部小说的成功数据集显示了更精确的手势识别承诺在看不见的数据,和未来的工作将集中在利用其他数据集通过降维动态运动控制架构。

数据可用性声明

公开的数据集进行分析。这些数据可以在这里找到:https://github.com/maximaka/MiSDIREKt。

道德声明

涉及人类受试者的研究回顾和华盛顿大学的机构审查委员会批准。患者/参与者提供了他们的书面知情同意参与这项研究。书面知情同意了个人(s)的出版的任何潜在的可识别的图像或数据包含在本文中。

作者的贡献

可执行的创建方法,分析数据并准备出版的手稿。页创建了硬件和实验设计,数据预处理和辅助手稿准备。PS参与了实验设计和生成数据集描述的手稿。DB创建执行的实验设计和数据收集。ER监督这项研究和提供指导在整个实验过程中,分析和手稿准备。

资金

这个项目是由nsf - 2024446”,新名词:INT:合作研究:一个开源框架连续转矩控制直观的机械仿生腿。”

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用