一个深度学习的方法来评估触觉延迟从单个试验脑电图数据
Haneen Alsuradi
1、2和
穆罕默德开斋节
1*- 1工程部门、纽约大学阿布扎比、阿布扎比,阿拉伯联合酋长国
- 2Tandon工程学院,纽约大学,纽约,纽约,美国
触觉技术越来越宝贵的人机交互系统,因为他们提供的物理与远程交互或虚拟环境。tele-haptic系统的持久的挑战之一,触觉交流信息在计算机网络,交付的同步与其他的感官触觉信息。延迟触觉反馈可以严重影响用户性能和整体体验。有限的研究工作一直致力于研究触觉的影响延迟相关的人类神经反应和整体的触觉体验。深度学习可以提供自主解释大脑活动等对触觉体验触觉延迟。在这项工作中,我们提出一个2 d CNN和变压器模型能够检测的存在和redseverity触觉延迟从实验脑电图数据。因为它使得基于脑电图的两个实验中提出visuo-haptic交互任务。第一个实验的目的是检测收集数据的存在触觉延迟在离散力反馈使用弹力球在球拍模拟,而第二个目的是收集数据检测事故的严重程度(没有,轻微、中等、严重)的触觉延迟期间连续力反馈通过把握/释放一个对象的桶。整体模型显示一个有前途的性能,精度为0.9142±0.0157检测触觉延迟在离散力反馈和0.6625±0.0067分类的严重性触觉延迟期间连续力反馈(4)水平。这些结果基于训练模型与原始脑电图数据以及他们使用几个小波变换小波内核。 This study is a step forward towards developing cognitive evaluation of the user experience while interaction with haptic interfaces.
1介绍
触觉技术在人机交互变得越来越有价值让人类使用模拟与虚拟环境或远程交互的触觉。例如,telehaptic与触觉反馈系统是辅助,允许用户执行微妙和复杂的任务同时在远程或遥不可及的环境感知的物理方面远程环境(徐,2017)。telehaptic系统持久的挑战之一是传递信息的同步模式(视觉、听觉、触觉)。强烈要求放置在通信网络由于触觉信息的传播,因此,触觉延迟是可能的(Van Den Berg et al ., 2017)。通过心理物理调查,触觉延迟对用户体验的影响和/或性能引起了大量的关注。有充分的证据表明,触觉延迟干扰任务完成时间(法瑞尔,1965),会损害性能(Tatematsu et al ., 2011)和诡诈的操纵触觉感(Knorlein et al ., 2009)。这取决于应用程序的触觉交互,触觉延迟探测阈值范围广泛,从20到200 ms (Vogels 2004)。换句话说,用户是否正在经历一个离散力,持续力,或vibrotactile反馈以及他们是否参与一个主动或被动的交互都可以影响触觉延迟是有经验。
我们理解人类感知的触觉因此延迟开发所必要的可靠和有弹性的触感设备设计使用在计算机网络。传统方法评估触觉的体验延迟是基于自我报告和/或行为分析(心理物理的研究)。然而,这些方法受偏见由于先前的用户体验和/或实验背景,倾向于社会压力,难以复制。一个新兴的行业,被称为neurohaptics利用脑成像技术检查触觉刺激引发的错综复杂的神经表征(Alsuradi et al ., 2020 a)。脑电图(EEG)是最常用的工具之一,为此主要由于其兼容性与其他电子设备附近的脑电图描记器系统。相比其他神经影像学方法如功能性磁共振成像(fMRI),脑电图具有很高的时间分辨率,是研究的关键时间等相关质量感知触觉延迟。
脑电图数据富含信息在多个维度,即时间和空间(即。在分散在头皮上的电极)。因此,脑电图数据可以用于火车深度学习模型可能允许自治大脑活动解释物理相互作用,导致触觉感知体验的量化(三浦et al ., 2014;Alsuradi et al ., 2020 b)。脑电图运动图像信号被广泛用来训练深度学习模型来区分想象左右肢体运动(塔巴Halici, 2016;Al-Saegh et al ., 2021)。另一个流行的示例是使用深度学习识别用户的情绪状态从他们的脑电图数据(陈et al ., 2019;Donmez Ozkurt, 2019;巴布什金et al ., 2021)。相反,有限的研究工作在neurohaptics深度学习。一次由分类表面纹理在积极探索任务(Eldeeb et al ., 2020)在一个脑电图试点使用支持向量机(SVM)功能手动从原始脑电图数据中提取。另一项研究中建立了一个CNN模型识别的触觉交互类型(被动与主动)visuo-haptic任务在一个脑电图试点(Alsuradi开斋节,2021)。大多数这些研究目标相关的触觉体验刺激的物理性质或运动。然而,只有少数研究发现探索深度学习的使用在分析高阶认知功能与触觉经验和没有解决触觉延迟。评估的认知体验触觉延迟在触觉交互通过计算机网络从单一试验脑电图数据有待解答。
在先前的研究中,我们探索和识别与检测相关的著名神经签名触觉延迟(Alsuradi et al ., 2021)以及估算的触觉延迟(Alsuradi et al ., 2022)。第一项研究旨在理解编码的神经关联的触觉延迟在离散力反馈下被动和主动触觉交互。P200特性在中部皮层,通常与感官的注意,被发现存在以下的调制触觉延迟不管交互类型(被动与主动)。Midfrontalθ权力还发现编码的感知触觉延迟。另一方面,第二项研究旨在识别相关的神经关联程度的触觉延迟。有趣的是,midfrontalθ权力被发现之间的显著差异不同程度的延迟,建议一种编码机制。Midfrontalθ力量通常是与神经过程与冲突处理和解决2013年科恩和唐纳;中的et al ., 2016);触觉延迟可以被认为是一种感官的冲突。在两个研究中,感官相关,如运动后β反弹(PMBR) (Kilavik et al ., 2013),被发现被推迟引入延迟水平成正比。所有这些研究表明,脑电图数据包含著名的触觉信息延迟。
这项工作的主要目的是使用实验脑电图在前面提到的两项研究期间收集的数据为目的的构建可靠的深度学习模型,能够发现的存在和严重性级别触觉延迟。下面列出了这个手稿的贡献:
•开发一个模型,目的是检测触觉延迟的存在在一个离散力反馈刺激而有弹性的触觉交互(被动与主动)。
•开发另一个模型,目的是区分不同层次的触觉延迟(没有延迟,轻微的延迟,温和的延迟和严重延迟)在一个连续的力反馈刺激。
•开发两种模型的特点:1)操作在一个脑电图试验2)避免使用任何精心设计的特性。
为此,我们探索使用深事先的合奏(Schirrmeister et al ., 2017)和艺术的状态模型、变压器(Vaswani et al ., 2017),利用脑电图数据和一些使用小波变换的表示。
2材料和方法
我们设计了两个实验来检查检测的可能性的存在和数量触觉延迟从脑电图数据,分别。第一个实验涉及两种类型的交互作用(被动和主动)触觉延迟被认为在一个地方离散触觉反馈。在第二个实验中,四层介绍了延迟(没有延迟,轻微的延迟,温和的延迟,主要延迟)期间连续触觉反馈刺激。
2.1实验1:检测延迟的存在在离散的触觉反馈
2.1.1参与者
在实验1中,19个参与者被要求参与研究(10女性和9名男性),其中90%是本科生年龄在18岁到25年。所有受试者右手,用右手完成实验。此外,参与者正常或corrected-to-normal视力。研究出符合赫尔辛基宣言,规范和法规后,纽约大学阿布扎比一个授权协议的机构审查委员会(IRB: # hrpp - 2019 - 120)。在加入在这项研究中,所有受试者提供书面知情同意按照IRB的标准。参与者收到约30美元赔偿凭证为他们参与这项研究。
2.1.2任务
参与者被告知,他们将参加haptic-visual活动他们会反弹一个网球球拍由触觉控制设备。参与者被要求在电脑面前坐在椅子上显示和使用右手握笔的触觉装置(Geomagic联系,3 d系统,美国)。统一游戏引擎版本2018.4.5f1(美国联合技术)和Openhaptics统一工具箱被用来创建游戏(3 d系统,美国)。受试者完成被动和主动任务而经历同步或异步visuo-haptic刺激。参与者把球拍反弹球,最初上面一动不动的球拍,在活动任务。在被动的任务,然而,球拍被动,和一个拇指按钮推动触觉设备导致网球散,用球拍碰撞。当球与球拍相撞,力反馈。的触觉与视觉碰撞碰撞可能同时交付(同步)或220 ms的视觉碰撞后(异步)。
单个试验的时间线所示图1。试验开始于一个空白屏幕演示1.5或2.5 s(随机),紧随其后的是一个跳跃运动。每个参与者总共完成了200次试验,均匀地分布在四个实验条件:被动没有延迟(PND),被动的延迟(PD),活动没有延迟(和),活动推迟(广告)。试验是分布在10分,每20个试验。第一个五分都是在被动模式下,而后者五个是在主动模式完成的。在一个单一的运行,10试验同步visuo-haptic刺激而另10试验涉及触觉延迟。试验在一个运行的顺序是随机的。
图1。检测的触觉延迟实验(一)任务时间线上单个试验的被动和主动触觉交互(B)实验设置显示参与者正确拿笔来控制在屏幕上显示的球拍。同步和触觉反馈延迟交付通过手写笔。
2.2实验2:分类水平的触觉在连续触觉反馈延迟
2.2.1参与者
共有三十四个受试者被邀请参与实验2(17女性和17名男性),它们中的绝大多数(97%)是本科生年龄在18岁到25年。参与者都是右撇子,完成了实验使用右手。参与者也有正常或corrected-to-normal愿景。本研究中使用的协议的机构审查委员会批准的纽约大学阿布扎比(IRB: # hrpp - 2021 - 17)、遵循赫尔辛基宣言的法规。参与这项研究之前,所有人都完成了知情同意的形式符合IRB的原则。每个参与者收到了亚马逊券价值30美元(美元)的积极参与。这个实验完成后COVID-19传播,因此,保护参与者从COVID-19,许多预防和预防措施之后,包括保持身体距离,使用口罩和手套之前接触的参与者,消毒触觉设备每次使用后,并完成一种症状检查来验证参与者不生病。
2.2.2任务
参与者被指示执行模拟选择和发布任务使用电脑屏幕和触觉装置。任务要求参与者使用触觉装置(Geomagic联系,3 d系统,美国)去接cylindrical-shaped对象显示在屏幕上,这对一个桶,它应该被释放。一旦选择对象,参与者经历了力反馈,模拟对象的重量。因此,视觉和触觉反馈提供;来自电脑屏幕的视觉反馈和触觉反馈来自触觉装置。一旦对象被释放,停止力反馈和物体的重量不再的感觉。然而,根据条件,力反馈可以激活一个额外的时间。这间隔时间被称为触觉延迟。有四个程度的触觉延迟:D0= 0(无延迟)女士,D1= 120毫秒(轻微的延迟),D2= 250毫秒(温和的延迟)D3= 400毫秒(严重的延迟)。执行初步研究后,这些延迟阈值测定(Alsuradi et al ., 2022)。
任务时间线所示图2。试验开始于0.5秒休息时间后跟一个抓取和释放动作;一个试验的持续时间变量和用户的依赖。10每参与者进行运行;每次运行由16抓取和释放试验(四个不同层次的触觉延迟×4重复)组织由拉丁方订单(以平衡的方式格兰特,1948)。每个参与者总共完成了160次试验,平均分布在四个延迟条件。类似于实验1,统一游戏引擎版本2018.4.5f1(美国联合技术)和Openhaptics统一工具箱被用来创建任务(3 d系统,美国)。
图2。检测水平的触觉延迟实验(一)任务时间线上单个试验的四种可能的延迟可以感知水平(B)实验设置显示参与者正确地把笔捡起并把对象。
2.3脑电图数据
2.3.1采集和预处理
在实验中,脑电图数据捕获1 kHz的采样率使用BrainAmps放大器(大脑BrainAmps标准,产品,德国)。处理采购过程和质量监控电极连接,大脑视觉记录仪软件(BVR;版本1.21.0201脑产品,德国)是利用。我们雇佣了64 Ag / AgCL活性电极与读出噪声抑制和放大内置电子产品。脑电图帽是放置在参与者的正面使用10 - 20国际定位方法,与Cz电极头部的顶点。在线参考是定位在FCz,而地面电极定位在FPz。我们一直连接阻抗电极与头皮之间的低于1510 kΩ保证高质量的录音信号。
MATLAB版本2021 (MathWorks,美国)和EEGLAB工具箱(v14.1.2) (Delorme Makeig, 2004)被用来预处理和离线分析数据。0.1之间的数据过滤和50 Hz使用sinc冷杉过滤器汉明窗。最小化电力线噪声集中在50 Hz,陷波滤波器是利用。工件受到的脑电图数据子空间重建(ASR) (Kothe荣格,2016)技术来消除高烈度的构件(肌肉活动,目光闪烁,和运动,以及检测和拒绝严重污染试验。数据re-referenced使用常见的平均引用(汽车)技术(Lakshmi et al ., 2014),在线的数据参考FCz被保留。任何残留的眼和肌肉工件分离使用独立分量分析(ICA)和删除。
2.3.2时代和基线校正
•实验1:为每个审判之间的时间出现的视觉效果和视觉碰撞(Δ1)计算。试验与Δ1超过4个标准差离均值被为了保持一致的行为趋势在试验。-200年和1000年之间的数据时代女士在视觉碰撞。时域时代试验基线修正使用基线之间的-200年和发病,这是视觉碰撞事件。
•实验2:为每个审判,捡起并释放(Δ之间的时间2)计算估计其持续时间。短试验表明,抓住主题,迅速释放对象,很可能是偶然。挑选和释放运动应该至少2 - 3年代对于一个训练有素的人。因此,极短的试验Δ2≤1 s被淘汰。其余的试验被时代女士从-200年到1000年在对象释放事件。时域时代试验baseline-corrected之间使用一个基线-200和发病,这是视觉对象释放事件。
2.4特征提取
原始脑电图数据携带足够的信息对编码的存在和数量触觉延迟,可以直接提取的深度学习模型。然而,嵌入提取显著特征除了原始脑电图数据可以大大提高分类的准确性。它已经表明,小波变换是高度有效的从原始脑电图数据中提取特征,因为它极大地处理EEG信号的非平稳的行为(阿明et al ., 2015)。小波系数已报告作为正常脑电图分析有用的特性以及在临床应用程序(Yazdani et al ., 2009;加里et al ., 2013)。小波系数同时提供本地化的神经激活在时间和频率域的确是需要提取触觉延迟信息。触觉延迟编码等几个频段θ,α和β乐队(Alsuradi et al ., 2021,2022年)。
原始脑电图数据从两个实验首次down-sampled从1千赫到125 Hz,这样一个时代的长度N1。接下来,下面的小波函数被用于小波变换分析和特征提取:Daubechies-4 (dB4) Daubechies-20 (dB20) Coiflet-1 (Coif1) Coiflet-3 (Coif3) Symlet-10 (Sym10) Fejer-Korovkin-8 (fk8),双正交的6.8 - 6.8 (bior6.8)和反向双正交的(rbio6.8)。这些小波变换选择的经验基础上对整体的影响检测精度。每个时代每个电极下了所有前面提到的小波变换和变换是连接形成一个一维数组的长度N2。图3显示了一个示例数据集包括原料和转换的C1电极。两个输入数据矩阵形成一个用于每个实验;一个输入数据矩阵,X,可以与维度形成试验(Tr)、序列长度(N1+N2),电极(E)。基于模型的选择,相应的输入数据可以重塑。实验1的数据分为没有延迟(ND)或延迟(D)不管活动类型(被动与主动)。另一方面,实验2的数据分为没有延迟(D0),轻微的延迟(D1),适度推迟(D2)或严重延迟(D3)。促进指上述参数的其余部分手稿,我们和其他一些重要的参数列表表1。
图3。样本数据集显示原始脑电图数据及其小波变换基于Daubechies-4 (dB4) Coiflet-3 (Coif3)和Fejer-Korovkin-8 (fk8)小波C1电极。硬行显示试验而阴影区域的均值显示了标准偏差。
表1。数据集相关参数。
2.5数据集
最后一个数据集,用于训练和验证拟议的深度学习模型由原始的脑电图数据连接小波转换原始版本的脑电图数据。transformer模型预计时间序列数据,在本质上是一维的,而2 d CNN预计二维输入类似image-shaped数据。两个、变压器和2 d cnn可以处理多通道输入等多个时间序列数据和多个二维图像(例如RGB图像),分别。因此,重塑脑电图数据来匹配相应的每个模型的输入层。我们使用这个概念dn描述的尺寸改变了数据集,当n是维数。下面是一个阐述数据集的结构和大小的参数描述表1:
•实验1:变压器的输入数据矩阵模型,Xtr1,三维的大小d0×d1×d2= Tr×(N1+N2)×渠道= Tr×(N1+N2)×E(150 + 171)= 3753××60。因此,一个试验通过模型的大小d1=N1+N2(序列长度)d2=E(电极)。2 d CNN模型另一方面,数据的形状不同。2 d CNN的输入数据矩阵模型,Xcnn1是四维的大小d0×d1×d2×d3= Tr×(N1+N2)×E×渠道(150 + 171)= 3753××60×1。因此,一个试验通过模型的大小d1= 321(序列长度),d2= 60(电极),d3= 1(渠道)。
•实验2:变压器的输入数据矩阵模型,Xtr2,三维的大小d0×d1×d2= Tr×(N1+N2)×渠道= Tr×(N1+N2)×E(150 + 171)= 5418××60。因此,一个试验通过模型的大小d1=N1+N2(序列长度)d2=E(电极)。2 d CNN模型在另一方面,数据的形状不同。2 d CNN的输入数据矩阵模型,Xcnn2是四维的大小d0×d1×d2×d3= Tr×(N1+N2)×E×渠道(150 + 171)= 5418××60×1。因此,一个试验通过模型的大小d1= 321(序列长度),d2= 60(电极),d3= 1(渠道)。
注意渠道的数量在变压器模型对应的电极数量。然而,由于整个脑电图数据集可以形成一个二维矩阵的维度总序列长度的电极,一个2 d通道2 d CNN模型是充分的。
2.6深度学习模型架构
我们的目标是构建两个健壮的分类器,在单一审判工作(时代)水平:第一种是二元分类器检测的触觉延迟一个离散的触觉反馈刺激期间,第二个是一个多层次分类器检测水平的触觉延迟期间连续触觉反馈刺激。在此,我们探讨使用两个不同的深度学习模型,即2 d CNN和变压器。对于这两个分类器,我们开发相同的模型用一个差异在于去年致密层的大小基本上是等于类的数量。
2.6.1 2 d CNN
2 d CNN的架构模型跟随DeepConvNet架构提出处理EEG数据分类(Schirrmeister et al ., 2017)。DeepConvNet模型的体系结构和设计的选择特别设计套件特定脑电图数据相比,图像数据的特征。例如,脑电图数据非平稳时间序列通过头皮的电极,从根本上不同于自然图像常用训练2 d cnn。此外,脑电图数据信噪比很低,这使得任务相关特性难以捕捉。DeepConvNet由四块,每个块都有一系列的卷积,批处理规范化,最大池和辍学层。第一块是一个例外,连续使用两个convolotional层提取时间和空间特性,分别。网络中所有非线性激活函数是基于指数线性单元(ELU) (Clevert et al ., 2015),被发现严重影响网络的性能相比,修正线性激活单元(ReLU)。ELU激活函数不同于ReLU在应对负输入和下面所描述的方程:
由于采样频率在这项工作不同于DeepConvNet纸(125 vs 250 Hz),有些模型参数的改变,如内核和池的大小。
2.6.2变压器
变压器是一个模型,最初提出的自然语言处理(NLP)域文本数据处理(Vaswani et al ., 2017)。很快,变压器模型适应处理其他类型的数据,如时间序列数据(李s . et al ., 2019)以及图像(Dosovitskiy et al ., 2020)。变形金刚的力量主要在于关注它雇佣机制学习原始数据的重要特征。注意机制运作的方式模型能够同时关注不同部分的输入并强调它们之间的关系在一个试图捕捉高阶依赖项(赵et al ., 2021)。该模型应能从原始的脑电图数据处理功能以及小波变换。此功能的变压器称为self-attention和计算通过以下方程:
在哪里问,K和V键和值矩阵和,查询吗dk是一个键向量的长度(Vaswani et al ., 2017)。
在这项工作中,我们使用的变压器模型由四个连续编码器块,紧随其后的是一个全球平均池层和两层致密。每个编码器块,大小,也称为关键尺寸设置为256,正面的个数设置为四个和注意力的辍学率层设置为0.25。的前馈部分编码器由一层致密的大小128和0.4的辍学率。所有激活函数的致密层,ELU函数使用。这些参数的选择是基于一个优化过程的结果Optuna框架(秋叶et al ., 2019)中描述变压器。
2.6.3整体模型
一个模型组成,2 d CNN和变压器模型也检查了。两种模型的输出组合软投票的方式(平均每个类的概率和预测的延迟是基于概率最高的类。软投票认为每个选民的程度的确定性,而不是他们的二进制输入。提出的整体模型中描述图4。这个模型是检查和测试实验,唯一的区别是最后的致密层的大小变压器以及2 d CNN模型。
图4。提出整体模型的一个例子,一个软的2 d CNN模型(深事先)和变压器模型来预测存在/触觉延迟。
2.7 Hyperparameter优化和培训
优化培训hyperparameters以及变压器模型参数,我们使用Optuna框架特别设计来优化选择hyperparameters机器学习。我们定义一个合理的搜索空间我们打算为每个参数优化的抽样算法将用于在每次运行选择不同的参数组合。随机抽样算法优于网格搜索这样的取样器试图选择一个组合参数可能增加的准确性基于先前运行的结果。在这项工作中,我们使用的树形结构Parzen采样参数的估计(TPE)算法的搜索空间。TPE是默认的抽样方法和通常表现良好运行不到1000。我们执行200运行搜索前面提到的变压器模型的最佳参数Hyperparameter优化和培训。至于培训hyperparameters,另外200运行进行优化:批量大小、学习速率和优化器类型。发现以下hyperparameters执行最好的为每个模型:
•2 d CNN:学习速率是1的军医,优化器是亚当,批量大小是64。
•变压器:学习速度是1 e - 3,优化器是亚当,批量大小是64。
Under-fitting被解决通过增加模型的复杂性通过增加卷积层的数量和编码块的数量分别在2 d CNN和变压器,在一定程度上超越的增加并没有帮助改善验证精度。另一方面,过度学习是解决通过引入辍学层的每一个卷积块和2 d CNN和关注层后的变压器模型,分别。我们使用二进制和分类交叉熵函数损失计算实验1和实验2,分别。培训过程中,我们首先洗牌整个数据集对象,我们把它到80年20%,训练和测试模型,分别。权重优化模型,然后使用5倍交叉验证一个折叠用于验证和权重优化运行。我们跑训练300时代和最好的模型验证使用精度。报道的性能在手稿是指平均表现在五个折叠之前预留的测试数据集。
3的结果
两个实验中,我们进行了六个主要测试来比较三种建议模型的性能(2 d CNN,变压器,合奏)时仅使用原始的脑电图数据与嵌入小波变换系数。这些测试的结果为实验在以下部分中进行了总结。
3.1实验1:检测延迟的存在在一个离散的触觉反馈
表2总结的结果进行测试检测触觉延迟的存在无论哪一类型的触觉交互(被动与主动)。它可以观察到,包括数据的小波系数提高了所有三个模型的性能。特别是变压器模型的性能明显高于小波系数时采用。所有的模型都是训练和交叉验证使用相同的设置。所获得的最高精确度为0.9142时整体模型小波系数被添加到数据集。合奏的混淆矩阵模型所示图5一个。混淆矩阵表明,包括小波系数增加了真阳性和真阴性率,减少了假阳性和假阴性率。同时,精度和召回了fas可以看到表2。
表2。两种模型的性能及其对触觉的存在的合奏延迟数据集(两类)。The reported figures are the mean and standard deviation for 5-fold cross validation obtained on the test set.
图5。混淆矩阵表现最佳的模型(整体)(一)触觉的延迟检测[两个类:没有延迟(ND)和延迟(D)),(B)水平的触觉延迟分类(四类:D0(无延迟),D1(轻微的延迟),D2(温和的延迟),D3(严重延迟)]。
3.2实验2:分类水平的触觉在连续触觉反馈延迟
表3总结的结果进行测试检测水平的触觉延迟期间连续触觉反馈刺激。这个问题显然是困难作为类的数量是4而不是只有两个检测延迟的存在。同样的观察是有效的积极影响小波变换在所有模型的性能,特别是变压器模型。整体模型优于独立模型平均精度为0.6625 5折。合奏的混淆矩阵模型所示图5 b。能够准确地分类所有触觉延迟水平有所改善,与无延迟级别(D0)显示提高检测精度最高。
表3。两种模型的性能和整体水平的触觉延迟数据集(四类)。The reported figures are the mean and standard deviation for 5-fold cross validation obtained on the test set.
4讨论
这项工作提出了一个新颖的整体建模方法感知触觉延迟的存在和水平在一个离散和连续的力反馈,分别。2 d的合奏CNN和变压器模型能够达到平均精度0.9142和0.6625的成功检测的存在和水平触觉延迟,分别在单一试点。研究结果表明,EEG数据包含丰富的触觉信息延迟经验甚至在单一试验水平。实现了检测精度超出50 - 25%的机会水平两类四类分类问题,分别。
检测精度的触觉延迟在观赏风景环境显然是远远低于一个二进制的设置。识别水平的触觉延迟是一个更具挑战性的问题由于几个原因:1)它是一个多类问题更复杂的表示要学会区分四个延迟水平2)我们并不试图分类四个不同的认知功能。相反,我们正试图区分四个强度相同的认知功能(触觉感知延迟)之间有一个相似的邻近延迟的水平。这是明显的混淆矩阵图5 b假阴性和阳性一般高接近目标类。3)检测触觉延迟期间连续力反馈刺激相比可能更少的可感知的体验在一个离散反馈延迟。
检测的另一个重要的挑战的感知触觉延迟一般来说,无论经验丰富的触觉反馈的类型,是它的感知是一个提高认知功能,出现暂时的局部时间框架,通常在几十或几百毫秒(Alsuradi et al ., 2022)。其他分类问题,如情感或纹理分类试验长度,持续几秒钟,可能持续几分钟(Eldeeb et al ., 2019;曾庆红等人。,2019年;巴布什金et al ., 2021)。认知功能,持续长时间更容易检测到神经的签名是散布在试验持续时间。此外,健壮的特性,比如总功率不同的频带(δθ,α,β,γ)在试验长度可以提取使用韦尔奇(韦尔奇,1967)或Bartlett的方法(巴特利特,1948),这是相当有效的向下游分类任务。其他例子因为它使得基于脑电图的文学四类分类器,旨在比较性能更高的认知功能进行分类展示。例如,一些研究情感识别(4情绪状态)报告的分类精度为67% (梁et al ., 2019)66% (黄et al ., 2017)和62% (李p . et al ., 2019)。
一个有趣的观察是检测精度的显著增加小波变换系数考虑时,连接到原始的脑电图数据。特别是,假阴性的D0大幅减少可以观察到图5 b。这个结果表明,小波变换能够同步刺激(突出和提取特征D0),否则不是从原始的脑电图数据检测。小波变换的有效性主要在于其定位能力,并提取特征在不同时间和频率的位置(饶,1999;Samant埃德里,2000)。其他技术在信号处理不足或无效的,小波变换是特别擅长表达不同功能的信号,如趋势,不连续,重复模式使他们非常强大的脑电图等从非平稳信号中提取特征数据。这意味着一个准确提取瞬态脑电图特征(埃德里et al ., 2003),尤其在触觉的感知延迟。我们以前的研究(Alsuradi et al ., 2021,2022年)确认在统计上有显著差异的存在延迟条件下,目前的研究证实的above-the-chance级别的分类精度。
确实,连接基于小波的特性提高了检测精度。然而,我们的方法的一个局限在于缺乏一个系统的检查所选择的小波和他们的角色在提取特定的神经功能。我们依赖于选择base-wavelets实证的方法,然而,更系统化的方法可能会产生更好的性能,提高模型的explainability。另一点是,我们提出的模型是基于inter-subject分类的训练而不是intra-subject分类模型(Muller-Gerking et al ., 1999;王et al ., 2012;Bae和运气,2018年;Eldeeb et al ., 2019),训练、测试和使用数据的一个主题。一般来说,inter-subject模型必须面对更大的数据变化,挑战相关介绍学习subject-resilient特性。Inter-subject模型几乎总是执行比intra-subject模型(Hajinoroozi et al ., 2017)由于学习subject-independent功能的挑战。然而,在inter-subject模型,验证过程会影响模型的学习曲线。一种方法是使用k-fold交叉验证对合并后的数据从所有受试者在这项研究中,我们使用。另一种方法是使用leave-N-subjects-out方法将数据对象的基础上。两种方法都使用和文献中报道(罗伊et al ., 2019;Joucla et al ., 2021)。后一种方法通常概括更好,因此这项研究的第二个限制。此外,鉴于大多数参与者招募从一个年龄18 - 25岁之间的(),结果并不适用于其他年龄组(鉴于触觉感知因年龄而异)。然而,参与者来自一个高度多样化的种族背景使得种族背景的结果可归纳的观点。
5的结论
本文提出一个基于深度学习的模型检测和严重性级别分类的触觉延迟在离散和连续触觉反馈单审判脑电图数据。整体模型由2 d CNN和变压器模型。生脑电图数据和他们的一些使用小波变换没有制定或手动提取功能;相反,该模型依赖于self-attention机理和特性通过CNN过滤器的自动检测。整体模型显示一个有前途的性能与精度0.9142±0.0157,0.6625±0.0067的二进制和多分类问题,分别。
对于未来的工作,我们认为模型,检测水平的触觉延迟可能会进一步提高通过合并其他数据模式可触觉延迟相关的检测水平。例如,力反馈数据交付的触觉设备或检测表面皮肤的肌电图数据。自从ensemble-based模型目前仅仅依赖于脑电图数据,添加相关的其他感官触觉延迟将极大地提高检测精度。得到足够的数据对模型的训练,这可能需要招聘数量相当高的个体。最后,可以尝试其他功能等生理时间序列数据的常用熵相关(大富翁和摩尔人,2000年;吴et al ., 2013和动态特性濑户et al ., 2015;元et al ., 2019)。
数据可用性声明
原始数据支持了本文的结论将由作者提供,没有过度的预订。
道德的声明
这项研究是进行一个批准的协议由纽约大学阿布扎比机构审查委员会(IRB: hrpp - 2019 - 120)。书面知情同意是获得所有参与者按照IRB伦理在参与这项研究。
作者的贡献
我构思研究HA进行实验和分析结果。哈哈和我。审查结果。两位作者贡献智力在写作和修改手稿。
资金
这项研究是由纽约大学阿布扎比博士奖学金计划。这项工作还支持NYUAD中心部分的人工智能和机器人技术,由研究所奖CG010年来增长。
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
出版商的注意
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。
引用
埃德里,H。,Zhou, Z., and Dadmehr, N. (2003). Analysis of eeg records in an epileptic patient using wavelet transform.j . >。方法123年,69 - 87。doi: 10.1016 / s0165 - 0270 (02) 00340 - 0
秋叶,T。,Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). “Optuna: A next-generation hyperparameter optimization framework,” in第25届ACM SIGKDD学报》国际会议上知识发现和数据挖掘,2623 - 2631。
Al-Saegh,。,D一个wwd, S. A., and Abdul-Jabbar, J. M. (2021). Deep learning for motor imagery eeg-based classification: A review.生物医学。信号的过程。控制63年,102172年。doi: 10.1016 / j.bspc.2020.102172
Alsuradi, H。,和E我d,M. (2021). “Trial-based classification of haptic tasks based on eeg data,” in进行2021年IEEE世界触觉技术会议,加拿大的蒙特利尔,QC,2021年7月(IEEE),37-42。
Alsuradi, H。、公园、W。,和E我d,M. (2020a). Eeg-based neurohaptics research: A literature review.IEEE访问8,49313 - 49328。doi: 10.1109 / access.2020.2979855
Alsuradi, H。、公园、W。,和E我d,M. (2021). Midfrontal theta oscillation encodes haptic delay.科学。代表。11、1 - 12。doi: 10.1038 / s41598 - 021 - 95631 - 1
Alsuradi, H。、公园、W。,和E我d,M. (2022). Midfrontal theta power encodes the value of haptic delay.科学。代表。12,1 - 11。doi: 10.1038 / s41598 - 022 - 12911 - 0
Alsuradi, H。帕瓦尔,C。、公园、W。,和E我d,M. (2020b). “Detection of tactile feedback on touch-screen devices using eeg data,” in进行2020年IEEE触觉技术研讨会(触觉),水晶的城市,美国弗吉尼亚州,2020年3月(IEEE),775 - 780。
阿明,h . U。,Malik, A. S., Ahmad, R. F., Badruddin, N., Kamel, N., Hussain, M., et al. (2015). Feature extraction and classification for eeg signals using wavelet transform and machine learning techniques.Australas。理论物理。Eng。科学。地中海。38岁,139 - 149。doi: 10.1007 / s13246 - 015 - 0333 - x
中的P。,Bonfiglio, L., Minichilli, F., Cantore, N., Carboncini, M. C., Piccotti, E., et al. (2016). Eeg theta dynamics within frontal and parietal cortices for error processing during reaching movements in a prism adaptation study altering visuo-motor predictive planning.《公共科学图书馆•综合》11日,e0150265。doi: 10.1371 / journal.pone.0150265
巴布什金,V。、公园、W。,Jamil, M. H., Alsuradi, H., and Eid, M. (2021). “Eeg-based classification of the intensity of emotional responses,” in2021年10日国际IEEE /磨床进行神经工程会议(尼珥),意大利,2021年5月(IEEE),218 - 221。
Bae G.-Y。,和Luck, S. J. (2018). Dissociable decoding of spatial attention and working memory from eeg oscillations and sustained potentials.j . >。38岁,409 - 422。doi: 10.1523 / jneurosci.2860 - 17.2017
陈,J。,Jiang, D., and Zhang, Y. (2019). A hierarchical bidirectional gru model with attention for eeg-based emotion classification.IEEE访问7,118530 - 118540。doi: 10.1109 / access.2019.2936817
Clevert,预算。,Unterthiner, T., and Hochreiter, S. (2015).快速和准确的深度网络学习指数线性单位(elu)。arXiv预印本arXiv: 1511.07289。
科恩,m . X。,和Donner, T. H. (2013). Midfrontal conflict-related theta-band power reflects neural oscillations that predict behavior.j .神经生理学110年,2752 - 2763。doi: 10.1152 / jn.00479.2013
Delorme,。,和Makeig, S. (2004). Eeglab: An open source toolbox for analysis of single-trial eeg dynamics including independent component analysis.j . >。方法134年,9。doi: 10.1016 / j.jneumeth.2003.10.009
Donmez, H。,和Ozkurt, N. (2019). “Emotion classification from eeg signals in convolutional neural networks,” in进行2019年的创新智能会议系统和应用程序(ASYU),伊兹密尔,土耳其,2019年10月(IEEE),1 - 6。
Dosovitskiy,。拜尔,L。,Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2020).一幅值得16 x16词:变形金刚对大规模图像识别。arXiv预印本arXiv: 2010.11929。
Eldeeb, S。Ting, J。,Erdogmus, D., Weber, D., and Akcakaya, M. (2019). “Eeg-based texture classification during active touch,” in进行2019年IEEE 29日国际研讨会在机器学习信号处理(MLSP),美国宾夕法尼亚州匹兹堡,2019年10月(IEEE),1 - 6。
Eldeeb, S。,Weber, D., Ting, J., Demir, A., Erdogmus, D., and Akcakaya, M. (2020). Eeg-based trial-by-trial texture classification during active touch.科学。代表。10,1-13。doi: 10.1038 / s41598 - 020 - 77439 - 7
加里,H。,McGinley, B., Jones, E., and Glavin, M. (2013). An evaluation of the effects of wavelet coefficient quantisation in transform based eeg compression.第一版。医学杂志。地中海。43岁,661 - 669。doi: 10.1016 / j.compbiomed.2013.02.011
Hajinoroozi, M。、毛泽东、Z。,Lin, Y.-P., and Huang, Y. (2017). “Deep transfer learning for cross-subject and cross-experiment prediction of image rapid serial visual presentation events from eeg data,” in国际会议上增强认知(施普林格),45 - 55。
黄,Y。,Yang, J., Liao, P., and Pan, J. (2017). Fusion of facial expressions and eeg for multimodal emotion recognition.第一版。智能。>。2017年,1 - 8。doi: 10.1155 / 2017/2107451
Joucla C。,Gabriel, D., Haffen, E., and Ortega, J.-P. (2021). Three simple steps to improve the interpretability of eeg-svm studies.bioRxiv。doi: 10.1101 / 2021.12.14.472588
Kilavik b E。Zaepffel, M。Brovelli,。,MacKay, W. A., and Riehle, A. (2013). The ups and downs of beta oscillations in sensorimotor cortex.经验,神经。245年,15-26。doi: 10.1016 / j.expneurol.2012.09.014
Knorlein B。,D我Luca, M., and Harders, M. (2009). “Influence of visual and haptic delays on stiffness perception in augmented reality,” in2009第八届IEEE国际研讨会进行混合和增强现实,美国佛罗里达州奥兰多市,2009年10月(IEEE),49-52。
Kothe c a E。,和Jung, T.-P. (2016). Artifact removal techniques with signal reconstruction. [Dataset] US Patent App. 14/895,440.
拉克希米·m·R。普拉萨德,T。,和Prakash, D. V. C. (2014). Survey on eeg signal processing methods.Int。j .放置》第一版。科学。Softw。Eng。4所示。
李,P。,Liu, H., Si, Y., Li, C., Li, F., Zhu, X., et al. (2019a). Eeg based emotion recognition by combining functional connectivity network and local activations.IEEE反式。生物医学。Eng。66年,2869 - 2881。doi: 10.1109 / tbme.2019.2897651
李。,Jin, X., Xuan, Y., Zhou, X., Chen, W., Wang, Y.-X., et al. (2019b). Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting.放置神经Inf。过程。系统。32。doi: 10.48550 / arXiv.1907.00235
梁,Z。Oba年代。,和Ishii, S. (2019). An unsupervised eeg decoding system for human emotion recognition.神经。116年,257 - 268。doi: 10.1016 / j.neunet.2019.04.003
三浦,H。,K我米ura, J., Matsuda, N., Soga, M., and Taki, H. (2014). Classification of haptic tasks based on electroencephalogram frequency analysis.Procedia第一版。科学。35岁,1270 - 1277。doi: 10.1016 / j.procs.2014.08.226
Muller-Gerking, J。,Pfurtscheller, G., and Flyvbjerg, H. (1999). Designing optimal spatial filters for single-trial eeg classification in a movement task.中国。Neurophysiol。110年,787 - 798。doi: 10.1016 / s1388 - 2457 (98) 00038 - 8
大富翁,j·S。,和Moorman, J. R. (2000). Physiological time-series analysis using approximate entropy and sample entropy.点。j . Physiology-Heart循环生理278年,H2039-H2049。doi: 10.1152 / ajpheart.2000.278.6.h2039
罗伊,Y。,Banville, H., Albuquerque, I., Gramfort, A., Falk, T. H., and Faubert, J. (2019). Deep learning-based electroencephalography analysis: A systematic review.j .神经Eng。16日,051001年。1741 - 2552 . doi: 10.1088 / / ab260c
Samant,。,和埃德里,H。(2000)。特征提取交通事件检测使用小波变换和线性判别分析。Comp-aided。文明。Eng。15日,241 - 250。doi: 10.1111 / 0885 - 9507.00188
Schirrmeister, r . T。,Springenberg, J. T., Fiederer, L. D. J., Glasstetter, M., Eggensperger, K., Tangermann, M., et al. (2017). Deep learning with convolutional neural networks for eeg decoding and visualization.嗡嗡声。攻读硕士学位的大脑。38岁,5391 - 5420。doi: 10.1002 / hbm.23730
濑户,S。,Zhang, W., and Zhou, Y. (2015). “Multivariate time series classification using dynamic time warping template selection for human activity recognition,” in进行2015年IEEE研讨会系列计算智能,南非开普敦,2015年12月(IEEE),1399 - 1406。
塔巴,y R。,和Halici, U. (2016). A novel deep learning approach for classification of eeg motor imagery signals.j .神经Eng。14日,016003年。1741 - 2560/14/1/016003 doi: 10.1088 /
Tatematsu,。,Ishibashi, Y., Fukushima, N., and Sugawara, S. (2011). “Qoe assessment in tele-operation with 3d video and haptic media,” in2011年IEEE国际会议上进行多媒体和世博会,西班牙巴塞罗那,2011年7月(IEEE),1 - 6。
Van Den Berg, D。龟头,R。,DeKon我ng, D., Kuipers, F. A., Lugtenburg, J., Polachan, K., et al. (2017). Challenges in haptic communications over the tactile internet.IEEE访问5,23502 - 23518。doi: 10.1109 / access.2017.2764181
Vaswani)。,Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). Attention is all you need.放置神经Inf。过程。系统。30.doi: 10.48550 / arXiv.1706.03762
王,C。,X我ong, S., Hu, X., Yao, L., and Zhang, J. (2012). Combining features from erp components in single-trial eeg for discriminating four-category visual objects.j .神经Eng。9日,056013年。1741 - 2560/9/5/056013 doi: 10.1088 /
韦尔奇,p (1967)。使用快速傅里叶变换的功率谱的估计:一个方法基于时间平均在短周期图修改。IEEE反式。音频Electroacoust。15日,70 - 73。doi: 10.1109 / tau.1967.1161901
吴,告诫。,Wu, C.-W., Lin, S.-G., Wang, C.-C., and Lee, K.-Y. (2013). Time series analysis using composite multiscale entropy.熵15日,1069 - 1084。doi: 10.3390 / e15031069
Yazdani,。,Ebrahimi, T., and Hoffmann, U. (2009). “Classification of eeg signals using dempster shafer theory and a k-nearest neighbor classifier,” in学报2009年第四届国际IEEE /磨床神经工程会议,土耳其安塔利亚,2009年4月(IEEE),327 - 330。
元,J。,Lin, Q., Zhang, W., and Wang, Z. (2019). “Locally slope-based dynamic time warping for time series classification,” in学报》第28届ACM国际会议信息和知识管理,2019年11月,1713 - 1722。
曾,H。吴,Z。,Zhang, J., Yang, C., Zhang, H., Dai, G., et al. (2019). Eeg emotion classification using an improved sincnet-based deep learning model.大脑科学。9日,326年。doi: 10.3390 / brainsci9110326
关键词:neurohaptics、触觉、深度学习,小波变换,CNN,卷积神经网络,脑电图
引用:Alsuradi H和开斋节M(2022)一个深度学习的方法来评估触觉从单个试验脑电图数据延迟。前面。机器人。人工智能9:1013043。doi: 10.3389 / frobt.2022.1013043
收到:2022年8月06;接受:09年9月2022;
发表:2022年9月27日。
编辑:
诺曼Naseer巴基斯坦航空大学版权©2022 Alsuradi和开斋节。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。
*通信:穆罕默德开斋节,mohamad.eid@nyu.edu