情感表达的研究中缺少什么?
Elisa Straulino
克里斯蒂娜Scarpazza
路易莎Sartori- 1普通心理学、帕多瓦,意大利帕多瓦大学
- 2IRCCS圣卡米洛•医院,意大利威尼斯
- 3帕多瓦神经科学中心、帕多瓦大学、意大利帕多瓦
而接近150年的庆祝活动“人类与动物在情感表达上的异同”,科学家们对情感表达的结论仍争论不休。情感表达传统意义上被锚定在原型和互斥的面部表情(如愤怒,厌恶,恐惧,快乐,悲伤,和意外)。然而,人们表达情感的微妙的模式,最重要的是——不是所有的脸。近几十年来大量工作评论这个经典的观点,呼吁更多的流体和灵活的方法,认为人类如何动态地执行真正的表情与他们的身体在上下文。越来越多的证据表明,每一个情感上的显示是一个复杂的、多组分的,肌肉运动的事件。人类的脸从来都不是静态的,但不断行为和对内部和环境刺激的反应,全身肌肉的协调行动。此外,两个结构上和功能上不同的神经通路服务于自愿和非自愿的表达式。一个有趣的含义是,我们已经为真正的独特的和独立的路径,面部表情,和不同的组合可能发生在面部垂直轴。调查这些面部混合的时间进程,可以有意识地控制只有部分是最近提供了一个有用的操作测试比较不同的各种预测模型的偏侧性的情绪。这个简洁的评论将识别缺陷和对情感表达的研究面临新的挑战,身体,和上下文的水平,最终导致情绪的研究理论和方法论的转变。 We contend that the most feasible solution to address the complex world of emotion expression is defining a completely new and more complete approach to emotional investigation. This approach can potentially lead us to the roots of emotional display, and to the individual mechanisms underlying their expression (i.e., individual emotional signatures).
介绍
“…面部运动的表达式通过它的变化给我们留下深刻的印象,通过它的旋律。
特征的人将永远是他们的举动,表达式的旋律;这永远不可能陷入快照…”
(Ernst Gombrich爵士,引用的米勒,1983)
根据群有影响力的研究人员越来越大,我们现在边上的激进变革的角度我们认为如何情绪(人物et al ., 2019;巴雷特et al ., 2019;天堂,2020)。情感是人类生活的基石之一。然而,人类如何动态地和真诚地表达自己的情感与整个身体仍然是小调查。
在上个世纪,科学的情感逐渐固定六个典型的面部表情:愤怒,厌恶,恐惧,快乐,悲伤和惊奇都会行之于色,(即。,基本6;埃克曼et al ., 1969;Ekman和弗瑞森,1971年)。这六个表达式被描述为单一实体和构思就像互斥的类别。特别是,基本情绪理论提出,数量有限的情感表现通过有组织的和经常性的行为模式的一种“一对一”的信件,守恒的进化处理基本生活情况(埃克曼,1992,b,2003年;勒杜,1995,2012年;Ekman和h3环境,2011年;达马西奥和卡瓦略,2013)。杰克et al。(2016)进一步缩小这一观点提出的four-scheme模型表达式,其中每个通信的特定组合价,唤醒和主导地位,可能从一个简单的通信系统(参见“基本情绪的三个主要颜色模型,”顾et al ., 2019)。不用说,所有这些优雅的模型让大多数人类表情未知的(巴雷特,2017;人物et al ., 2019;巴雷特et al ., 2019)。此外,这个词似乎基本构成情绪是离散的,而不是一个家庭相关的州(谢勒和Ellgring, 2007;特蕾西和松本,2008;罗斯曼,2011;Banziger et al ., 2012;特纳和h3环境,2017年;h3环境et al ., 2018)。而不是考虑幸福作为一个单一的情感,例如,研究应该尝试打开情感类别的组件:幸福伞可能覆盖快乐,快乐,爱心,骄傲,等等。根据宪法解释者理论,广泛的情绪已经进化,由语言和认知评价(拉塞尔、巴雷特,1999年)。所有的情感都可以位于一个圆称为circumplex (罗素1980),以不同数量的价(快乐/不满轴)和觉醒(高/低轴)。基本情绪和宪法解释者的理论已经与对方一个多世纪以来所谓的100年战争(林奎斯特et al ., 2013;审查看到Crivelli Fridlund, 2019)。现在,多亏了现代神经科学,我们终于开始理解情感世界的复杂性。情感表达可能远比原型模式更加丰富和复杂的面部肌肉运动到目前为止。
这篇文章并不是情感的全面审查,而是审查关注情感的表达给重要的研究表明,人类动态执行真正的和混合表情的脸和身体。我们也提出一个新的集成模型能够提取多通道算法适用于生态环境的评估inter-individual和文化差异。
独特的和独立通路和真正的面部表情
人类有43个面部肌肉,它们可以产生多达10000种不同的表情,使人类面临最强大的人类交际工具之一(Rinn 1984)。注意,即使是相同的情感的表达可能通过不同的神经系统。例如,两个结构上和功能上不同的神经通路服务于真正的表情,面部表情。模仿肌肉的收缩与真正的情感源于大脑皮质下区域提供兴奋性刺激面神经核的脑干通过锥体束外的运动大片,这常常涉及随之而来的眼轮匝肌的收缩。相比之下,带来微笑由脉冲控制锥体束的运动皮层(弗兰克et al ., 1993;施密特et al ., 2006;Sidequersky et al ., 2014)。因此,我们有不同的途径(即。、主动控制)和自发的(即。,不自觉地产生)面部显示(罗斯et al ., 2016),所以真正的通路有关同步,光滑,和对称的表情相比,锥体自愿系统(罗斯et al ., 2019)。故意造成的面部表情是那些显示由一个人假装传输特定的情感(Namba et al ., 2017),而自发的面部表情是那些引起真正的情感内容,通常对应于一个更真实的情感体验(尼丹瑟et al ., 2010;Zloteanu Krumhuber, 2021)。例如,微笑是真正在听一个笑话。然而,人们也试图微笑当他们感到愤怒,害怕,疲倦或尴尬,隐藏这些情绪在上下文是不合适的。值得注意的是,上面的面部肌肉(即。,eye areas) are mainly controlled by the subcortical and extrapyramidal systems, whereas the lower face (i.e., mouth area) is under the voluntary control of the motor system (Gazzaniga Smylie, 1990;霍普夫et al ., 1992;罗斯et al ., 2007;Krippl et al ., 2015)。这意味着:(i)面部表情的混合水平轴(即可能发生。眼睛和嘴巴区域,罗斯et al ., 2016);和(2)的肌肉上面对双边控制,而肌肉的脸cross-innervated普遍地从侧方(Morecraft et al ., 2004;罗斯et al ., 2016)。因此,小的变化动态发展的面部显示可能描述和区分真正的面部表情,调查(但看到主题仍然不佳Sowden et al ., 2021)。调查的相对贡献上下情感识别面部表情也特别有趣的当前COVID-19大流行。到2020年,医疗口罩阻塞的较低部分的脸已经成为日常生活中无处不在。显然这些面具是专为预防感染。然而,有人担心它们可能影响相关情感识别。从刚刚发布的一项研究结果(马里尼et al ., 2021)表明,戴面罩有两个有问题的副作用。首先,通过嘴无形,它们干扰情绪状态的识别。此外,他们妥协面部模仿减少因此情绪感染(Dimberg et al ., 2011;赫斯和费舍尔,2013年;Tramacere和法拉利,2016年;Palagi et al ., 2020)。
当一个真正的情感经历,这种情绪的表达不能完全抑制或修改,这是一个相当刻板模式(贝克et al ., 2016)。例如,一个真诚的微笑,像自动动作,可尽快出现0.30 s,它通常逐渐消退后3 - 4 s (施密特et al ., 2003)。然而,外观的多样性和动态自发的微笑仍然需要更好的理解微笑的属性和模式,以确定哪些特性或时间参数是关键在传输信息以及它们如何在不同的上下文中变量(施密特et al ., 2003)。所需要的情感表达因此更丰富的分类。
失踪的:真正的和动态显示
情感表达的实验研究,就职埃克曼(1965)和持续大量的学者,都集中在静态和典型的面部表情的目的,发现普遍的情感表达理论(例如,借助面部表情分析或流式细胞仪;埃克曼et al ., 2002)。此外,以往的研究支持使用刻板的情绪刺激了更多的生态有效但不可控表达为了更好地调查的影响变量,如性别、年龄和性格特征。是可能的,例如,观察女性的情感识别性能较高(例如,霍夫曼et al ., 2010;Saylik et al ., 2018;Wingenbach et al ., 2018;Connolly et al ., 2019),随着年龄降低(例如,Ruffman et al ., 2008;西方et al ., 2012;Abbruzzese et al ., 2019),尤其影响人与述情障碍(例如,Vermeulen et al ., 2006;Scarpazza et al ., 2014;Starita et al ., 2018;Malykhin et al ., 2023)。使用静态、构成和典型的面部表情实际上提供了科学的控制和可重复性高,但在数据变化的成本可能占实际情感表现(Kret和德德,2012年)。过去试图平衡这些研究重点和研究人员正确地确定最优的方式表达不同的情绪(例如,Ekman和弗瑞森,1976年;Wallbott谢勒,1986;马特里和卡姆登,1988年;罗素1994;贝赫尔et al ., 1997;Tcherkassof et al ., 2013)。现在,我们可以试着把他们的肩膀和进一步分解问题,探讨区分真实和带来的情绪。是时候增加复杂性。我们当然不否认,用真诚和生态有效的情绪刺激仍有一些问题。例如,显示的组合不同的情绪可能添加的任务识别情感表达的复杂性。的确,作为典型的刺激的质量减少,perceiver-based过程的影响(例如,她/他现在的情绪状态)在知觉判断过程变得更加突出。我们可能会问:在什么情况下,使用生态利益的有效刺激增加平衡逆perceptual-based因素的影响?我们意识到情感科学正面临一个经典的权衡之间的外部刺激的有效性及其识别属性。然而,我们相信,如果科学的情绪仍然保持在典型的显示器,它不会上升到理解识别过程的进化水平应对真正的刺激在人类物种的演化发展。拥有一个真正的情感表达的综合分类将有助于制定新的理论以更大程度的复杂性。 Recently, some dataset including spontaneous emotions “in the wild” have been released (Guerdelli et al ., 2022)。然而,大部分的情感刺激的面部数据集用于科学研究都是基于静态发酵面部表情的照片(Tcherkassof et al ., 2013;O ' reilly et al ., 2016;Dawel et al ., 2022)。这种方法受到质疑的低概括性的结果(罗素1994;Tcherkassof et al ., 2013)。人项目构成表达式的刻板印象,他们共同的看法他们认为情绪面部表情应该是什么样子的(例如,一个闷闷不乐的面部配置表达愤怒),但这些显示不一定对应于在现实生活中,人们实际上如何(巴雷特et al ., 2019)。
真正的表情特别区别构成表达式在时间和形态学特征(Wehrle et al ., 2000;科恩和施密特,2004;佐藤和Yoshikawa, 2004;Ekman和罗森伯格,2005年;Yoshikawa佐藤,2006;Valstar Pantic, 2010)。在第一个实例,真正的面部表情可以发生在几分之一秒(即。微表情;埃克曼,2009)。在第二个例子中,它们通常不如带来强烈和更微妙的表情一般用于实验室(Tcherkassof et al ., 2013)。这种差异可以解释为什么带来情绪的识别精度,特点是典型的和非常强烈的面部配置,远高于自发的情绪(巴雷特et al ., 2019)。因此,在研究中需要更多的真正的刺激。不幸的是,这种数据库仍然是罕见的,因为实践(例如,方法需要收集这些刺激)和伦理困境Philippot 1993首次考虑)的记录和收集真实的表达式(Tcherkassof et al ., 2013)。事实上,很难引发真实情感的强度一样假情绪和验证的结果数据集提出和自发的显示器(Krumhuber et al ., 2017)。例如,一些数据集建立在专业演员的表现没有验证表达式是否被视为真正的观察员(McLellan et al ., 2010)。甚至验证时,它错过了下一个步骤,这是交叉引用观察员的得分与情感实际上有经验的演员(Dawel et al ., 2017)。直到最近,真实的数据集和真实的情感表达与演员的情绪感受与被观察者的强度和真诚Miolla et al ., 2022)。下一步是创建数据集也包括情感的背景下显示。事实上,构成表达式在日常生活中经常发生(例如,当母亲夸大自己的面部动作准确感知的未成年子女),他们仍然真实的和适当的上下文。
情感表达式的研究中一个相关的问题是,绝大多数的文献采用静态面部刺激(Tcherkassof et al ., 2007;McLellan et al ., 2010,2012年;道格拉斯et al ., 2012;李et al ., 2012;Dawel et al ., 2015)。只有情感的峰值强度通常显示,虽然面部表情的时间进程被大大忽视了。然而,面部表情并不是一个非此即彼的现象:面部表情的本质是,它们是动态的演示(Rymarczyk et al ., 2019)。最近的文献表明,动态显示增强的能力不仅要正确识别面部表情(坎宁安和Wallraven, 2009年;Ceccarini Caudek, 2013;Krumhuber et al ., 2013),但也带来情绪的面部表情(区分真正的和Krumhuber et al ., 2013;Namba et al ., 2018,2021年;着陆器和屠夫,2020),引起更强的肌肉活动在模仿(Rymarczyk et al ., 2016)。使用动态情绪刺激更多的生态有效(伯恩斯坦和Yovel, 2015年),作为一个情感信息通常是反映在动态复杂的行为模式而不是静态面部线索(Tcherkassof et al ., 2013;O ' reilly et al ., 2016)。这可能是因为动态脸可以传输信号随时间的演变层次结构(熟食店et al ., 2016),从而提供更多的信息比静态图片(例如,时间进程,改变速度,面部特征振幅,和不规则的表达式;Tcherkassof et al ., 2013)。这种效应也被证实了一个更广泛的神经网络的激活在观察者使用动态刺激相比静态情绪刺激(Ambadar et al ., 2005;Weyers et al ., 2006;一般et al ., 2009)。直到最近,越来越多的动态情感数据集已经被开发出来,包括,例如,Cohn-Kanade AU-Coded面部表情数据库(金et al ., 2000;Lucey et al ., 2010)和视频数据库的面孔和人(O ' toole et al ., 2005;审查看到Krumhuber et al ., 2017)。然而,一个方面的关键作用,在很大程度上被人们忽视了时间动力学作为调查面部的编码显示的轨迹。到目前为止,对颞面部表情(Tcherkassof et al ., 2013)。时间参数,如(即顶点时期。,the time duration before the peak intensity starts decreasing) and movement time (i.e., the time from facial display onset until it disappears) of facial expressions, might allow unveiling the secret syntax of emotional language. For instance, recent research has shown that eyelid movements precede eyebrow movements in genuine surprise displays (Namba et al ., 2017),这可能有助于区分自发从模拟表达式。的微笑,更短的时间、更不规则发病降低感知真实(Krumhuber et al ., 2013)。
综上所述,情感表达的研究已经广泛开展在被动观察的构成和静态图片(例如,卡罗林斯卡导演情绪面孔;Lundqvist et al ., 1998)。更多的生态和动态刺激自发录音等实时交互很少采用。至关重要的是,表达式构成生态效度较低,在不同时间从自发的(Ekman和罗森伯格,2005年)。基于静态和模拟方法描述,因此,不能推广到现实世界的行为(曾庆红等人。,2009年)。甚至识别面部表情到真正的或构成,根据生产的方式和上下文,可能过于简单,因为他们只是两极广谱的各种层次的颜色。
面部的混合情感:半球偏侧性难题
许多,甚至大多数——情感体验的情感是复杂的混合物(帕尔et al ., 2005;杜et al ., 2014)。多个情绪可以发生在快速序列,一次又一次,或者可以合并在一个马赛克。人类有能力产生面部的混合情绪的上部和下部的脸同时显示不同的表情,表明他们的基本情绪是复合实体(拉森et al ., 2001;谢勒,2009)。面部表情是整个面部轴水平(即组织为主。,upper-lower areas), but there are exemplars (e.g., surprise-frown or smile-grimace) in which the expression on the right and left sides of the face differs, thus providing evidence that facial blends of emotions may also occur across the vertical facial axis (i.e., left–right areas). In this vein, three major models of emotional processing address the so-called “hemispheric lateralization of emotions” topic in humans (Demaree et al ., 2005;Killgore Yurgelun-Todd, 2007)。右脑假说声称所有的情感和他们相关的表达式是主导和边音的右脑的功能。价假说认为,消极的,回避或withdrawal-type情绪及其相关表达式是单侧性的右脑,而积极approach-type情绪及其相关表达式是单侧性的左半球。最后,情感型假说(罗斯et al ., 2007,2016年)确认,主要情感反应是由右脑左边的脸,而社会情感反应是由左半球右边的脸。最引人注目的例子是表达式,显示一个“双峰”现象(例如,grimace-smile特点是最初的运动随后略有放松,然后第二个运动最终峰值)由于双重或竞争的半球运动控制(罗斯et al ., 2016)。在某些情况下,初始运动开始的一侧脸,第二乐章开始另一侧的脸。例如,杜乡和非杜兴术语被用来分类如果微笑反映出真实的情绪感受和虚假的微笑(Ekman和弗瑞森,1982年;埃克曼et al ., 1988)。感觉(杜乡)微笑是非常富有表现力,它是经典描述为导致脸颊,眼睛缩小和起皱的皮肤产生鱼尾纹。虚假的非杜兴微笑,相反,只会涉及到低表面积。然而,最近的研究表明,不同感觉(杜乡)与一个假笑,可能实际上揭示了的脸开始微笑(罗斯et al ., 2016)。
尽管情感在人类功能的重要性,科学家们一直在争论问题上无法达成共识的偏侧性的情绪。我们认为,调查时间的面部情绪的混合,可以有意识地控制只在某种程度上,将提供一个有用的操作测试来比较各种不同的预测模型,从而使这一长期存在的难题得到解决。
生态效度需要上下文
情绪可以被描述为个体对事件的反应重要(伊泽德,2010;穆里根和谢勒,2012;埃克曼,2016;概述看到谢勒,2009)。他们通常表示,目的是识别收件人和可能表达不同取决于谁是对话者。在这种情况下,面部表情被视为情感信号,传递社会信息关于情感的表达者的经验事件(埃克曼,2004;谢勒和摩尔人,2019年)。
社会心理学的特点之一是在现实环境中,人体运动学,gaze-related信息和上下文线索都是关键线索指导运动行为(Sartori et al ., 2011;读者和福尔摩斯,2016年)。在情感的世界里,面部显示是必要的,但可能不足以表达和正确解读对方的情绪(巴雷特et al ., 2011)。人类不与“脱胎”或“contextless”面孔,正如发生在大多数当前的研究:他们不断接受和集成多通道信息。不用说,面部表情可能被误解时,独立于上下文的分析提出了:例如,胜利意味着幸福的眼泪。
未来的研究应考虑采用实时自然的设置:例如,涉及的参与者(即的二元互动。真实的情感感应;Zhang et al ., 2014),同时记录他们的运动。只采用一个生态行为的方法将允许真正评估社会环境对情感功能的影响。参与者自发表情应该在高帧速下视频记录使用专业录音设备数据库提供一个良好的解决方案,允许调查的表情和细微的时间特性与自我的感受。内省措施实际上构成一个重要的验证方法,因为它们提供洞察引出效率(灰色和华生,2007)。值得注意的是,实时传染现象的神经基础的研究(例如,社会转移疼痛)现在是非常相关的,史密斯和他的同事们最近证实的(史密斯et al ., 2021)。在这个角度来看,现有的文献几乎没有或零生态效度。根据影响力的文章天堂(2020),研究人员需要做什么达尔文(1859)对《物种起源》:“观察,观察,观察。“观察人们实际上如何处理他们的脸和身体在真实的环境中。更多的数据和分析技术可以帮助研究人员学习新的东西,而不是回顾旧的数据集和实验(天堂,2020)。
整体编码:让我们以整个画面
当我们都掌握在一个情感,一连串的变化发生在脸,注视,自主神经系统活动,在我们的表达身体行为(审查,请参阅凯尔特纳et al ., 2016,2019年)。2019年,巴雷特和他的同事发表了一份基准评估情感表达式(巴雷特et al ., 2019)。他们认为超过1000篇论文和他们达成一个明确的结论:并不是全部。其他方面,包括身体动作、目光和生理变化(例如,心血管变化)是至关重要的在我们的表达和感知的情感。因此,迫切需要研究的表情似乎有必要超越狭隘的关注面部显示。
在现实世界中,身体和脸几乎从不孤立地感知,而是作为一个整体。身体含有有价值的信息关于他人的行为和意图,这常常加剧或相反抵消所表达的情感的脸(德德2009;有信et al ., 2012;德德et al ., 2015)。当情绪面部表情搭配不一致的身体表达式(例如,愤怒表情可怕的身体姿势),例如,观察者显示不同的神经反应和损伤识别,即使他们有意识地关注独自面对Meeren et al ., 2005;Borgomaneri et al ., 2020)。这些发现表明,它可能是富有成果的集中更多的注意力在身体当考虑情感表达。例如,全身恐惧的表情立即传达重要信息,激发和传染的方式(德德et al ., 2004;Borgomaneri et al ., 2015)。愤怒通常表示双手的拳头,厌恶歪着头略前倾,双手恐惧提出保护身体,悲伤与肩膀下滑,惊喜着胳膊,羞耻和向下倾斜(伊泽德,1971;凯尔特纳,1995),而骄傲包括领导稍微倾斜,双手放在髋部(特蕾西和知更鸟,2007)。值得注意的是,情感的表达等尴尬,骄傲和羞愧只能识别结合身体动作时的面部表情。事实上,身体姿势做影响情绪的表达和识别(山et al ., 2007;Dael et al ., 2012)。这个问题时考虑成了相关的情绪,如内疚和爱,缺少独特的面部的信号:他们可能会显示可辨认的非语言表达是否考虑体位。
总之,情感体验并不体现在面部单独配置,而是在复合表达式包括头部动作、目光和身体。的密切联系和连续性的面部表情姿势和手势暗示,然而,一直保持在后台(洛特et al ., 2022)。近几十年来,研究兴趣情绪身体表达式稳步提高(Lenzoni et al ., 2020;珀肴关于et al ., 2020;沃森和德德,2020年),导致在情感体数据集的发展动态刺激(例如,Troje 2002;阿特金森et al ., 2004;Alaerts et al ., 2011;德德和Van den股票,2011年)。然而,研究显示面部和身体一起表达式(例如,罗森塔尔et al ., 1979;Thoma et al ., 2013)或调查身体动作如何表达自然和构成显示仍然稀缺。获得更完整的评价的情感功能,许多不同的面部和身体肌肉的协同行动,以及注视,生理和自我报告应该追究相关三角测量的方法。采用三角测量是一个战略地图制作者映射一个新的领域:三个已知点定义和基于这些未知点标识。在这种情况下,三种不同来源的可靠数据的集成(即。,physiological, psychological and behavioral) will allow answering questions such as: What are the neurophysiological processes that underlie the expression of emotion? Which physical features are globally encoded? What would a comprehensive atlas of human emotions’ expression include?
荟萃分析的生理反应与各种不同的情感,一些积极的情绪(如娱乐、敬畏,满足,欲望、热情——所有这些将分组根据经典的“幸福”基本六方法)有微妙的不同的外围的生理反应模式与独特的生物基质(Kreibig 2010)。在这种情况下,心理学家发现,积极的和消极的价信息可以增加瞳孔放大(布拉德利et al ., 2008),使得这种方法合适的代理对于理解情感负荷(Sirois Brisson, 2014)结合高频心率变异性(HF-HRV) vagal-mediated副交感神经活动的生物标志物能够检测的痛苦(戴尔'Acqua et al ., 2020;da Estrela et al ., 2021)。我们认为,只有结合记录不同的和互补的技术将提供一个全面的情感分类。
方法的局限性
过去的研究调查情绪显示主要集中在面部肌肉活动发生在一个情感事件使用手工编码方法,如面部动作编码系统(流式细胞仪;Ekman和弗瑞森,1978年;埃克曼et al ., 2002)。经典,两个流式细胞仪程序员一个观察表达式分解成具体行动单位(来自;即。,contraction or relaxation of distinct facial muscles) that produce the movement, and their outcomes are eventually compared. Although this is the most widely used method to categorize emotion expressions, its primary drawback is that it analyzes each facial movement independently from other movements. Being many facial muscles closely related, they cannot move independently (郝et al ., 2018)。此外,流式细胞仪代码有一个固定范围的应用:例如,他们不把来自骄傲等情绪,有一个复杂的表达式,涉及身体和脸。该系统的另一个弱点是,作为一个人类编码器需要一个广泛的培训和非常耗时。训练有素的流式细胞仪操作员代码1分钟的视频数据需要花费几个小时的时间取决于面部表情的复杂性和密度。
为了解决这个问题,研究人员制造自动化的算法(楚et al ., 2017;马丁内斯,2017;公园et al ., 2020在实验室),它工作得很好,当图像可以被控制。然而,其准确性大幅下降时,检测到的很少,面部表情(Benitez-Quiroz et al ., 2017)。此外,手动流式细胞仪由专家评级机构编码(van der Schalk et al ., 2011通过计算)和自动检测算法(Lucey et al ., 2010;Valstar et al ., 2017)已被应用于动态表达式数据库只在先端。在多个时间估计的步骤是至关重要的,因为在现实生活中,表达式不同强度随着时间的推移。
在这方面,在过去的十年中,机器学习(ML)已经被应用于静态和动态情绪刺激调查可能自动区分情绪面部表情配置基础上。毫升是最具潜力的领域之一,在人工智能领域(米切尔,1997):这是一个纪律与计算相关数据,旨在创造新的知识或预测通过算法——基于真实的观察,将物品归类成不同的类别。特别是,ML算法训练的一部分数据(训练集)。一旦训练,他们剩下的测试数据(测试集)。除了应用于情感上的歧视,ML算法最近也被应用于区分真正的从情感表达。第一个例子是疼痛(巴特利特et al ., 2014):作者表明,而人类观察员不能歧视自发构成表达式的精度(55%),疼痛比机会ML算法自动检测面部动作能够达到85%的精度。同样,在另一项研究(Monaro et al ., 2022),作者记录参与者的脸时回忆起一个真正的或造成情感事件。再次,ML算法来区分真正的能力从虚假故事基于面部动作远远高于人类的一个(57% vs 78)。这些开创性的研究表明,当依靠面部表情,人工智能执行比人类歧视带来的情感即使真正的从人类依赖的更多信息。
尽管ML算法被认为是一个强大的工具,它们的使用从批评不是免费的。如今,普遍批评机器学习(ML)算法是他们提供un-interpretable结果(即。,这一比例没有解释分类规则的分类精度;看到卡瓦略et al ., 2019)。最近,一篇论文试图克服这个缺点,使用可判断的ML模型能够检测和描述真正的和非原装情感表达之间的差异(Cardaioli et al ., 2022)。可说明的ML算法模型,除了给科学家们提供一个分类的准确性,同时识别面部动作,主要是为真正的分类和构成的情感。在图1例如,报告的结果,决策树ML算法平均82%的精度识别真正的和带来的情感。此外,决策树,标识,为每个特定的情感,来自关键的真正的分类和构成,从而提供重要的见解神经科学对情绪的理解。
图1。最好的树模型和归一化特性(Nmean NSD)。图表报告树决策路径和特征阈值来预测假(F)和真正的(G)表达式。图片被修改的Cardaioli et al。(2022)。
尽管一些研究报道有前途的检测精度与intra-dataset测试场景,毫升的应用程序的另一个缺点是性能可以相差很大应用相同的检测方法对不同的数据库(贾et al ., 2021)。弱一致性的结果可能是由于高inter-individual可变性的面部显示情绪(Holberg et al ., 2006;Sangineto et al ., 2014;杜兰et al ., 2017)。一般来说,数据集用于训练模型没有充分考虑真实世界的场景变化,称为“数据偏差效应”(科斯拉et al ., 2012)。尽管研究人员有强烈的动机,以减少个体差异的影响尽可能多的(例如,增加效果,提高统计能力),个人之间的inter-variability不应被忽视的通才。面部显示为不同的对象并不相同,甚至同样的情感(Sadeghi et al ., 2013;Sangineto et al ., 2014;杜兰et al ., 2017)。最近的一篇论文(Cardaioli et al ., 2022)利用上述PEDFE数据集(Miolla et al ., 2022)。探索inter-individual PEDFE数据集是独特的情感表达的差异,,除了包括真实的和构成动态的情感表达,它还包括许多情绪刺激为每个“演员”,同样的情感表达与不同强度或响应不同的刺激。这允许有一个广泛的真正的为每个参与者表达式相同的情感和测试毫升模型区分真正的能力和情感层面的个体。84.4%的总体精度实现应用毫升时模型的单一个体(即。,for each subject, ML models can correctly discriminate genuine or posed emotions in the 84% of cases), as compared to the 67.0% when applying group-level algorithms. In general, these results suggest that it could be more reliable to detect unique deceptive cues for each subject instead of identifying a common rule to discriminate spontaneous and posed emotional facial expressions.
最近,有ML的方法考恩et al . (2021)解决争论普遍的面部表情分析超过600万的YouTube视频。研究人员使用一个强大的ML涉及深层神经网络(款)的方法来评估特定的面部配置的程度可以可靠地观察到在跨文化的视频。他们发现全世界的人们做出类似的面部表情在相似的社会环境。不用说,结果是非常有趣的。另一方面,也不能保证实际的情绪感觉的人在这些视频。婚姻上下文,例如,可能导致一个相信快乐的情绪表现。但这都是证明。事实上,学会了从人类评价者款,注释中包含的面部动作每个videoclip通过选择从一组英语单词。实际上,这些评级机构提供推断的情感意义的面部运动(巴雷特,2021)。数据科学与算法可以在大量工作很好,但如果源缺乏一个准确和可靠的指示关于真实情感经历的人,整个分析污染。一般来说,毫升的限制技术是如何训练算法将决定结果,自我参照。这就是为什么我们建议火车ML算法与大-已经分离真实的数据集和表达式,提出科学的控制和丰富的心理生理信息(如心电图,EDA,自我报告)。谷歌能提供情感科学巨大的真实,但不受控制的表情,完全没有听相关的个人信仰和扭曲的研究员选择特定的刺激实验。我们提出的解决方案是让一个主要集体努力的科学界创建大型富裕,多方面的生态潜力巨大的数据集,以充分利用毫升。一旦这些数据集已经收购了在控制环境中,可以使用它们来训练算法,函数也可以在自然环境中,这是通过定义控制。实际上,这一过程将创建的最终目标越来越复杂的算法能够从收集的数据中提取关键特性甚至在自然场景。包括动态和交互式信息而不是限制的科学情感一个“个人高峰”是重要的在现代情感的研究,特别是考虑到今天的技术能力。我们相信,只有精确的三角测量的生理、行为和自我报告数据可以确保准确识别的情感经历。只有这些数据可以正常使用的毫升一代的预测算法。
总之,这些结果表明,手动和自动编码时间,空间和可靠性的限制。我们建议真正的情感走向客观分析功能将开始与小配置点的三维跟踪(里程碑)来定义一组独特的普遍和容易识别的参考点提取脸部和身体运动的运动学可复制的方式。一个简单的模型将允许单独分析上部和下部的脸和比较左边和右边的脸(见图2)。此外,考虑到夫妇的相对位置的点,而不是单点可以消除可能的头部动作。这如今方法论的一步是至关重要的,因为各种各样的评价方法和评价运动出现在文献中没有表明一个独特的和容易适用的标准化方法。一个详尽的定量分析的面部和身体运动运动学应结合肌电图(赫斯et al ., 2017;贝灵哲酒庄et al ., 2019),瞳孔放大等生理指标(布洛德,2021),凝视(D 'Mello et al ., 2012),心率变异性(戴尔'Acqua et al ., 2020;da Estrela et al ., 2021)和自我报告(杜兰et al ., 2017)。这样一个完全集成的数据库将允许提取综合检测算法能够辨别各种混合情绪的具体模式,并评估情感表现力的效率也在病理条件下(例如,ASD综合症)。有趣的是,这些算法将很容易适用于生态环境(例如,智能手机应用程序;看到图2)评估inter-individual和文化的差异。
图2。我们提出一种集成方法(即。,kinematical 3-D analysis of movement, pupil dilation, gaze, EMG, heart rate variability, self-reports, and machine learning) to extract multi-modal detection algorithms able to discriminate the specific patterns of a wide range of blended emotion displays even in ecological contexts (e.g., with smartphone Apps).
新数据库的真正显示还可以克服一个关键问题有关情感歧视任务(巴雷特et al ., 2019)。虽然强迫选择经典模式采用情绪识别任务可能产生强劲的结果,它缺乏生态效度,因为它力量的使用标签,否则不可能被选中。必不可少的改善可以通过自由反应任务结合实际的文学情感运动的运动分析,可以更好地理解和描述参与者的情绪反应。在自由反应任务,参与者可以解码的情感类型的观察到连续情感评级作为表达式的进步随着时间的推移,而判断维度的价和强度。准确地评估运动参数在这些任务将提供一个隐式的观察情绪和参与者的反应之间的关系(即。电动机蔓延;Borgomaneri et al ., 2020)。
为未来的研究方向
相对缺乏的原因之一全身显示先前的研究关注的是没有一个精确的导航系统编码情绪的动作。针对三维空间扩大了我们对面部和身体显示随着时间的推移,因此最重要的展开。研究情感表达的动态方面将打开一个新阶段理解他们是如何表达和识别。此外,我们认为最可行的解决方案开始更好的解决生态效度方面是定义一个创新情感测试方法。小说和更多的集成数据库的动态刺激会在人类交流研究满足新的需求,机器识别和人机交互。这种方法可能会导致我们情绪的根源,并表达个人机制(即。、情感签名)。此外,运动学可能允许解开,从创新的角度来看,相对经验和文化在塑造情感表达的作用。通过开放领域丰富的描述,神经科学探究的新领域将因此出现。
在应用方面,提供一个新的数据库,可以跨一个大范围的自发情感表达式将人机交互研究铺平了道路Pantic巴特利特,2007)。增加的努力如今针对开发机器人系统能够识别和应对情绪信号,可以应用在安全等领域,医学,教育,和数字通信。高维分类将打开一个新阶段了解如何识别情感表达,允许开发新算法将替代那些常用的检测的情绪。公司和政府花费数十亿美元在试图改进检测到情感的方式。科技巨头努力提高算法用来检测一个人的情感评估求职者的适用性,探测谎言,使广告更诱人的和诊断痴呆抑郁障碍。估计这个研究行业的价值数百亿美元。然而,我们应当看的全貌,因为独自面临不透露太多关于情感。在未来,心理学和计算机科学之间的合作所做的努力是必不可少的(例如,Valstar et al ., 2015)。增加对知识转移和对话,双方研究人员将不得不接受独特和丰富刺激的数据集。
创建一个高维和全身分类法的情感表达也将提供宝贵的信息项目,寻求培训自闭症儿童生活(Wieckowski和白色,2017年)和其他条件定义为代表的困难和阅读自己的和他人的情绪(例如,述情障碍)。这种分类法将允许调查整个生命周期,从童年到老年,将允许识别functionally-relevant早期生物标志物可以揭示疾病发生。例如,在中风患者,在侧半球损害转化为不对称的面部表情的情感。
目前,仍然没有标准化的方法来评估全身情感表现性的准确性和效率,这可能有助于诊断、治疗计划和治疗后的随访(Trotman et al ., 2005)。没有一个准确和公认的评估情感障碍的严重程度的分级系统无效的结果进行了比较。
之间的定量仪器评估最近开发的情绪波动,三维运动分析最适合的集合的数据出现在大范围的病人。他们允许一个完整和详细的评估运动在脸部和身体的所有部分,和定量数据之间和个人(内部可以比较库尔森et al ., 2002;三岛et al ., 2004;Nooreyazdan et al ., 2004)。充分理解情感表达的需要一个宽的升值程度的变化显示行为,内部和整个情感类别。通过引入的概念“个人情感的表现,”研究人员还将提供一个参考比较长期性能。
不可预测的领域
几年前,《连线》的主编克里斯·安德森————写了一篇文章题为“理论的终结:海量数据使科学方法过时了”(安德森,2005)。安德森认为挑衅的论文,随着数字和超级计算机的计算能力,理论现在是无用的。他还声称,相关性高于因果关系,科学进步即使没有连贯的模型或独特的理论。简而言之,我们为什么要浪费时间寻找因果关系解释发生在世界智力时少要求委托机器(如人工智能,ML)寻找高效的相关性?事实上,因为数字的特征记录所接触的一切,人类现在充斥着空前的数据:一个巨大的归档所有人类的生命形式。
我们推测,正是这种巨大增长的数据,需要能够执政原本是混沌理论从认知的角度来看。没有人会感到满意解释宇宙的运作方式,依靠简单的相关性,因为那时就不会有一个天文学家和一个占星家的区别。人类取得了巨大的进步得益于实验科学和独特的理论。
许多相关的事实,我们无法了解原因并不能消除的需要理论,恰恰相反。尤其是社会世界和它的情绪,一直被认为是不可预测的领域。但是现在,人类的行为可以被记录在微小的细节,可以理解和解释人类行为。这就是研究人员之间的合作,哲学家和工程师就变得非常重要了。
结论
越来越多的证据表明,每一个情感上的显示是一个复杂的、多组分的,肌肉运动的事件。人脸从来不是静态的,但是它不断行为和对内部和环境刺激的反应,与面部肌肉的协调行动(卡尔沃et al ., 2018)。大多数研究面部表情,然而,使用静态和构成表达式作为刺激,从标准化数据库(复习,看到卡尔沃和Nummenmaa, 2016年)。然而,动态面部表情的变化情绪是一个特别有价值的信息来源:他们表示其他个体的情绪状态的变化。我们理解这样的动态信息和相应的动态表达式数据库是迄今为止(评论,看到非常有限Krumhuber et al ., 2017)。此外,还没有研究结合肌电图和三维运动分析提供一个完整的时空特征的混合表情肌肉和运动水平。我们建议更丰富和更大的数据集,包括面部的混合情绪,将提供一个理想的测试用例研究情绪的表情。寻找这种情感分类,再加上更强大的量化方法,将允许更好地理解面部表情的语法规则。
这些知识可能最终产生大影响的强烈争论问题的作用自然和文化的表达情绪。注意,这个争论起来150年前,当达尔文(1872)提出了面部表情的情感是普遍的。我们认为是时候改革的科学情感更好的工具和更有效的实验设计。
作者的贡献
所有作者贡献的概念。LS和ES写初稿的手稿。c写的手稿。所有作者的文章和批准提交的版本。
资金
目前的工作是研究项目的范围内进行“Dipartimenti di Eccellenza”(艺术。1,commi 314-337 legge 232/2016), which was supported by a grant from MIUR to the Department of General Psychology, University of Padova.
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
出版商的注意
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。
引用
Abbruzzese, L。Magnani, N。,Robertson, I. H., and Mancuso, M. (2019). Age and gender differences in emotion recognition.前面。Psychol。10:2371。doi: 10.3389 / fpsyg.2019.02371
人物、R。,Mlodinow, L., and Barrett, L. F. (2019). What is an emotion?咕咕叫。医学杂志。29日,R1060-R1064。doi: 10.1016 / j.cub.2019.09.008
Alaerts, K。,Nackaerts, E., Meyns, P., Swinnen, S. P., and Wenderoth, N. (2011). Action and emotion recognition from point light displays: an investigation of gender differences.《公共科学图书馆•综合》6:e20989。doi: 10.1371 / journal.pone.0020989
Ambadar, Z。,Schooler, J. W., and Cohn, J. F. (2005). Deciphering the enigmatic face: the importance of facial dynamics in interpreting subtle facial expressions.Psychol。科学。16,403 - 410。doi: 10.1111 / j.0956-7976.2005.01548.x
安德森,c (2005)。理论的终结:海量数据使科学方法过时了。连接可以在:https://www.wired.com/2008/06/pb-theory/(2023年2月17日通过)。
阿特金森,a P。,Dittrich, W. H., Gemmell, A. J., and Young, A. W. (2004). Emotion perception from dynamic and static body expressions in point-light and full-light displays.感知33岁,717 - 746。doi: 10.1068 / p5096
有信,H。比喻,Y。,和Todorov, A. (2012). Body cues, not facial expressions, discriminate between intense positive and negative emotions.科学338年,1225 - 1229。doi: 10.1126 / science.1224313
贝克。,Black, P. J., and Porter, S. (2016). “The truth is written all over your face! Involuntary aspects of emotional facial expressions,” in情感的表达:哲学,心理学和法律视角研究情感和社会互动。eds。c·阿贝尔和j·史密斯(剑桥:剑桥大学出版社),219 - 244。
Banziger, T。,Mortillaro, M., and Scherer, K. R. (2012). Introducing the Geneva multimodal expression corpus for experimental research on emotion perception.情感12日,1161 - 1179。doi: 10.1037 / a0025827
巴雷特,l F。,人物、R。,Marsella, S., Martinez, A. M., and Pollak, S. D. (2019). Emotional expressions reconsidered: challenges to inferring emotion from human facial movements.Psychol。科学。公共利益j。Psychol。Soc。1 - 68。doi: 10.1177 / 1529100619832930
巴雷特,l F。,Mesquita B。,和Gendron, M. (2011). Context in emotion perception.咕咕叫。Dir。Psychol。科学。20岁,286 - 290。doi: 10.1177 / 0963721411422522
巴特利特,m . S。,Littlewort, G. C., Frank, M. G., and Lee, K. (2014). Automatic decoding of facial movements reveals deceptive pain expressions.咕咕叫。医学杂志。24岁,738 - 743。doi: 10.1016 / j.cub.2014.02.009
Benitez-Quiroz, c F。王,Y。,和马丁内斯,a . m . (2017)。“承认行动单位深网和一个新的全球性的本土野生的损失。“在2017年IEEE计算机视觉国际会议(ICCV)。威尼斯:IEEE 3990 - 3999。
贝灵哲酒庄,M。Spohn F。,Hildebrandt, A., Wacker, J., and Recio, G. (2019). Reliability and validity of machine vision for the assessment of facial expressions.Cogn。系统。Res。56岁,119 - 132。doi: 10.1016 / j.cogsys.2019.03.009
伯恩斯坦,M。,和Yovel, G. (2015). Two neural pathways of face processing: a critical evaluation of current models.>。Biobehav。牧师。55岁,536 - 546。doi: 10.1016 / j.neubiorev.2015.06.010
贝赫尔,M。,Matsumoto, D., Ekman, P., Hearn, V., Heider, K., Kudoh, T., et al. (1997). Matsumoto and Ekman’s Japanese and Caucasian facial expressions of emotion (JACFEE): reliability data and cross-national differences.j .非语言Behav。21日3-21。doi: 10.1023 /: 1024902500935
Borgomaneri, S。Vitale F。,和Avenanti, A. (2020). Early motor reactivity to observed human body postures is affected by body expression, not gender.这项研究146:107541。doi: 10.1016 / j.neuropsychologia.2020.107541
Borgomaneri, S。Vitale F。,Gazzola, V., and Avenanti, A. (2015). Seeing fearful body language rapidly freezes the observer’s motor cortex.皮质65年,232 - 245。doi: 10.1016 / j.cortex.2015.01.014
布拉德利,M . M。米科利,L。,Escrig, M. A., and Lang, P. J. (2008). The pupil as a measure of emotional arousal and autonomic activation.心理生理学45岁,602 - 607。doi: 10.1111 / j.1469-8986.2008.00654.x
卡尔沃,m·G。,Fernández-Martín, A., Recio, G., and Lundqvist, D. (2018). Human observers and automated assessment of dynamic emotional facial expressions: KDEF-dyn database validation.前面。Psychol。9:2052。doi: 10.3389 / fpsyg.2018.02052
卡尔沃,m·G。,和Nummenmaa, L. (2016). Perceptual and affective mechanisms in facial expression recognition: an integrative review.Cognit。条件。1081 - 1106年。doi: 10.1080 / 02699931.2015.1049124
Cardaioli, M。Miolla,。孔蒂,M。,Sartori, G., Monaro, M., Scarpazza, C., et al. (2022). “Face the truth: interpretable emotion genuineness detection,” in2022年国际神经网络(IJCNN)联合会议。1 - 8。
卡瓦略,d . V。,Pereira, E. M., and Cardoso, J. S. (2019). Machine learning interpretability: a survey on methods and metrics.电子产品8:832。doi: 10.3390 / electronics8080832
Ceccarini F。,和Caudek, C. (2013). Anger superiority effect: the importance of dynamic emotional facial expressions.粘度Cogn。21日,498 - 540。doi: 10.1080 / 13506285.2013.807901
楚,W。,Torre, F. D.la, and Cohn, J. F. (2017). “Learning spatial and temporal cues for multi-label facial action unit detection.” in2017年12日IEEE国际会议自动脸上手势识别(FG 2017)。25-32页。
科恩,j·F。,和施密特,k . L。(2004). The timing of facial motion in posed and spontaneous smiles.Int。j .小波多分辨率Inf。过程2,121 - 132。doi: 10.1142 / S021969130400041X
Connolly, h·L。,Lefevre, C. E., Young, A. W., and Lewis, G. J. (2019). Sex differences in emotion recognition: evidence for a small overall female superiority on facial disgust.情感19日,455 - 464。doi: 10.1037 / emo0000446
h3环境,d . T。,太阳,R。,凯尔特纳,D。,Kamble, S., Huddar, N., and McNeil, G. (2018). Universals and cultural variations in 22 emotional expressions across five cultures.情感18日,75 - 93。doi: 10.1037 / emo0000302
库尔森,美国E。,Croxson, G. R., and Gilleard, W. L. (2002). Three-dimensional quantification of the symmetry of normal facial movement.Otol。Neurotol。从出版。点。Otol。Soc。点。Neurotol。Soc。欧元。 Acad.23日,999 - 1002。doi: 10.1097 / 00129492-200211000-00032
考恩,a S。,凯尔特纳,D。,Schroff, F., Jou, B., Adam, H., and Prasad, G. (2021). Sixteen facial expressions occur in similar contexts worldwide.自然589年,251 - 257。doi: 10.1038 / s41586 - 020 - 3037 - 7
Crivelli C。,和Fridlund, A. J. (2019). Inside-out: from basic emotions theory to the behavioral ecology view.j .非语言Behav。43岁,161 - 194。doi: 10.1007 / s10919 - 019 - 00294 - 2
坎宁安,d . W。,和Wallraven, C. (2009). Dynamic information for the recognition of conversational expressions.j .粘度9:7。doi: 10.1167 / 9.13.7
D 'Mello,年代。奥尔尼,。,Williams, C., and Hays, P. (2012). Gaze tutor: a gaze-reactive intelligent tutoring system.Int。j . Hum.-Comput。钉。70年,377 - 398。doi: 10.1016 / j.ijhcs.2012.01.004
da Estrela, C。麦克尼尔,S。,和Gouin, J.-P. (2021). Heart rate variability moderates the between- and within-person associations between daily stress and negative affect.Int。j . Psychophysiol。162年,79 - 85。doi: 10.1016 / j.ijpsycho.2021.02.001
Dael, N。,Mortillaro, M., and Scherer, K. R. (2012). Emotion expression in body action and posture.情感12日,1085 - 1101。doi: 10.1037 / a0025737
达马西奥,一个。,和Carvalho, G. B. (2013). The nature of feelings: evolutionary and neurobiological origins.Nat,启>。14日,143 - 152。doi: 10.1038 / nrn3403
Dawel,。,Miller, E. J., Horsburgh, A., and Ford, P. (2022). A systematic survey of face stimuli used in psychological research 2000–2020.Behav。研究方法54岁,1889 - 1901。doi: 10.3758 / s13428 - 021 - 01705 - 3
Dawel,。,Palermo, R., O’Kearney, R., and McKone, E. (2015). Children can discriminate the authenticity of happy but not sad or fearful facial expressions, and use an immature intensity-only strategy.前面。Psychol。6:462。doi: 10.3389 / fpsyg.2015.00462
Dawel,。,Wright, L., Irons, J., Dumbleton, R., Palermo, R., O’Kearney, R., et al. (2017). Perceived emotion genuineness: normative ratings for popular facial expression stimuli and the development of perceived-as-genuine and perceived-as-fake sets.Behav。研究方法49岁,1539 - 1562。doi: 10.3758 / s13428 - 016 - 0813 - 2
德德(2009)。为什么身体?十二个原因包括身体表达情感神经科学。费罗斯。反式。r . Soc。Lond。爵士。B杂志。科学。364年,3475 - 3484。doi: 10.1098 / rstb.2009.0190
德德B。,de Borst, A. W., and Watson, R. (2015). The perception of emotion in body expressions.威利Interdiscip。启Cogn。科学。6,149 - 158。doi: 10.1002 / wcs.1335
德德B。斯奈德,J。Greve D。,Gerard, G., and Hadjikhani, N. (2004). Fear fosters flight: a mechanism for fear contagion when perceiving emotion expressed by a whole body.Proc。国家的。学会科学。101年,16701 - 16706。doi: 10.1073 / pnas.0407042101
德德B。,和Van den Stock, J. (2011). The bodily expressive action stimulus test (BEAST). Construction and validation of a stimulus basis for measuring perception of whole body expression of emotions.前面。Psychol。2:181。doi: 10.3389 / fpsyg.2011.00181
熟食店,我。,Chen, C., Jack, R. E., Garrod, O. G. B., Panzeri, S., and Schyns, P. G. (2016). Space-by-time manifold representation of dynamic facial expressions for emotion categorization.j .粘度十六14。doi: 10.1167 / 16.8.14
戴尔'Acqua, C。木豆Bo E。,Messerotti Benvenuti, S., and Palomba, D. (2020). Reduced heart rate variability is associated with vulnerability to depression.j .影响。Disord。代表。1:100006。doi: 10.1016 / j.jadr.2020.100006
Demaree, h·A。,Everhart, D. E., Youngstrom, E. A., and Harrison, D. W. (2005). Brain lateralization of emotional processing: historical roots and a future incorporating “dominance”.Behav。Cogn。>。牧师。4、3。doi: 10.1177 / 1534582305276837
Dimberg U。,Andréasson, P., and Thunberg, M. (2011). Emotional empathy and facial reactions to facial expressions.j . Psychophysiol。25日,26-31。0269 - 8803 . doi: 10.1027 / / a000029
道格拉斯,k . M。,Porter, R. J., and Johnston, L. (2012). Sensitivity to posed and genuine facial expressions of emotion in severe depression.精神病学Res。196年,72 - 78。doi: 10.1016 / j.psychres.2011.10.019
杜,S。,Tao, Y., and Martinez, A. M. (2014). Compound facial expressions of emotion.Proc。国家的。学会科学。111年,E1454-E1462。doi: 10.1073 / pnas.1322355111
杜兰,j . I。,Reisenzein, R., and Fernández-Dols, J.-M. (2017). “Coherence between emotions and facial expressions: a research synthesis” in面部表情牛津系列的科学在社会认知和社会神经科学(美国,纽约:牛津大学出版社),107 - 129。
埃克曼,P。,和Cordaro, D. (2011). What is meant by calling emotions basic.条件。牧师。3,364 - 370。doi: 10.1177 / 1754073911410740
埃克曼,P。,和Friesen, W. V. (1971). Constants across cultures in the face and emotion.j·珀耳斯。Soc。Psychol。17日,124 - 129。doi: 10.1037 / h0030377
埃克曼,P。,和Friesen, W. V. (1982). Felt, false, and miserable smiles.j .非语言Behav。6,238 - 252。doi: 10.1007 / BF00987191
埃克曼,P。,Friesen, W. V., and O’Sullivan, M. (1988). Smiles when lying.j·珀耳斯。Soc。Psychol。54岁,414 - 420。0022 - 3514.54.3.414 doi: 10.1037 /
埃克曼,P。,Sorenson, E. R., and Friesen, W. V. (1969). Pan-cultural elements in facial displays of emotion.科学164年,86 - 88。doi: 10.1126 / science.164.3875.86
弗兰克·m·G。埃克曼,P。,和Friesen, W. V. (1993). Behavioral markers and recognizability of the smile of enjoyment.j·珀耳斯。Soc。Psychol。64年,83 - 93。0022 - 3514.64.1.83 doi: 10.1037 / /
Gazzaniga, m . S。,和Smylie, C. S. (1990). Hemispheric mechanisms controlling voluntary and spontaneous facial expressions.j . Cogn。>。2,239 - 245。doi: 10.1162 / jocn.1990.2.3.239
灰色,e·K。,和Watson, D. (2007). “Assessing positive and negative affect via self-report” in情感启发式和评估系列的手册在情感的科学。eds。j·a·可恩和j·b·艾伦(美国,纽约:牛津大学出版社),171 - 183。
顾,S。,Wang, F., Patel, N. P., Bourgeois, J. A., and Huang, J. H. (2019). A model for basic emotions using observations of behavior in drosophila.前面。Psychol。10:781。doi: 10.3389 / fpsyg.2019.00781
Guerdelli, H。法拉利,C。,Barhoumi, W., Ghazouani, H., and Berretti, S. (2022). Macro- and micro-expressions facial datasets: a survey.传感器22:1524。doi: 10.3390 / s22041524
,L。,Wang, S., Peng, G., and Ji, Q. (2018). “Facial action unit recognition augmented by their dependencies.” in2018年13 IEEE国际会议自动脸上手势识别(FG 2018)。187 - 194页。
赫斯,U。,Arslan, R., Mauersberger, H., Blaison, C., Dufner, M., Denissen, J. J. A., et al. (2017). Reliability of surface facial electromyography.心理生理学于54岁,12日至23日。doi: 10.1111 / psyp.12676
赫斯,U。,和Fischer, A. (2013). Emotional mimicry as social regulation.个人的。Soc。Psychol。牧师。17日,142 - 157。doi: 10.1177 / 1088868312472607
霍夫曼,H。,Kessler, H., Eppel, T., Rukavina, S., and Traue, H. C. (2010). Expression intensity, gender and facial emotion recognition: women recognize only subtle facial emotions better than men.Acta Psychol。135年,278 - 283。doi: 10.1016 / j.actpsy.2010.07.012
Holberg C。迈尔,C。,Steinhäuser, S., and Rudzki-Janson, I. (2006). Inter-individual variability of the facial morphology during conscious smiling.j . Orofac。.中国。Fortschritte Kieferorthopadie67年,234 - 243。doi: 10.1007 / s00056 - 006 - 0518 - 8
霍普夫,h . C。,Md, W. M.-F., and Hopf, N. J. (1992). Localization of emotional and volitional facial paresis.神经学42:1918。doi: 10.1212 / WNL.42.10.1918
杰克,r E。,太阳,W。,熟食店,我。,Garrod, O. G. B., and Schyns, P. G. (2016). Four not six: revealing culturally common facial expressions of emotion.j . Exp Psychol。创。145年,708 - 730。doi: 10.1037 / xge0000162
贾,S。,Wang, S., Hu, C., Webster, P. J., and Li, X. (2021). Detection of genuine and posed facial expressions of emotion: databases and methods.前面。Psychol。11:580287。doi: 10.3389 / fpsyg.2020.580287
金,T。,科恩,j·F。,和Tian, Y. (2000). “Comprehensive database for facial expression analysis.” in程序自动脸上第四IEEE国际会议和手势识别(猫。不。PR00580)。46-53页。
特纳、d (1995)。绥靖政策的迹象:不同的显示的证据尴尬,娱乐,和羞愧。j·珀耳斯。Soc。Psychol。68年,441 - 454。0022 - 3514.68.3.441 doi: 10.1037 /
凯尔特纳,D。,Sauter, D., Tracy, J., and Cowen, A. (2019). Emotional expression: advances in basic emotion theory.j .非语言Behav。43岁,133 - 160。doi: 10.1007 / s10919 - 019 - 00293 - 3
凯尔特纳,D。,Sauter, D., Tracy, J., McNeil, G., and Cordaro, D. T. (2016). “Expression,” in手册的情感。eds。l·f·巴雷特·m·刘易斯和j . Haviland-Jones(纽约:吉尔福德出版社),467 - 482。
科斯拉,。周,T。,Malisiewicz, T., Efros, A. A., and Torralba, A. (2012). “Undoing the damage of dataset bias,” in计算机视觉——大会2012年计算机科学课堂讲稿。eds。a·菲茨吉本s . Lazebnik p . Perona一起,佐藤y,和c·施密德(柏林,海德堡:Springer), 158 - 171。
Killgore, w·d·S。,和Yurgelun-Todd, D. A. (2007). The right-hemisphere and valence hypotheses: could they both be right (and sometimes left)?Soc。Cogn。影响。>。2,240 - 250。doi: 10.1093 /扫描/ nsm020
Kreibig, s d (2010)。自主神经系统活动的情感:审查。医学杂志。Psychol。84年,394 - 421。doi: 10.1016 / j.biopsycho.2010.03.010
Kret m E。,和De Gelder, B. (2012). A review on sex differences in processing emotional signals.这项研究50岁,1211 - 1221。doi: 10.1016 / j.neuropsychologia.2011.12.022
Krippl, M。,Karim, A. A., and Brechmann, A. (2015). Neuronal correlates of voluntary facial movements.前面。嗡嗡声。>。9:598。doi: 10.3389 / fnhum.2015.00598
Krumhuber, e . G。Kappas,。,和Manstead, A. S. R. (2013). Effects of dynamic aspects of facial expressions: a review.条件。牧师。5,41-46。doi: 10.1177 / 1754073912451349
Krumhuber, e . G。Skora, L。,Küster, D., and Fou, L. (2017). A review of dynamic datasets for facial expression research.条件。牧师。9日,280 - 292。doi: 10.1177 / 1754073916670022
着陆器,K。,和Butcher, N. L. (2020). Recognizing genuine from posed facial expressions: exploring the role of dynamic information and face familiarity.前面。Psychol。11:1378。doi: 10.3389 / fpsyg.2020.01378
拉森,j . T。,McGraw, A. P., and Cacioppo, J. T. (2001). Can people feel happy and sad at the same time?j·珀耳斯。Soc。Psychol。81年,684 - 696。0022 - 3514.81.4.684 doi: 10.1037 / /
Lenzoni, S。,Bozzoni, V., Burgio, F., de Gelder, B., Wennberg, A., Botta, A., et al. (2020). Recognition of emotions conveyed by facial expression and body postures in myotonic dystrophy (DM).皮质j . Nerv专门研究。系统。Behav。127年,58 - 66。doi: 10.1016 / j.cortex.2020.02.005
李,Y。,Li, F., Chen, J., and Li, H. (2012). An ERP study on the understanding of the distinction between real and apparent emotions.>。列托人。529年,33-38。doi: 10.1016 / j.neulet.2012.08.063
林奎斯特,k。西格尔,e . H。,Quigley, K. S., and Barrett, L. F. (2013). The hundred-year emotion war: are emotions natural kinds or psychological constructions? Comment on.Psychol。公牛。139年,255 - 263。doi: 10.1037 / a0029038
洛特,L . L。,Spengler, F. B., Stächele, T., Schiller, B., and Heinrichs, M. (2022). EmBody/EmFace as a new open tool to assess emotion recognition from body and face expressions.科学。代表。12:14165。doi: 10.1038 / s41598 - 022 - 17866 - w
使用清洁,P。,科恩,j·F。,金,T。,Saragih, J., Ambadar, Z., and Matthews, I. (2010). “The extended Cohn-Kanade dataset (CK+): a complete dataset for action unit and emotion-specified expression.” in2010年IEEE计算机学会计算机视觉与模式识别会议——车间。94 - 101页。
Lundqvist D。Flykt,。,和Öhman, A. (1998). Karolinska directed emotional faces.Cognit。条件。doi: 10.1037 / 2 ft27732 - 000
Malykhin, N。,Pietrasik, W., Aghamohammadi-Sereshki, A., Ngan Hoang, K., Fujiwara, E., and Olsen, F. (2023). Emotional recognition across the adult lifespan: effects of age, sex, cognitive empathy, alexithymia traits, and amygdala subnuclei volumes.j . >。Res。101年,367 - 383。doi: 10.1002 / jnr.25152
马里尼,M。,Ansani, A., Paglieri, F., Caruana, F., and Viola, M. (2021). The impact of facemasks on emotion recognition, trust attribution and re-identification.科学。代表。11:5577。doi: 10.1038 / s41598 - 021 - 84806 - 5
McLellan, T。,Johnston, L., Dalrymple-Alford, J., and Porter, R. (2010). Sensitivity to genuine versus posed emotion specified in facial displays.Cognit。条件。24岁,1277 - 1292。doi: 10.1080 / 02699930903306181
McLellan, T。,Wilcke, J. C., Johnston, L., Watts, R., and Miles, L. K. (2012). Sensitivity to posed and genuine displays of happiness and sadness: a fMRI study.>。列托人。531年,149 - 154。doi: 10.1016 / j.neulet.2012.10.039
Meeren, h·k·M。,van Heijnsbergen, C. C. R. J., and de Gelder, B. (2005). Rapid perceptual integration of facial expression and emotional body language.Proc。国家的。学会科学。102年,16518 - 16523。doi: 10.1073 / pnas.0507650102
Miolla,。,Cardaioli, M。,和Scarpazza C。(2022). Padova emotional dataset of facial expressions (PEDFE): a unique dataset of genuine and posed emotional facial expressions.Behav。研究方法硕士论文。doi: 10.3758 / s13428 - 022 - 01914 - 4
三岛,K。,Yamada, T., Fujiwara, K., and Sugahara, T. (2004). Development and clinical usage of a motion analysis system for the face: preliminary report.腭裂Craniofac。J。41岁,559 - 564。doi: 10.1597 / 03 - 079.1
米切尔,t (1997)。机器学习的教科书。麦格劳-希尔。可以在:汤姆/ mlbook.html http://www.cs.cmu.edu/(2022年8月30日通过)。
Monaro, M。,Maldera, S., Scarpazza, C., Sartori, G., and Navarin, N. (2022). Detecting deception through facial expressions in a dataset of videotaped interviews: a comparison between human judges and machine learning models.第一版。嗡嗡声。Behav。127:107063。doi: 10.1016 / j.chb.2021.107063
Morecraft, r . J。,Stilwell–Morecraft, K. S., and Rossing, W. R. (2004). The motor cortex and facial expression:: new insights from neuroscience.神经学家10日,235 - 249。nrl.0000138734.45742.8d doi: 10.1097/01.
马特里,m . T。,和Camden, C. T. (1988). Facial expression of emotion: a comparison of posed expressions versus spontaneous expressions in an interpersonal communication setting.西方。Commun j .演讲。52岁的22页。doi: 10.1080 / 10570318809389622
穆里根,K。,和谢勒,k . R。(2012). Toward a working definition of emotion.条件。牧师。4,345 - 357。doi: 10.1177 / 1754073912445818
Namba, S。,Kabir, R. S., Miyatani, M., and Nakao, T. (2018). Dynamic displays enhance the ability to discriminate genuine and posed facial expressions of emotion.前面。Psychol。9:672。doi: 10.3389 / fpsyg.2018.00672
Namba, S。,Makihara, S., Kabir, R. S., Miyatani, M., and Nakao, T. (2017). Spontaneous facial expressions are different from posed facial expressions: morphological properties and dynamic sequences.咕咕叫。Psychol。36岁,593 - 605。doi: 10.1007 / s12144 - 016 - 9448 - 9
Namba, S。,Matsui, H., and Zloteanu, M. (2021). Distinct temporal features of genuine and deliberate facial expressions of surprise.科学。代表。11:3362。doi: 10.1038 / s41598 - 021 - 83077 - 4
尼丹瑟,p . M。Mermillod, M。马林,M。,和赫斯,U。(2010). The Simulation of Smiles (SIMS) model: Embodied simulation and the meaning of facial expression.Behav。大脑科学。33岁,417 - 433;433 - 480。doi: 10.1017 / S0140525X10000865
Nooreyazdan, M。,特曼C.-A。,和Faraway, J. J. (2004). Modeling facial movement: II. A dynamic analysis of differences caused by orthognathic surgery.j .临床口腔医学。杂志。62年,1380 - 1386。doi: 10.1016 / j.joms.2004.03.015
O ' reilly, H。Pigat D。,Fridenson, S., Berggren, S., Tal, S., Golan, O., et al. (2016). The EU-emotion stimulus set: a validation study.Behav。研究方法48岁,567 - 576。doi: 10.3758 / s13428 - 015 - 0601 - 4
O ' toole, a·J。危害,J。,Snow, S. L., Hurst, D. R., Pappas, M. R., Ayyad, J. H., et al. (2005). A video database of moving faces and people.IEEE反式。模式肛门。马赫。智能。27日,812 - 816。doi: 10.1109 / TPAMI.2005.90
Palagi E。,Celeghin, A., Tamietto, M., Winkielman, P., and Norscia, I. (2020). The neuroethology of spontaneous mimicry and emotional contagion in human and non-human animals.>。Biobehav。牧师。111年,149 - 165。doi: 10.1016 / j.neubiorev.2020.01.020
Pantic, M。,和巴特利特,m . S。(2007)。“面部表情的机器分析”人脸识别。eds。k . Delac和m . Grgic(奥地利维也纳:I-Tech教育和出版),377 - 416。
公园,年代。,Lee, K., Lim, J.-A., Ko, H., Kim, T., Lee, J.-I., et al. (2020). Differences in facial expressions between spontaneous and posed smiles: automated method by action units and three-dimensional facial landmarks.传感器20:1199。doi: 10.3390 / s20041199
帕尔·l·A。科恩,M。,和de Waal, F. (2005). Influence of social context on the use of blended and graded facial displays in chimpanzees.Int。j .阿特拉通。26日,73 - 103。doi: 10.1007 / s10764 - 005 - 0724 - z
Philippot, p (1993)。诱导分化和评估emotion-feeling州在实验室。Cognit。条件。7,171 - 193。doi: 10.1080 / 02699939308409183
珀肴关于M。Vaessen, m . J。,和德德B。(2020). The role of computational and subjective features in emotional body expressions.科学。代表。10:6202。doi: 10.1038 / s41598 - 020 - 63125 - 1
读者,a . T。,和Holmes, N. P. (2016). Examining ecological validity in social interaction: problems of visual fidelity, gaze, and social potential.崇拜。大脑4,134 - 146。doi: 10.1007 / s40167 - 016 - 0041 - 8
Rinn w·e·(1984)。面部表情的神经心理学:回顾神经和心理机制的产生的面部表情。Psychol。公牛。95年,52 - 77。0033 - 2909.95.1.52 doi: 10.1037 /
罗斯曼,i . j . (2011)。情感行为,emotivational目标,情感策略:多级组织集成变量和一致的反应。条件。牧师。3,434 - 443。doi: 10.1177 / 1754073911410744
罗森塔尔,R。大厅,j . A。,DiMatteo, M. R., Rogers, P. L., and Archer, D. (1979).对非语言沟通:脑桥测试。巴尔的摩:约翰·霍普金斯大学出版社。
罗斯,e D。,Gupta, S. S., Adnan, A. M., Holden, T. L., Havlicek, J., and Radhakrishnan, S. (2016). Neurophysiology of spontaneous facial expressions: I. motor control of the upper and lower face is behaviorally independent in adults. Cortex.j . Nerv专门研究。系统。Behav。76年,28-42。doi: 10.1016 / j.cortex.2016.01.001
罗斯,e D。,Gupta, S. S., Adnan, A. M., Holden, T. L., Havlicek, J., and Radhakrishnan, S. (2019). Neurophysiology of spontaneous facial expressions: II. Motor control of the right and left face is partially independent in adults.皮质111年,164 - 182。doi: 10.1016 / j.cortex.2018.10.027
罗斯,e D。,Prodan, C. I., and Monnot, M. (2007). Human facial expressions are organized functionally across the upper-lower facial Axis.神经系统科学家13日,433 - 446。doi: 10.1177 / 1073858407305618
Ruffman, T。,Henry, J. D., Livingstone, V., and Phillips, L. H. (2008). A meta-analytic review of emotion recognition and aging: implications for neuropsychological models of aging.>。Biobehav。牧师。32岁,863 - 881。doi: 10.1016 / j.neubiorev.2008.01.001
拉塞尔,j . a (1994)。从面部表情有普遍认可的情感吗?跨文化研究的回顾。Psychol。公牛。115年,102 - 141。0033 - 2909.115.1.102 doi: 10.1037 /
罗素,j . A。,和巴雷特,l F。(1999). Core affect, prototypical emotional episodes, and other things called emotion: dissecting the elephant.j·珀耳斯。Soc。Psychol。76年,805 - 819。0022 - 3514.76.5.805 doi: 10.1037 /
Rymarczyk, K。,Żurawski, Ł., Jankowiak-Siuda, K., and Szatkowska, I. (2016). Do dynamic compared to static facial expressions of happiness and anger reveal enhanced facial mimicry?《公共科学图书馆•综合》11:e0158534。doi: 10.1371 / journal.pone.0158534
Rymarczyk, K。,Żurawski, Ł., Jankowiak-Siuda, K., and Szatkowska, I. (2019). Empathy in facial mimicry of fear and disgust: simultaneous EMG-fMRI recordings during observation of static and dynamic facial expressions.前面。Psychol。10:701。doi: 10.3389 / fpsyg.2019.00701
Sadeghi, H。,Raie, A.-A., and Mohammadi, M.-R. (2013). “Facial expression recognition using geometric normalization and appearance representation.” in2013年8日伊朗机器视觉与图像处理(MVIP)会议。159 - 163页。
Sangineto E。禅,G。,Ricci, E., and Sebe, N. (2014). “We are not all equal: personalizing models for facial expression analysis with Transductive parameter transfer.” in学报22 ACM国际会议多媒体14毫米”。纽约,纽约,美国计算机协会。357 - 366页。
Sartori, L。,Becchio, C., and Castiello, U. (2011). Cues to intention: the role of movement information.认知119年,242 - 252。doi: 10.1016 / j.cognition.2011.01.014
佐藤,W。,和Yoshikawa, S。(2004). BRIEF REPORT the dynamic aspects of emotional facial expressions.Cognit。条件。18日,701 - 710。doi: 10.1080 / 02699930341000176
Saylik, R。,Raman, E., and Szameitat, A. J. (2018). Sex differences in emotion recognition and working memory tasks.前面。Psychol。9:1072。doi: 10.3389 / fpsyg.2018.01072
Scarpazza C。,di Pellegrino, G., and Làdavas, E. (2014). Emotional modulation of touch in alexithymia.情感14日,602 - 610。doi: 10.1037 / a0035888
谢勒,k . R。,和Ellgring, H. (2007). Multimodal expression of emotion: affect programs or componential appraisal patterns?情感7,158 - 171。1528 - 3542.7.1.158 doi: 10.1037 /
谢勒,k . R。,和Moors, A. (2019). The emotion process: event appraisal and component differentiation.为基础。启Psychol。70年,719 - 745。doi: 10.1146 / annurev -心理- 122216 - 011854
施密特,k . L。、Ambadar Z。科恩,j·F。,和Reed, L. I. (2006). Movement differences between deliberate and spontaneous facial expressions: zygomaticus major action in smiling.j .非语言Behav。30,37-52。doi: 10.1007 / s10919 - 005 - 0003 - x
施密特,k . L。科恩,j·F。,和Tian, Y. (2003). Signal characteristics of spontaneous facial expressions: automatic movement in solitary and social smiles.医学杂志。Psychol。65年,49 - 66。doi: 10.1016 / s0301 - 0511 (03) 00098 - x
山,C。,Gong, S., and Mcowan, P. (2007). “Beyond facial expressions: learning human emotion from body gestures,’’ inBMV。1 - 10。
Sidequersky, f . V。Verze, L。,Mapelli, A., Ramieri, G. A., and Sforza, C. (2014). Quantification of facial movements by optical instruments: surface laser scanning and optoelectronic three-dimensional motion analyzer.j . Craniofac。杂志。25:e65。doi: 10.1097 / SCS.0000000000000379
史密斯,m . L。浅田和另外,N。,和Malenka, R. C. (2021). Anterior cingulate inputs to nucleus accumbens control the social transfer of pain and analgesia.科学371年,153 - 159。doi: 10.1126 / science.abe3040
Sowden, S。,Schuster, B. A., Keating, C. T., Fraser, D. S., and Cook, J. L. (2021). The role of movement kinematics in facial emotion expression production and recognition.情感21日,1041 - 1061。doi: 10.1037 / emo0000835
Starita F。,Borhani, K., Bertini, C., and Scarpazza, C. (2018). Alexithymia is related to the need for more emotional intensity to identify static fearful facial expressions.前面。Psychol。9:929。doi: 10.3389 / fpsyg.2018.00929
Tcherkassof,。Bollon, T。杜布瓦,M。Pansu, P。,和Adam, J.-M. (2007). Facial expressions of emotions: a methodological contribution to the study of spontaneous and dynamic emotional faces.欧元。j . Soc。Psychol。37岁,1325 - 1345。doi: 10.1002 / ejsp.427
Tcherkassof,。身上,D。,Meillon, B., Mandran, N., Dubois, M., and Adam, J.-M. (2013). DynEmo: a video database of natural facial expressions of emotions.Int。j . Multimed。它的达成。5,61 - 80。doi: 10.5121 / ijma.2013.5505
托马,P。,Soria Bauser, D., and Suchan, B. (2013). BESST (Bochum emotional stimulus set)--a pilot validation study of a stimulus set containing emotional bodies and faces from frontal and averted views.精神病学Res。209年,98 - 109。doi: 10.1016 / j.psychres.2012.11.012
特蕾西,j·L。,和Matsumoto, D. (2008). The spontaneous expression of pride and shame: evidence for biologically innate nonverbal displays.Proc。国家的。学会科学。105年,11655 - 11660。doi: 10.1073 / pnas.0802686105
特蕾西,j·L。,和Robins, R. W. (2007). The prototypical pride expression: development of a nonverbal behavior coding system.情感7,789 - 801。1528 - 3542.7.4.789 doi: 10.1037 /
Tramacere,。,和Ferrari, P. F. (2016). Faces in the mirror, from the neuroscience of mimicry to the emergence of mentalizing.j . Anthropol。科学。94年,113 - 126。doi: 10.4436 / JASS.94037
那位美国。菲尔,T。,和Herrmann, M. (2009). Emotions in motion: dynamic compared to static facial expressions of disgust and happiness reveal more widespread emotion-specific activations.大脑Res。1284年,100 - 115。doi: 10.1016 / j.brainres.2009.05.075
特曼C.-A。,Faraway, J. J., and Phillips, C. (2005). Visual and statistical modeling of facial movement in patients with cleft lip and palate.腭裂Craniofac。J。42岁,245 - 254。doi: 10.1597 / 04 - 010.1
Valstar, m F。Almaev, T。,Girard, J. M., McKeown, G., Mehu, M., Yin, L., et al. (2015). “FERA 2015 - second facial expression recognition and analysis challenge.” in2015年11日自动脸上IEEE国际会议和研讨会和手势识别(FG) (IEEE)。1 - 8页。
Valstar, m F。,和Pantic, M。(2010). “Induced disgust, happiness and surprise: an addition to the mmi facial expression database.” inProc。第三实习生。LREC情感研讨会(卫星):语料库研究情绪和影响(法国巴黎)。p。65。
Valstar, m F。,Sánchez-Lozano, E., Cohn, J. F., Jeni, L. A., Girard, J. M., Zhang, Z., et al. (2017). “FERA 2017 - addressing head pose in the third facial expression recognition and analysis challenge.” in2017年12日IEEE国际会议自动脸上手势识别(FG 2017)。839 - 847页。
van der Schalk, J。鹰,s T。,Fischer, A. H., and Doosje, B. (2011). Moving faces, looking places: validation of the Amsterdam dynamic facial expression set (ADFES).情感11日,907 - 920。doi: 10.1037 / a0023853
Vermeulen, N。Luminet, O。,和Corneille, O. (2006). Alexithymia and the automatic processing of affective information: evidence from the affective priming paradigm.Cognit。条件。20岁,64 - 91。doi: 10.1080 / 02699930500304654
Wallbott, h·G。,和谢勒,k . R。(1986). Cues and channels in emotion recognition.j·珀耳斯。Soc。Psychol。51岁,690 - 699。0022 - 3514.51.4.690 doi: 10.1037 /
华生,R。,和德德B。(2020). The representation and plasticity of body emotion expression.Psychol。Res。84年,1400 - 1406。doi: 10.1007 / s00426 - 018 - 1133 - 1
Wehrle, T。,Kaiser, S., Schmidt, S., and Scherer, K. R. (2000). Studying the dynamics of emotional expression using synthesized facial muscle movements.j·珀耳斯。Soc。Psychol。78年,105 - 119。0022 - 3514.78.1.105 doi: 10.1037 / /
西方,j . T。,Horning, S. M., Klebe, K. J., Foster, S. M., Cornwell, R. E., Perrett, D., et al. (2012). Age effects on emotion recognition in facial displays: from 20 to 89 years of age.实验,老化Res。38岁,146 - 168。doi: 10.1080 / 0361073 x.2012.659997
Weyers, P。,Mühlberger, A., Hefele, C., and Pauli, P. (2006). Electromyographic responses to static and dynamic avatar emotional facial expressions.心理生理学43岁,450 - 453。doi: 10.1111 / j.1469-8986.2006.00451.x
Wieckowski, a . T。,和White, S. W. (2017). Eye-gaze analysis of facial emotion recognition and expression in adolescents with ASD.j .中国。孩子Adolesc。Psychol。46岁,110 - 124。doi: 10.1080 / 15374416.2016.1204924
Wingenbach t . s . H。Ashwin C。,和Brosnan, M. (2018). Sex differences in facial emotion recognition across varying expression intensity levels from videos.《公共科学图书馆•综合》13:e0190634。doi: 10.1371 / journal.pone.0190634
Yoshikawa, S。,和佐藤,W。(2006). Enhanced perceptual, emotional, and motor processing in response to dynamic facial expressions of emotion1.日本。Psychol。Res。48岁,213 - 222。doi: 10.1111 / j.1468-5884.2006.00321.x
曾,Z。,Pantic, M。,Roisman, G. I., and Huang, T. S. (2009). A survey of affect recognition methods: audio, visual, and spontaneous expressions.IEEE反式。模式肛门。马赫。智能。31日39-58。doi: 10.1109 / TPAMI.2008.52
张X。阴,L。,科恩,j·F。,Canavan, S., Reale, M., Horowitz, A., et al. (2014). BP4D-spontaneous: a high-resolution spontaneous 3D dynamic facial expression database.Vis形象。第一版。32岁,692 - 706。doi: 10.1016 / j.imavis.2014.06.002
关键词:表达情感,运动学,脸感觉,偏重运动控制、快乐、恐惧、愤怒、动态模式
引用:Straulino E, Scarpazza C和Sartori L(2023)失踪在研究中情感表达的是什么?前面。Psychol。14:1158136。doi: 10.3389 / fpsyg.2023.1158136
编辑:
马丽拉与Sapienza大学意大利罗马版权©2023 Straulino Scarpazza Sartori。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。
*通信:Elisa Straulino,elisa.straulino@phd.unipd.it;路易莎Sartori,luisa.sartori@unipd.it