文摘
当他们理解人来说似乎是一个活动,我们只做我们的耳朵。那么,为什么我们通常看我们面对的人正在听吗?有没有可能我们的眼睛也参与理解演讲?我们设计了一个实验,让我们问人试图理解演讲不同的听力条件,如有人在大声说话背景噪音。事实证明,我们可以用我们的眼睛来帮助理解讲话,尤其是当这篇演讲听到显然是困难的。看着一个人说话时非常有用,因为他们的嘴和面部动作提供有用的线索。在本文中,我们探索视觉信息如何影响我们如何理解话语和表明,理解话语可以工作的耳朵和眼睛!
演讲者的面部运动帮助我们能听到吗?
你可曾想过为什么人们经常看着他们的脸在听吗?这种行为感到自然和自动,在许多文化中,它是礼貌的谈话期间有眼神交流。但演讲,就像所有其他的声音,是由声波,这只耳朵可以捡。所以,当我们倾听是眼睛做什么?原来理解的演讲包括眼睛和耳朵,特别是听力条件不理想,比如大声的音乐是打在背景中。在理想条件下,听一个侦听器,就可以选择更密切观察说话者的脸和嘴,为了更好地理解是什么。
先前的研究在耳朵和眼睛是如何一起工作来帮助我们理解演讲大多集中人民的理解简单的语音,如“ba”或“ga。“这些单词的声音被称为短组件音素。音素相结合时,可以创建所有的单词我们会听的。为什么以前的研究者用这种简单的声音吗?原因之一是音素没有任何意义,所以听众不能猜出个什么他们听到通过使用其他信息说随着声音,而是必须非常精确听音素。音素一次测试是一种简单的方法,但当我们交谈在我们的日常生活中,我们不认为单个音素,而是完整的,复杂的单词和句子。出于这个原因,我们小组进行了一项研究[1)我们要求个人试图理解这个句子一个演讲者在各种听力条件说。当然,看别人的面部表情可以为我们提供的信息情感演讲者可能会感觉,但面部运动也能帮助我们更好的听到演讲者在说什么?我们的问题很简单:为什么人们看说话者的脸听演讲的理解?
眼睛看哪里?
了解如何以及为什么人们使用他们的眼睛在倾听,我们需要一种方法来监测眼球运动。科学家们如何追踪眼球运动呢?我们使用的设备叫做眼球追踪器!眼动跟踪我们使用的类型在这项研究中有一个相机,可以告诉听众在哪里看图1)。相机完成了检测中心的pupil-which是黑色,中央部分的眼睛,也通过使用传感器来跟踪光线反射的眼睛。这一个不移动的光源产生的光的眼动跟踪相机。光反射信息是用来找出眼睛是旋转,因此计算侦听器在哪里看在屏幕上。
- 图1 -(一)坐在前排的一个研究参与者的眼动跟踪。
- 参与者坐在他们的脸在下巴休息眼睛追踪(坐落在参与者之间和监视器)检测到哪里。(B)眼睛的特写跟踪硬件,左边的摄像机和红外照明器在右边,和一个视图的计算机监控参与者的眼睛。
重要的是要理解一个眼动跟踪收集什么类型的信息。一种叫做眼行为固定,当一个人让他们的目光集中在很短的时间内的一个位置。例如,您可能只关注一个镜头,有人把你的照片。另一种类型的行为扫视两眼,这是一个快速运动(在同一方向)到一个新的位置,当你移动你的眼睛很快地飞离了这个镜头看别的东西。对准目标非常的速度是最快的运动所产生的人类!当我们正在我们的眼睛在日常生活中,我们使用的是两者的结合定位,扫视。一个眼动跟踪可以确定和分类眼球运动是定位或扫视,这是非常重要的,所以,研究人员可以更好地理解我们的眼睛做什么当我们完成任务。
我们如何学习理解演讲中眼睛的作用?
听力理解的角色的眼睛,我们设计了一个研究,参与者完成一个简单的任务:他们听音频剪辑的人说话或看短的影片剪辑,然后报告他们听到通过完成填空的句子(图2)。我们使用了眼动跟踪来记录人们当他们听。一半的参与者,我们还模拟听力障碍,静态的噪音当他们完成一两个任务。这使它看起来像一半的参与者有一定程度的听力损失,尽管他们实际上在普通情况下没有听清。两组的参与者,不同层次的背景噪音也在每个重复的任务。视频一开始容易听到,演讲被越来越多的背景噪音。听力变得越来越困难随着时间的流逝,在第六段背景噪音都一样大声讲话!然后这个过程开始,接着另一组六剪辑。
- 图2 -(一)样本影片剪辑的一个女人说一个句子。
- 画的图中,我们看到一个示例的模式定位(十字架)和扫视眼动跟踪记录(箭头)。(B)听后填空提示参与者回答的句子(上),和正确的答案,不是参与者(底部)。
我们的结果显示什么?
自成一派的任务中没有视频显示,参与者在听力正常条件下发现更容易认出是什么说比参与者的模拟听力障碍的情况。这是有道理的,因为有听力障碍的人往往更难以理解的演讲。然而,这只告诉我们关于人们如何理解当演讲者演讲的脸是不可见的。这两组如何执行当参与者也可以看到演讲者的脸吗?
当我们看结果的实验中,参与者观看电影时扬声器听和结合这些结果与本实验,我们发现一些有趣的事情图3)。我们发现,参与者与正常听力理解演讲者所说的同样的精度,是否看到了说话者的面部动作。换句话说,他们执行相同的任务在整个音频和电影的条件。然而,当我们看着simulated-hearing-impairment集团,一个有趣的发现出现时,这组可以看到演讲者的脸,他们做了很多更好的准确度测试!
- 图3——我们的实验发现,听力正常组(虚线)更容易理解句子和做同样的条件和电影自成一派的条件。
- simulated-hearing-impairment组(实线)有困难,但在电影中做的更好条件时可以看到演讲者的脸!这告诉我们,我们的眼睛可以帮助我们理解一个人说什么。
我们还发现了一个参与者做一些有趣的事情与他们的眼睛在看电影。我们发现,参与者在模拟听力障碍条件下使总注视更少,这意味着他们他们的眼睛关注较少的位置在屏幕上比与听力正常组。我们还发现,背景噪音变得响亮,参与者的注视变得更长。参加simulated-hearing-impairment条件时,只关注一些东西,他们这么做的时间也要超过与听力正常组。这表明,在更困难的听力的情况下,例如当听力受损或有很多背景噪音,人们倾向于注视区域的脸上长言论负责生产。这意味着我们可以使用线索的讲话者讲话的脸更好地理解当听力是很困难的。你可能这样做!举例来说,如果你是在一声派对上,你可能会发现自己看你朋友的嘴和脸更紧密地确保你理解他或她说什么。
我们的结果是什么意思?
我们的实验表明,参与者与模拟听力障碍可以利用视觉信息听觉信息时更加难以理解。这一发现突显出灵活的言语知觉行为,以及我们如何用我们的眼睛适应帮助我们理解演讲。想象你知道谁有困难的人听,就像一个祖父母。你有没有注意到,他们会经常看你的脸当你说比没有听力的人吗?这可能是为什么!你的祖父母可能用视觉来更好地理解你。
所以,让我们退一步,我们的研究问题,问:“为什么人们看说话者的脸他们正在听吗?“在背景噪声的情况下,人们可能看说话者的脸因为有面部表情,提供信息的人在说什么。我们的研究显示,我们的眼睛可以帮助我们理解什么是said-particularly当我们很难以理解仅根据声音说。进一步,人们是能够适应理解演讲用他们的眼睛看面部动作。事实证明,我们的眼睛也可以参与言语知觉,和我们的眼睛和耳朵可以合作在这个任务会在我们不注意到它!这些研究结果不仅有助于我们更好地理解言语知觉的基本过程,但也可能帮助研究人员更好的设计技术来支持那些有听力障碍。
术语表
音素:↑声音语言的最小单位。音素组合时,构成所有可能的单词在任何给定的语言。
眼动跟踪:↑计算机设备,决定了一个人。追踪器通常包含一个摄像头和一个光源,用于检测观众的眼睛是如何旋转。
固定:↑在这期间眼睛是几乎完全静止。固定相当短暂,通常持续只有几分之一秒。
扫视:↑非常快的运动发生在固定的两只眼睛,让眼睛迅速“跳”(旋转)带来一个新的世界的一部分成为关注焦点。
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
原始的文章
↑ŠabićE。亨宁,D。Myuz, H。明天,。胡特,m . C。麦克唐纳,j . 2020。检查眼球运动的作用在会话听力的噪音。前面。Psychol。11:200。doi: 10.3389 / fpsyg.2020.00200
引用
[1]↑ŠabićE。亨宁,D。Myuz, H。明天,。胡特,m . C。麦克唐纳,j . 2020。检查眼球运动的作用在会话听力的噪音。前面。Psychol。11:200。doi: 10.3389 / fpsyg.2020.00200