你的大脑如何看待表情符号?
2023-10-18 11:19

你的大脑如何看待表情符号?

本文来自微信公众号:利维坦 (ID:liweitan2014),作者:Alla Katsnelson,翻译:苦山,校对:腐竹与瘦竹,头图来自:视觉中国

文章摘要
本文探讨了表情符号在书面交流中的作用以及它们对大脑的影响。作者分享了自己对表情符号的态度转变,并介绍了一些研究结果,揭示了表情符号如何激活大脑的不同区域。此外,文章还提到了表情符号在社交动态和性格评估中的作用。

• 表情符号传达了一层额外、复杂的意义,无法通过文字真正传达。

• 表情符号和文字在大脑中的作用相似,都能激发语言和非语言区域的反应。

• 表情符号可以帮助人们理解他人的性格特点,并填补数字化社交中的沟通空白。

20年前,微软的即时通讯平台增加了一项新功能:用户可以在消息中插入几十种小图标,传达快乐、惊讶、困惑,或是一只绵羊。先是渐渐播散,然后突然间以席卷一切的速度——表情符号闪亮登场:它们从聊天平台传播到短信、电子邮件、社交媒体,甚至渗进了学校作业,这让众多教师烦恼不堪。


多年来,我一直是个拒绝使用表情符号的人。拥抱这些小小的卡通图像感觉像是违背了文字的美德。


对于我这样一个读着简·奥斯汀和伊扎克·巴别尔(Isaac Babel)长大、在语言上颇为传统的灵魂来说,表情符号显得廉价,而且有着毫无必要的袒露态度。我对它们慢慢渗透进书面交流感到憎恶,长期以来,书面交流只靠字母表就足以顺畅进行了,多谢。


但就在几年前,在我和一个动不动就用这些符号的同事成为朋友之后,我的态度发生了转变。我们每天的玩笑话都因表情符号所增添的情感活力,以及它们所激发的联结感而乐趣倍增。


起初,我拘谨地将它们串进我的数字话语中。而今,它们已经植入我与生活中许多人的交流之中,成为一条短语的标点,或是一条单独的消息——一个爆炸表情包或火苗表情包抑或星星表情包就可以是一条完整的回复。


最让我惊讶的是,这些基于图标的互动为日常交流增添了实实在在的快乐。


的确有一些研究人员在研究表情符号如何影响我们的思维,亚利桑那大学的认知科学家瓦莱里娅·普法伊费尔(Valeria Pfeifer)就是其中之一。她告诉我,我新近感受到的快乐是有道理的。她说,表情符号“传达了一层额外、复杂的意义,而这层意义似乎无法通过文字真正传达”。


许多热衷于找、记新单词的“单词书呆”都担心,表情符号正在让我们和我们的交流变得更笨。但是普法伊费尔和其他认知科学家及语言学家正着手解释它们的特别之处。


在一本名为《表情符号代码》(The Emoji Code)的书中,英国认知语言学家维维恩·埃文斯(Vyvyan Evans)称表情符号是“无可争议的、世界上第一种真正普世的交流方式”。对于一个不断扩大的、含义或许易变的符号集而言,这似乎是个过高的断言。但是语言总在进化,而这些表意文字已然成为了数字通信中的通用语言。



表情符号的历史可以追溯到比早期即时通讯程序更早的时候。在这些图形详细的图标变得易于显示之前,占据它们位置的是更笨拙的、由字符构造的表情符号。


通常认为,卡内基梅隆大学的计算机科学家斯科特·法尔曼(Scott Fahlman)首先创造了这些由标点符号构成的微笑和眨眼表情。


他看到早期线上公告板的发帖人和他人陷入冲突——比如,有时发帖人的讽刺会被误读,于是在1982年,他建议同事们在发帖中加上“:-)”或“:-(”来表示他们的语气。他认为,如果发帖人能够在开玩笑或讽刺的时候加以标记,读者就不会那么容易生气了。


数十年来,作家和思想家们一直提议用标点符号替换情感的表达,尽管许多人这样做时似乎是在开玩笑。1862年,亚伯拉罕·林肯在一份手稿笔记中用“;)”描述听众在他演讲时给出的“掌声和笑声”,类似这样的早期表情符号,很可能是排版错误或当时标点符号规范较为宽松的事例。


然而,直到早期互联网的“肥沃土壤”出现,这些用法才真正扎根。随着图形界面的改进,当代的表情符号应运而生。


最开始,表情符号(emoji)并不是“为了有效传达情绪的符号”(emoticon)1999年,日本艺术家栗田穰崇(Shigetaka Kurita)为自己所在的手机公司开发了第一套表情符号,共176个,其中大多数都不是为了传达某种情绪,而是在他设想中人们可以偶尔用来代替词语的日常符号:房子、耳朵、网球拍、传真标志。


直到2011年,苹果公司首次在他们的移动设备上加入了专门的表情符号键盘(两年后安卓也这样做了),表情符号才真正开始走向主流。


到2015年,超过90%的互联网用户都使用过它们,《牛津英语词典》将“笑哭了表情包”(译者注:该表情的官方描述为“笑哭了”[Faces with Tears of Joy])定为年度词汇。如今,表情符号的管理机构统一码联盟列出了超过3500个表情符号。



“表情符号”(emoji)这个词在词源学上和“表情/表露感情”(emote)没有任何关系。


它是日语中“图像”(絵/e)和“文字(文字/moji)”两个词的结合,这和另一个意为“表情符号”(emoticon)的词语不同,后者是美国的发明,是“情绪”(emotion)和“图标”(icon)的结合词。这种起源和意图上的差异也影响了对这些新型交流工具及其对使用者影响的早期科学研究。


有关这些视觉表征如何激活大脑,第一项相关研究或许出现在2006年的一次会议上[1]。当时在东京电机大学任职的计算机科学家汤浅将英(Masahide Yuasa)和他的同事们想要知道,我们的大脑是否能够像解析人脸的照片一样解读人脸的抽象符号表征,也就是由标点符号构成的表情符号。


他们让几个大学生进入一个大脑扫描仪(他们使用的是功能性磁共振成像[fMRI]),并向他们展示快乐和悲伤面孔的写实照片,以及这些图片的打乱版本,还向他们展示了快乐和悲伤的表情符号,以及一些简短的随机标点符号组合。


照片激活了与人脸相关的大脑区域,而表情符号没有。但它们确实激活了一个不同的区域,该区域被认为与人们判定某事物在情感上的积极或消极有关。后来,研究小组在2011年发表的研究报告中扩展了这一发现[2],报告称,句子结尾的表情符号会使大脑中的语言和非语言区域对书面文本的反应更加热烈。


“正如韵律丰富了声音的表达,”研究人员在他们的早期论文中写道,表情符号似乎增添了意义和影响。这种效果就像是一剂制造意义的咖啡因——纯粹的情感注入。


© Sky News


令人惊讶的是,这些由标点符号构成的面孔,在没有被首先识别为抽象面孔的情况下,就把它们的情感价值传递进了读者的心灵。


汤浅通过电子邮件向我解释说,当时,许多研究人员假设人们是首先认出符号中线条和点状的面孔,然后再推断它们的表情,“是一个自下而上的过程”。但研究结果表明,这些表情符号连接的是比面部识别更为基本的东西,这暗示着,在交流中,对情绪作出响应的是一种原始的、甚至更深层次的驱动力。


几年后,澳大利亚的研究者报告说[3],人们将笑脸表情符号“:-)”识别为面孔的速度要比识别这些符号反向输入出的表情“)-:”快得多。在首席研究员欧文·丘奇斯(Owen Churches)看来,这些结果表明,我们的大脑在面对快速变化的世界时具有惊人的适应能力。“婴儿出生时对表情符号没有天生的神经反应,”他告诉澳大利亚广播公司,“这完全是一种文化造成的神经反应。”


一旦视觉上更丰富的表情符号开始激增,科学家们就有了更多的概念可以探究,以辨别语言、交流和感觉的实时整合。这项研究很快就变得有趣而细致入微。


例如:在试图传达讽刺时,表情符号和文字的功能是否相似?讽刺最基本的形式是表达与你的意思相反的内容,以此来传达观点。它所传达的不一致性之所以在认知层面如此令人满足,正是因为它给语言增加了戏剧性的层次和意义。


伊利诺伊大学厄巴纳-香槟分校的本杰明·韦斯曼(Benjamin Weissman)和达伦·坦纳(Darren Tanner)记录了参与者在阅读以不同表情结尾的简单句子时的大脑活动模式——一个与句意一致,一个与句意不一致,还有一个明确表示讽刺的眨眼表情符号。


图中句意:她做的蛋糕糟透了。


他们在2018年发表了一篇标题诙谐的论文[4],题为《言语和基于表情符号的讽刺之间的强烈眨眼》(A strong wink between verbal and emoji-based irony),文章将他们的研究结果与之前有关大脑如何响应讽刺语言的研究结果进行了对比,结果表明,就大脑而言,表情符号和文字的作用大致相同。


“基本上是一致的,”如今是纽约特洛伊伦斯勒理工学院认知科学家的韦斯曼说,“只要有某种形式的讽刺被传达和解读,大脑的反应看起来就和对传统非表情符号讽刺的反应极为相似。”


这一发现与韦斯曼和荷兰蒂尔堡大学的认知科学家尼尔·科恩(Neil Cohn)合作的尚未发表的新研究结果一致。在那项研究中[5],他们探索了大脑阅读这样一类句子时的反应:句中含有一个与预期含义相匹配或不匹配的单词或表情符号。


图中句意:她最喜欢的动物是猴子(上);她最喜欢的动物是牛油果(下)。


在这里,大脑对表情符号的反应和对单词的反应也非常相似:符合预期的表情符号会引发与语言预测成功相关的大脑活动模式,而出人意料的表情符号会产生与处理错位含义文字相关的大脑活动。


韦斯曼说,在某种程度上,我们是从单词还是从图标里想到的某个概念并不重要。他表示,总体而言,大脑通过它接收的输入建立复杂意义,在这种高级认知中,它可以整合所有种类的元素,包括面部表情和语调。而表情符号只是这种输入的另一种类型。“建立意义的过程多半可以在一个独立于情态本身的级别上运作。”他说。



当然,任何使用过表情符号的人都知道,它们并不仅仅是五颜六色、活泼的文字替代物。就像它们41岁的表亲“标点表情符号”一样,表情符号也在承担更重的任务。它们传达情感的能力与语言产生了复杂的交互。对于普法伊费尔来说,这个交汇处就是它们的魔力所在。


“表情符号具有这样一种能力:它可以让同样的单词看起来更加情绪化或者不那么情绪化——有时候让文本显得引人警惕,有时让文本显得完全正常甚至玩笑。”她说。这些都是重要的社交功能。“在我们转而使用更加基于文本的交流方式时,我们失去了这个额外的意义层次,而如今表情符号可以提供这层含义。”


我们这个物种和我们的许多口头语言都是在面对面沟通的激烈洗礼中出现的,其中充斥着语调、音量、面部表情、手势、姿势、会意的眼神。就算后来出现了文字书写形式(比如5000多年前的楔形文字),但在历史的大部分时间里,它们主要都用于官方用途——政府、商业、宗教。人际、社会、凝聚的沟通仍然是面对面的,而且多半是出于必要;直到1960年,全球还只有不到一半的人能够读写,即使在那个看似到处都是浪漫情书的奥斯汀的时代,14岁以上的英国人中,也只有约一半能够写信或读信[6]


但随着我们步入数字时代的美丽新世界,书面文字占据了大部分的日常社交和同事交流。如今,我们更多地使用短信和直接消息,而不是社交访问或手机通话。今天,工作会议或电话往往转为了Slack或微软Teams上快速敲击的键盘文字。


自然厌恶真空,空位自会补足。表情符号似乎在新的沟通方式亟需填补的时候出现了。普法伊费尔说:“当我们所有人都开始发短信或电子邮件时,我们的沟通方式似乎缺失了某种事物,而表情符号似乎又可以填补这种空缺。”


她和她的同事们还对不同表情符号如何通过为书面陈述增添情绪色彩来影响社交动态产生了兴趣。他们发现[7]像心形和笑脸这样的快乐表情符号为消息增添了一种普遍的积极情感效果,尽管没有具体、特定的“提升值”。相反,这些图像线索更多的是作为一种建立连接的标志。


“积极的表情符号就像录音设备上闪烁的灯,”她说,“也许我们发送这种类型的表情是为了表示‘嘿,我在听’或是‘我对你说的话很感兴趣’——只是一种确认我们之间关系的方式。”这些表情符号似乎有助于促进社会凝聚力。


另一方面,消极的表情符号会以不同的方式影响文字和解读。普法伊费尔表示,在他们的研究中,受试者将皱眉、愤怒的面孔和眼泪视为更具体的精神状态的指示器,他们对这些符号的处理更加仔细和深入。“从发送者的角度来看,发送一个消极的表情比发送积极表情说明了更多的信息。”


此外,虽然积极情感是把我们联系在一起的社会粘合剂——就算以表情符号形式出现时也是如此——但消极情绪需要通过深入探索一段关系或是共同的理解来阐明其意图。而且,和我们面对面交流时一样,消极情感更容易引发误解。


© Dribbble


表情符号还填补了我们转向数字化生活方式的过程中出现的其他社交空白。英国奥姆斯柯克边山大学(Edge Hill University)的心理学家琳达·凯伊(Linda Kaye)正在撰写一本综合表情符号研究的著作,她在研究中探索了这些无处不在的符号如何能为了解某人的性格提供有价值的线索[8]


人们通常认为,社交媒体平台上的互动是不透明的——它们确实缺乏许多人类赖以理解彼此和准确判断彼此的标记。凯伊决定测试人们在网上使用表情符号的方式是否可以帮助他人了解他们是什么样的人。她和她的同事们要求一组脸书用户完成一份书面的性格问卷,然后让另一组人查看他们的个人资料截图。


研究人员观察了五个主要的性格维度,发现人们在个人资料中使用的表情符号能够帮助观看者相当准确地评估其中的两个维度——开放性和外向性。虽然在面对面时很容易对外向性进行判断,但开放性很难评估。凯伊表示:“这告诉我们,实际上,当我们形成第一印象时,线上环境有时可能可以比线下目标提供更多的行为,以帮助我们理解对方的开放性。”


事实证明,一个新近点缀着众多微笑表情包的世界并没有发生翻天覆地的变化。也不像许多人可能以为的那样寡淡。“归根结底,沟通——沟通的目的和我们进行沟通的方式——在本质上并没有发生多大改变,”凯伊解释说,“我会说它的影响更多地在于扩展了我们的边界。”


对我来说,当我继续沿着我新近布满表情符号的道路前进时,这话是个鼓舞人心的想法,因为它表明我们无需嘲笑这种新奇的调配物,而是可以将其视为人类大脑那炫目的适应能力的胜利。


我会为这一事实感到欣喜:我们人类不仅可以使用丰富的概念语言和情感语言,创作出像《白鲸记》这样引起共鸣的文学作品,还可以将它完整地翻译成表情符号。[9]


参考文献:

[1]m-yuasa.net/chi2006_yuasa.pdf

[2]m-yuasa.net/pdf/brain/Brain_Activity_When_Reading_Sentences_and_Emoticons.pdf

[3]www.tandfonline.com/doi/pdf/10.1080/17470919.2013.873737#.Uv0F-EJdW52

[4]journals.plos.org/plosone/article?id=10.1371/journal.pone.0201727

[5]research.tilburguniversity.edu/en/publications/the-grammar-of-emoji-constraints-on-communicative-pictorial-seque

[6]ourworldindata.org/literacy

[7]www.sciencedirect.com/science/article/abs/pii/S0747563221003393

[8]www.sciencedirect.com/science/article/abs/pii/S0747563216302072

[9]www.emojidick.com


原文/nautil.us/your-%F0%9F%A7%A0-on-emoji-365823/


本文来自微信公众号:利维坦 (ID:liweitan2014),作者:Alla Katsnelson,翻译:苦山,校对:腐竹与瘦竹

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP