Написано на губах: как жесты и мимика дополняют язык

Как невербальные сигналы влияют на восприятие речи

Калеб Эверетт, профессор антропологии и психологии в Университете Майами, в своей книге «Мириады языков» делится информацией о том, как визуальное взаимодействие обогащает коммуникацию.

Эффект Макгурка является наглядным примером того, как информация, визуально представленная на губах, влияет на восприятие слов. Это явление проявляется в различных экспериментальных условиях и может быть легко воспроизведено в учебной обстановке. На своих лекциях я часто показываю аудиозапись, где человек повторяет слог /ба/, одновременно демонстрируя видео, где он произносит слог /га/. Студенты, наблюдая за видео и слушая аудио, слышат /ба/ в то время, когда на экране отображается /га/. Когда я прошу их записать услышанное, они не только не записывают «ба», но, как правило, пишут «да». Интересно, что если закрыть глаза и прослушать ту же запись, они снова слышат /ба/. Это показывает, как зрительное восприятие может искажать слуховые впечатления.

Лично я также подвержен этому эффекту. Во время эксперимента, открывая и закрывая глаза, я замечаю, как аудиофайл становится то «да», то «ба». Хотя я осознаю, что звучит только «ба», это не меняет моего восприятия. Восприятие речи — это сложный процесс, который объединяет как визуальные, так и слуховые данные. Это относится ко всем культурам и было характерно для человеческого восприятия речи даже в те времена, когда люди жили только в Африке. Очное общение стало естественной формой языка, подчеркивая важность визуального восприятия лиц собеседников. Однако, как было указано ранее, языки различаются по использованию губных звуков, и носителям некоторых языков может потребоваться больше внимания уделять губам собеседника.

Невербальные сигналы, такие как жесты, также играют значительную роль в коммуникации. Исследования показывают, что жестикуляция может оказывать большее влияние на речь, чем считалось ранее. В некоторых случаях знание жестов необходимо для корректного общения на определенном языке. Жесты могут также иллюстрировать когнитивные процессы, происходящие во время общения, например, указывая назад, когда речь идет о прошлом.

Жесты не только подчеркивают вербальные сигналы, но и помогают слушателям сосредоточиться на ключевых моментах. Мы часто используем более выразительные жесты, когда говорим громко, а некоторые жесты могут акцентировать важные моменты в речи. В процессе очного общения мы учимся обращать внимание не только на звуковую информацию, исходящую от собеседника, но и на жесты, которые он использует. Это взаимосвязь между зрительным восприятием жестов и слуховым восприятием речи привела к открытию нового явления, названного «мануальным эффектом Макгурка», которое было исследовано в 2021 году. В дальнейшем я расскажу о одном из экспериментов, исследующих, как восприятие жестов влияет на ударение в словах.

Ключевым аспектом ударного слога в английском языке является его повышенная тональность. Тон определяется частотой вибрации голосовых связок во время произнесения звука. Многие языки используют различные последовательности тонов для различения значений, хотя в английском и нидерландском это не так ярко выражено. Тем не менее, тон и громкость играют важную роль в акцентировании: ударные слоги обычно имеют более высокий тон и звучат громче. Кроме того, ударные слоги часто длиннее по сравнению с безударными.

Эти характеристики ударного слога имеют значение, поскольку иногда они помогают различать слова, например, существительные и глаголы, которые пишутся одинаково, но произносятся по-разному в зависимости от ударения. Например, произнесение слова CON-vert как существительного и con-VERT как глагола. Существуют более ста слов в английском языке, значение которых меняется в зависимости от ударения.

Как это связано с мануальной интерференцией? Жесты могут координироваться с ударением в речи. Например, во время публичных выступлений лекторы чаще всего жестикулируют, подчеркивая важные слова. Исследования показывают, что слушатели склонны делать «ритмические жесты» в ответ на выделенные слова. Одно из исследований 2007 года продемонстрировало, что зрительная информация, такая как жесты, влияет на восприятие звучащих слов. Люди, наблюдая за жестами, чаще считали слова более акцентированными.

Недавние эксперименты выявили, что восприятие жестов может воздействовать на слуховое восприятие более тонко. В одном из исследований 26 носителей нидерландского языка слушали вымышленные слова, произносимые с неясным ударением. Говорящий также выполнял жесты, двигая рукой вверх и вниз. Хотя участники не были призваны обращать внимание на жесты, они все же повлияли на то, что они слышали. Когда жест вниз выполнялся на первом слоге, гласный воспринимался ближе к ударному. Это явление, связанное с восприятием жестов, получило название «мануальный эффект Макгурка», и оно подтверждает, что зрительная информация может изменять слуховое восприятие.

Эффект Макгурка и мануальный эффект показывают, как среда очного общения влияет на восприятие речи. Мы активно слушаем, используя как голос, так и жесты, чтобы показать собеседнику, что мы его понимаем или, возможно, не согласны с его мнением. Эти невербальные сигналы, такие как кивки головой или мимика, играют важную роль в общении. Если вы решите не использовать подобные жесты во время разговора, ваше отсутствие реакций быстро станет заметным для собеседника.

Влияние визуального общения затрагивает не только восприятие, но и процесс формирования речи. Очная коммуникация является основной формой общения во всех культурах, но многие лингвисты, включая Ник Энфилда, подчеркивают, что они часто упускают из виду, как язык формируется под воздействием этой среды. Например, Энфилд исследовал термины, связанные с природой, и обнаружил, что планирование и артикуляция происходят, когда мы слушаем других, и обычно, когда смотрим на их лица. Очный разговор требует очередности в общении: мы всегда думаем о том, что скажем дальше, ожидая своей очереди. Хотя существуют некоторые культурные различия в организации общения, последовательный диалог остается универсальной формой общения.

Давайте рассмотрим, какой паузой вы делитесь с собеседником перед тем, как ответить. Большинство людей понимает, что длительная пауза после завершения реплики может считаться невежливой и приводит к неудаче в коммуникации. Социолог Гейл Джефферсон в 1989 году отмечала, что носители английского языка редко ждут дольше секунды, чтобы начать говорить после собеседника. Если пауза длится более секунды, это может сигнализировать о том, что разговор зашел в тупик.

Хотя одна секунда не является строгим правилом, большинство реплик часто перекрываются, и участники начинают говорить, не дожидаясь завершения собеседника. Исследования показывают, что паузы между репликами в английском языке составляют около 200 миллисекунд. Это подтверждается аналогичными наблюдениями в других языках, где паузы также короткие. В 2009 году было проведено исследование, которое показало, что продолжительность пауз между вопросами и ответами варьируется от 7 до 469 миллисекунд в зависимости от языка.

Большинство упомянутых исследований подтверждает, что языки гораздо разнообразнее, чем считалось ранее. Не существует единого набора языковых универсалий, которые были бы признаны всеми лингвистами. Речь отличается по многим аспектам, которые мы упускали или недостаточно исследовали. Однако, как показывают современные исследования, существуют также интересные сходства между языками.

Сходства, которые мы недооценили, отличаются от тех, которые искали лингвисты. Многие из них потратили много времени на поиск универсальных закономерностей грамматики, но не нашли удовлетворительных результатов. Даже если такие сходства не были открыты, есть четкие закономерности, которые мы упустили.

Одна из таких закономерностей касается очередности реплик в очном общении. Мы, возможно, принимали эту среду как должное, не замечая, как она формирует коммуникацию. Очное общение накладывает ограничения на очередность реплик и продолжительность пауз между ними. Во всех культурах люди общаются поочередно и прерываются на очень короткое время. У людей одинаковое строение мозга, что позволяет одновременно обрабатывать услышанную информацию и планировать следующую реплику. Однако, несмотря на это, существуют различия в том, как люди планируют свои ответы, например, между японцами и датчанами.

Почему такие базовые аспекты речи, как внимание к жестам и очередность реплик, становятся известными только сейчас? Возможно, это связано с тем, что ранее наше внимание было сосредоточено на двумерных представлениях речи.

Хотя письменность является мощным инструментом, позволяющим документировать языки, она также приводит к тому, что некоторые аспекты языка остаются без внимания. Сосредоточенность на письменном слове могла привести к игнорированию таких важных характеристик, как совместное произнесение речи и использование жестов.

В настоящее время, когда лингвистический анализ все более основывается на аудиовизуальных данных, мы начинаем осознавать, что упустили. В моем собственном исследовании я изучаю, как звуки речи распространяются в аэрозольных частицах, что может иметь значение для передачи инфекций. Это направление исследований вряд ли стало бы возможным, если бы мы оставались сосредоточенными только на письменном языке.