Язык и семиотика тела. Том 2. Естественный язык и язык жестов в коммуникативной деятельности человека

Существуют, однако, весьма сильные связи и мотивации исполняемых жестовых движений и выражаемых ими значений, которые являются хорошим диагностическим ключом для понимания скрытых психических процессов.

Например, собранные нами данные по разным языкам жестов и разным культурам говорят о том, что контакт руки с головой во всех этих языках и культурах актуализирует представление об основных функциях и свойствах именно этих частей тела. Прикладывание ладони или пальцев руки к голове, различные жестовые движения руки в области головы (см. жесты обхватить голову руками, приложить палец к виску или приложить ладонь ко лбу, погладить по голове, хлопать по лбу и пр.) свидетельствуют о различных функциях, традиционно приписываемых обществом голове. В частности, все эти жесты говорят о том, что голова отвечает за интеллектуальную деятельность человека (ср. смыслы ‘размышление’, ‘воспоминание’, ‘забывание’, ‘осмысление текущей ситуации’ и т. д.). Исполняя жесты трясти головой или потирать голову руками, человек показывает, что некое событие вызвало у него недоумение или непонимание, и он как бы встряхивает и приводит в движение мысль, чтобы понять случившееся. Таким образом, иконический элемент значения имеется и у всех этих символических, по Ч. Пирсу, жестов. Такое движение, как обхватывание рукой горла, свидетельствует о внезапно появившемся комке в горле, о наступившем или подступающем удушье, о боли в горле, а жест закрыть рукой глаза говорит о нежелании видеть или желании, чтобы тебя не видели, об усталости глаз и т. д.

Приведенные примеры показывают, что для многих иконических жестов можно обнаружить и описать глубокую внутреннюю и неслучайную связь между формой и смыслом, хотя следует признать, что в большинстве случаев поиск мотивации в форме, структуре и особенностях того или иного жестового движения напоминает разгадывание крайне непростой, а то и попросту неразрешимой загадки.

Как кажется, последнее происходит по причине, о которой мы уже вскользь говорили, а именно потому, что иконические знаки, если воспользоваться терминологией Г. Фреге (Frege 1952), скорее показывают или изображают смысл, чем обозначают его. Вместе с тем ни форма иконического знака-жеста, ни характер движения не позволяют на все сто процентов правильно извлечь его смысл из физической реализации, то есть из формы, жеста. Почти всегда дополнительно требуется соотнести и отождествить какой-то фрагмент контекста, как правило вербального, с жестовыми коррелятами.

В связи с этим можно задаться вполне естественным вопросом: а зачем люди вообще тогда производят иконические жесты? Ведь получается, что иконические жесты – это знаки, очевидным образом избыточные и не нужные для выполнения тех обычных коммуникативных задач, которые стоят перед участниками диалогического общения.

Чтобы попробовать ответить на поставленный вопрос, приведем сначала три примера употребления иконических жестов западных культур, которые были нами взяты из разных статей по кинесике. Мы приводим здесь эти примеры с одной-единственной целью – продемонстрировать формальное и смысловое разнообразие и самих иконических жестов, и ситуаций их употребления.

Первый пример заимствован нами из статьи (Riseborough 1981).

Что-то вроде длинной цилиндрической шляпы – эта фраза произносится в сопровождении следующего жеста: руки сложены вместе на уровне груди, каждая отображает цилиндрическую форму, затем руки постепенно разъезжаются, раздвигаются в горизонтальном направлении до тех пор, пока каждая не вытянется во всю длину.

Второй пример взят из статьи (McNeil 1986).

Рассказывая о сети проводов, установленных на фуникулере, человек поднимает вверх обе руки вместе, пальцы моментально складываются в замок.

Третий пример содержится в работе (Kendon 1980).

Фраза У них был во какой (или: вот такой) большой торт! сопровождается круговым движением или серией круговых движений предплечьем и кистью руки с направленным вниз выпрямленным указательным пальцем. Высказывание Какой большой торт! уместно лишь в той ситуации, когда торт находится в поле зрения говорящего и слушающего, а жест, изображающий большой торт, уместен лишь тогда, когда слушающий не видит торт, и чтобы восполнить это упущение, говорящий показывает слушающему, как торт выглядит. Фраза, сопровождающая описанный жест, может звучать, например, так: У них был вот такой большой торт!

Эти примеры показывают, что иконические жесты выполняют в диалоге различные функции, отнюдь не всегда избыточные. Они могут не только дублировать смысл высказывания, но и выражать какие-то дополнительные аспекты описываемой ситуации, при этом речь становится более живой и выразительной. Так, в примере из статьи (McNeil 1986) человек показывает, что где-то наверху провода смыкаются. Пример А. Кендона показывает, что иконический жест может уточнять значение вербально выражаемого признака – в данном случае признака размера «большой».

Многие русские иконические жесты, например такие, как «спать хочется», «бинокль», «игра на барабане (или ксилофоне)», тоже передают такие аспекты ситуации, которые могут быть не выражены вербально. Жест «спать хочется», форму которого можно описать как «руки под голову, голова наклонена, будто покоится на подушке, глаза закрыты», передает смысл, что человек хочет лечь, так что его голова будет иметь некоторую опору. Жестом «бинокль» некоторые учителя показывают классу, что они видят даже то, что происходит на задних партах.

Теперь обратимся к некоторым факторам, влияющим на распознавание и интерпретацию иконических жестов.

И при синтезе устного текста, когда принимается во внимание взаимодействие словесного и жестового кодов, и при анализе встречающихся в таком тексте употреблений иконических иллюстраторов и иконических эмблем необходимо учитывать фактор времени, прежде всего временнóго таксиса. В частности, опережение, синхронность или запаздывание жеста, аккомпанирующего речевому потоку или иллюстрирующего его элементы, помогают уточнить, а иногда и дополнить выражаемый жестом смысл.

Исходное предположение у большинства исследователей жестов здесь по существу одно и то же, поскольку оно представляется довольно естественным. Его можно сформулировать примерно так: если когнитивная связь вербального и жестового каналов существует, то процессы вербализации и жестикуляции должны хотя бы частично перекрываться по времени. Известный американский психолог и специалист по невербальной семиотике А. Кендон в своей работе (Kendon 1985) приводит пример использования иконических иллюстраторов, соотносимых с целым блоком идей, и наложения смыслового содержания, выражаемого жестом, на содержание, кодируемое языковыми единицами. Когда дочь говорит матери You don’t know anything about it ‘Ты ничего об этом не знаешь’ и, как бы отталкивая ее, сопровождает сказанное жестом – движением руки в сторону с ладонью, повернутой к лицу матери, – то, как пишет А. Кендон, можно думать, что этот жест дополняет сразу же последовавшую за первой вторую фразу дочери Don’t interfere it with business ‘Не путай это с бизнесом’ и частично накладывается на первый жест.

Было неоднократно и вполне убедительно показано, что обычно слова, идущие в дискурсе задолго до или много позже воспроизводимого жеста, с ним не связаны. Установлено также, что если неиконические иллюстраторы, такие как, например, жестовые ударения, взаимодействуют преимущественно с супрасегментными единицами (ударением, тоном) и отдельными сегментными фонологическими единицами, в частности с встречающимися на границах морфем, то иконические иллюстраторы связаны главным образом с лексикой текста.

У большинства иконических мануальных иллюстраторов есть подготовительная фаза, или экскурсия (см. (Крейдлин 2002)), во время которой рука движется к стартовому положению со сравнительно небольшой скоростью (Hadar, Butterworth 1997, 154). Такие иконические иллюстраторы, как утверждают в указанной работе У. Хадар и Б. Баттерворт, обычно начинаются перед речевым сообщением, но не сразу, а с небольшой временной задержкой. Среднее временное запаздывание (mean time lag, в терминологии авторов) по их данным составило порядка 1 секунды, а вариативность запаздывания находилась в пределах от 0 до 2,5 секунд. Заканчивались же иконы спустя примерно 1,5 секунды после того, как начинались их лексические спутники (affiliates).

Теперь посмотрим, имеются ли общие структурные характеристики, объединяющие все иконические жесты. Тут на помощь приходят исследования специалистов в области биологии и математической теории сложности движений. Как это не раз предлагалось делать, сложность движения можно измерять количеством векторных поворотов при его производстве, то есть количеством смен направлений в геометрии движения, и образом траектории движения.

Иконические иллюстраторы по меньшей мере тремя структурными характеристиками отличаются от еще более высокочастотных аккомпаниаторов – жестов-ударов.

Во-первых, все иконы-иллюстраторы имеют не менее двух векторных компонентов и несколько поворотов, что противопоставляет их более простым в этом отношении жестовым ударам, имеющим обычно один векторный жестовый компонент или, в крайне редком случае, два, производимые с одной и той же силой, но в противоположных направлениях. Во-вторых, в отличие от жестов-ударов, иконы-иллюстраторы имеют довольно широкую амплитуду (Hadar, Butterworth 1997, 151). В-третьих, по причине своей широкой амплитуды они являются единицами, относительно продолжительными в воспроизведении: большинство из них длится, как правило, более чем полсекунды4.

Рассмотрим здесь лишь один пример. Среди русских иконических иллюстраторов есть жест «то ли так, то ли так» (по форме совпадающий с английским «so-so»), передающий колебания в выборе одного из членов альтернативы. Однократный или двукратный поворот кисти руки вправо-влево (либо наоборот, сначала влево, потом вправо) с широкой для кисти амплитудой поворота и не очень быстрый по времени, в особенности если выбор решения затруднителен, иконически передает это мысленное колебание жестикулирующего.

Завершая анализ иконических жестов, рассмотрим важнейшие контекстуальные характеристики икон-иллюстраторов.

Иконические иллюстраторы, по крайней мере русские жесты, возникают обычно по соседству с теми участками устного дискурса, где у адресанта теряется беглость речи. По своему происхождению и по роли в контексте иконические иллюстраторы делятся на два класса. Одни жесты, по-видимому, рождаются в ходе концептуального планирования речи, отражая сам процесс планирования, тогда как другие являются внешней манифестацией иного процесса – процесса порождения речи. То, что иллюстратор, соседствующий с речью, демонстрирует смысловую соотнесенность со своим лексическим спутником, означает не только что какой-то аспект семантики данного высказывания определен до лексического выбора и до порождения жеста, но и что в замысел говорящего уже входило то, каким способом, вербальным или жестовым, будет выражен данный смысл.

Иконические иллюстративные жесты выполняют несколько контекстных функций.

Прежде всего (1) они облегчают порождение речи, и проявляется это в целом ряде внешне наблюдаемых фактов. Так, человек, не желающий употребить в речи некоторое слово или выражение и пытающийся не допустить возникновения в разговоре нежелательной паузы, так сказать, «тянет время». Употребляя вместо какого-то слова жест (это обычно неопределенный по направлению и амплитуде жест руки или пальца руки), он делает общение непрерывным или более гладким.

Далее, (2) с помощью иконических иллюстраторов и жестикуляции один человек может подсказать другому нужное, но сейчас забытое слово («помню, но забыл»).

(3) Наконец, исполняемые иллюстративные жесты, отображающие самые разнообразные элементы и аспекты ситуации, существенно способствуют порождению устного текста. Например, пытаясь вспомнить реплику из некогда имевшего место диалога или желая подобрать точно выражающее мысль слово, жестикулирующий восстанавливает в памяти разнообразные аспекты репрезентируемой ситуации и вспоминает, кто были участники того диалога, как они были одеты, что делали, а также более наглядно представляет внешний контекст диалога, происходившего в прошлом. Он чешет голову, морщит лоб, приоткрывает рот, щелкает пальцами, смотрит в одну точку, например вбок или вверх, как бы прерывая связь с миром, закрывает лицо руками и др.

Согласно существующим представлениям о том, как происходит порождение речи, и моделям порождения, поиск необходимой лексической единицы проходит две стадии.

На первой стадии, исходя из имеющихся к данному моменту концептуальной и смысловой спецификации (конкретизации), ищется абстрактная лексическая единица соответствующего содержания. Этот первый промежуточный этап на пути к окончательному выбору адекватного поверхностного имени лексемы в литературе часто называют «построением семантического лексикона»5, или лемматизацией (lemma retrieval)6.

На второй стадии информация, полученная на первом этапе, используется для поиска адекватной фонологической или графической формы слова (или отдельной лексемы в случае полисемии) в наличествующем фонологическом или графическом фонде языка, то есть предполагается, что форма берется из имеющихся лексиконов7.

В терминах данной модели порождения лексики устного текста семантическая приемлемость жеста может зависеть, таким образом, от смысловой спецификации, которая открывает путь к лексикону или облегчает к нему доступ. И вероятный функциональный кандидат на роль жеста – это тот невербальный знак, который может демонстрацией отдельных смысловых комплексов облегчить лексический поиск.

Иконические иллюстративные жесты, как было показано в целом ряде экспериментов и как отмечается в работе (Hadar, Butterworth 1997, 159–161), связывают речь на обеих стадиях обработки – и на, так сказать, постсемантической, и на предречевой. Тесная связь жестов с ситуацией затрудненности или дефицита речи дает основания полагать, что они активно участвуют в процессе облегчения порождения речи и отражают некоторые особенности этого процесса (см. (Подлесская, Кибрик 2003; 2007)).

Первое фундаментальное допущение, которое здесь неявным образом принимается, таково: в процессе производства устной речи концептуальная обработка информации активизирует визуальные, жестовые, тактильные и другие невербальные каналы передачи информации и соответствующие образы. Делается это, предположительно, автоматически и, предположительно, в той мере, в которой признаки, участвующие в такой обработке, помогают вызвать мысленный образ объекта.

Некоторое подтверждение сформулированной гипотезы можно найти в реально наблюдаемых фактах, показывающих, что иконические жесты и мимика являются самыми ранними формами жестовой коммуникации – как в онтогенезе (см. информацию на этот счет, в частности, в книгах (McNeil 1992; Крейдлин 2002)), так и в филогенезе (Kimura 1979, 197–220). Например, с жестами и мимикой мы можем встретиться еще до словесных выражений, подобно тому, как мы наблюдаем движения глаз или губ до чтения вслух или во время чтения. Такие телесные движения не являются результатом всецело интенсионального процесса, но после того, как они начались, их волевым усилием можно прекратить.

Второе столь же важное допущение состоит в том, что визуальный, тактильный или иной сенсорный образ являются посредниками между концептуальной обработкой информации и порождением иконических жестов. Предполагается, например, что возникающий визуальный образ предмета, человека, ситуации и т. п. облегчает поиск и нахождение слова при синтезе устного текста. Это происходит благодаря трем разным операциям: (а) фокусированию внимания на каком-то аспекте или фрагменте при концептуальной обработке, (б) постоянному наблюдению за ключевыми признаками во время смыслового отбора и (в) отслеживанию того, как проходит непосредственная активизация форм слов в фонологическом лексиконе. Неудачи при поиске слова дают возможность выявить черты образа или мысленного представления и определить, каковы жесты, связанные с этими чертами.

Д. Мак-Нил (McNeil 1992) утверждает, что жесты возникают на ранней стадии построения сообщения, или, в его терминологии, «коммуникативной динамики» (communicative dynamics), то есть тогда же, когда порождается и языковой материал (linguistic production). По словам ученого, жестовые знаки проходят путь от когнитивного представления через образную репрезентацию смысла к выражающей его моторной артикуляции, при этом постоянно соединяясь и взаимодействуя с речью. Однако жесты, как считает Д. Мак-Нил, совсем не обязательно связаны с лексическим выбором.

Его оппоненты У. Хадар и Б. Баттерворт (Hadar, Butterworth 1997) с таким выводом Д. Мак-Нила не согласны, и мы к ним присоединяемся. Они полагают, что их представление, закрепленное в модели порождения устного текста, которую они предлагают, гораздо лучше объясняет факты соединения вербальной и жестовой продукции. Ученые проверили (и подтвердили на большом материале) свою гипотезу, согласно которой жесты с низкой смысловой конкретизацией, то есть более абстрактные и менее определенные по смыслу, должны давать бóльшие временные задержки и с большей вероятностью появляться в «предсловных» и «предсентенциальных» позициях, чем жесты с высокой смысловой конкретизацией. Нарушение этой закономерности употребления обычно порождает коммуникативный конфликт.

Модель, предлагаемая У. Хадаром и Б. Баттервортом, объясняет также и то, почему люди, испытывающие семантические трудности, производят больше предлексических (досемантических) жестов, а люди, испытывающие затруднения в поиске фонологического оформления смысла, производят больше постлексических (постсемантических) жестов.

Иконические иллюстраторы могут, разумеется, выполнять отдельные коммуникативные функции, но по отношению к той совокупности когнитивных функций, которые они выполняют, передача информации является не основным, а вторичным, второстепенным их назначением. При этом они всегда придают тексту выразительность или образность. Еще до того, как рассматривать значение и поведение иконических жестов в контексте, в котором они встречаются или могут встретиться, и строго описывать их функциональное назначение, следовало бы для каждого из этих жестов определить, что представляют собой те смыслы и когнитивные идеи, которые они призваны кодировать и передавать. К сожалению, приходится констатировать, что сегодня ни для одной культуры и ни для одного языка жестов не существует ни объяснительных словарей, ни хотя бы отдельных описаний основных иконических телесных единиц.