И все же в подавляющем большинстве жанров и актов устной коммуникации телесный код и другие невербальные знаковые системы тесно взаимодействуют с речью и языком, так что коммуникация людей без участия соматических знаков часто выглядит либо странной, либо неполноценной. Отсюда следует, что полное описание того, как протекает устная коммуникация, невозможно без анализа механизмов, моделей, способов и инструментов взаимодействия естественного языка и соответствующего ему языка тела[5].
Проблема описания взаимодействия естественного языка и других знаковых кодов, в частности языка тела, получила в лингвистической и семиотической литературе название проблемы мультимодальности[6]. А сравнительно недавно лингвисты и специалисты в области невербальной семиотики заговорили о мультимодальной лингвистике как об отдельной науке, изучающей мультимодальную коммуникацию[7].
Задача описать то, как в коммуникативных актах невербальные семиотические коды взаимодействуют с естественным языком и друг с другом, становится еще более актуальной и важной, когда мы обращаемся к межъязыковой и межкультурной коммуникации людей. В этом случае приходится учитывать различие не только естественных языков, но также телесных и других знаковых кодов. Так, для правильного перевода на английский язык фразы Она сидела на корточках надо знать, что сочетание сидеть на корточках в английском языке обычно передается одним словом — глаголом to squat. А если мы захотим перевести на японский язык такой простой диалог, как — У тебя все хорошо? — Она ответила ему жестом «ОК», то столкнемся с более серьезными трудностями. Дело в том, что одним переводом слов и грамматических конструкций естественного языка, как в первом примере, нам здесь не обойтись. Нужно еще знать, что в традиционной японской культуре жест, имеющий форму кольца, образованного большим и указательным пальцами руки, сходную с формой жеста «ОК», имеет совсем другой смысл, а именно он означает ‘деньги (разговор о деньгах) в ситуации купли-продажи’ (цит. по (Крейдлин 2002, 135–136)).
Подводя промежуточный итог, отметим, что все коммуникативные акты, встречающиеся в живом потоке устной речи, и все высказывания в этих актах можно разделить на три класса.
В первый класс попадают те акты и высказывания, в которых используется только естественный язык (их, как мы говорили выше, не так уж много). Во второй класс, и таких актов и высказываний большинство, попадают те, в которых используются сразу оба кода — языковой и невербальный телесный код (а возможно, и какие-то другие знаковые коды). Наконец, в третий класс входят высказывания, которые целиком основываются на телесном коде. Такие высказывания иногда называют