182 183 Художественный текст как феномен культуры STUDIA LINGUISTICA УДК 81’22 Ю.В. Сергаева (Санкт-Петербург, Россия) МУЛЬТИМОДАЛЬНЫЙ ТЕКСТ: ЧИТАТЬ, СМОТРЕТЬ И/ИЛИ СЛУШАТЬ? Статья посвящена мультимодальному направлению в лингвистических ис- следованиях, базирующемуся на таких понятиях, как поликодовость, интер- медиальность, синтез искусств и пр. На примерах произведений литерату- ры и современного искусства показано взаимодействие разных семиотических систем, вербальными и невербальными средствами которых создаётся единое целое, требующее от интерпретатора высокой степени активности и сотворче- ства – многоканального (но не идентичного авторскому) восприятия. Ключевые слова: мультимодальность, мультимодальная лингвистика, по- ликодовость, мультимодальный текст, семиотическая система, синтез ис- кусств, творчество Понятия мультимодальность, поликодовость, интермедиаль- ность, интерсемиотичность достаточно прочно вошли в сферу научных интересов представителей широкого спектра наук, ко- торые видят в них как сложную многомерную реальность, по- стоянно пополняющуюся новыми кодами, средствами передачи информации, так и собственно методологическое направление исследования этой реальности (см., напр., [Multimodal Studies, 2014]). Как отмечает В.Е. Чернявская, на современном этапе развития науки можно говорить «о так называемом медиальном повороте (medial turn, medienkritische Wende)» в лингвистике [Чернявская, 2013, с. 122]. В то же время эксплицируемая в са- мих номинациях названных выше терминов сложность и множе- ственность формы, по справедливому замечанию И.А. Щировой, «свидетельствует о неоднозначности обозначаемых ими сущно- стей, как и о потенциальной вариативности очерчиваемых ими границ» [Щирова, 2013, с. 6]. Идея мультимодальности в применении к филологии и теории коммуникации не нова. О многоголосии, полифонии как свой- стве текста писал М.М. Бахтин, об отношении языка к другим системам коммуникации и о многократном кодировании текста и культуры, полиглотизме рассуждали Р. Якобсон, Р. Барт и Ю.М. Лотман, понятие вербальной музыки предложил ещё в 60-е гг. С.П. Шер, а экспериментам с синтезом искусств находи- лось место практически в любую эпоху. К настоящему времени креолизованные тексты, живописность и музыкальность литера- турного произведения, а также ряд других проявлений поликодо- вости стали традиционным объектом изучения [см. напр., Соро- кин, Тарасов, 1990; Анисимова, 2003; Чернявская, 2009; Седых, 2010 и др.]. Более того, метафоры «полифония» и «симфония» применяются сегодня не только к описанию коммуникации, но и к процессам познания мира вообще [см. напр., Архипов, 2004]. Тем не менее, о формировании «мультимодальной лингвистики» как отдельного направления исследований, заговорили относи- тельно недавно (см. об этом [Кибрик, 2010]). Определяя термин «мультимодальный», Кибрик А.А. опира- ется на принятое в нейрофизиологии и информатике понимание модальности как «типа внешнего стимула, воспринимаемого од- ним из чувств человека, в первую очередь зрением и слухом» [Кибрик, 2010, с. 135]. Мультимодальность представляется не- отъемлемым свойством любой коммуникации, осуществляющей- ся по трём информационным каналам: вербальному, визуально- му и просодическому. Важность просодики переоценить трудно, т.к. единицы сверх- сегментного уровня (паузы, акценты, тон, темп, высота, долгота звука, особенности произношения и другие речевые характери- стики) не только повышают информативность вербального ка- нала, но и создают образ, почти не уловимый при зрительном восприятии текста, как это имеет место при декламации художе- ственного произведения. Так, известно, что Дж. Джойс придавал особое значение му- зыкальности своего трудного для прочтения романа «Finnegans Wake», который и сам писатель, и многие критики советовали воспринимать не зрительно, а на слух, чтобы почувствовать на просодическом уровне семантически глубокий и медленный, как река, «язык ночи» (nat language) или, как его ещё называют, Wakese. Существует несколько вариантов аудиозаписи отрыв- ков из этого произведения в исполнении профессиональных чте- цов, однако, наибольшую ценность представляет собой фрагмент Анна Ливия Плюрабелль (Anna Livia Plurabelle), записанный в