81 PER UNA RAPPRESENTAZIONE AUDIOVISIVA DEL GESTO Pietro Polotti Maurizio Goina Conservatorio “G. Tartini” di Trieste pietro.polotti@conts.it Conservatorio “G. Tartini” di Trieste maurizio@goina.it ABSTRACT In questo articolo vengono presentati alcuni risultati dell’indagine che stiamo conducendo sulla rappresentazione audiovisiva del gesto in chiave artistica. Ci concentreremo in particolare sul lavoro Visual Sonic Enaction (VSE), un'installazione interattiva in forma di public art che permette ai visitatori di scoprire ed esplorare l'espressività del proprio gesto. A differenza di un normale sistema di pittura interattiva, VSE vuole essere uno stimolo a creare una rappresentazione audio-visiva dei propri movimenti fisici. Come di fronte a una sorta di “specchio” interattivo, ognuno può “guardare” ed “ascoltare” il proprio gesto. Il suono e l'immagine agiscono da feedback, stimolando e guidando il movimento in modo enattivo. I risultati audiovisivi generati dal pubblico durante una sessione dell'installazione VSE vengono registrati. Dopo l'evento, questa sorta di autoritratti multi-modali sono resi disponibili su internet in modo che chiunque possa dare una “occhiata audiovisiva” all'espressività corporea delle persone che hanno sperimentato il sistema. Questo lavoro è uno tra le diverse realizzazioni inerenti lo studio della rappresentazione audiovisiva del gesto sviluppate nel corso degli ultimi tre anni ed è parte di un progetto più ampio di carattere metodologico, mirante a definire nuove strategie di indagine artistica tramite l’adozione di tecniche e modalità operative tipiche del design. 1. INTRODUZIONE VSE è stata concepita come diversivo sonico all'interno di una rassegna di video-arte [1]. In contrasto alla passività intrinseca dell'atto di guardare un video nel contesto di una mostra, VSE ha proposto un'esperienza (en)attiva offrendo ai visitatori la possibilità di scoprire la propria espressività gestuale per mezzo di un feedback multi-modale ovvero audiovisivo. In VSE il suono gioca un ruolo fondamentale, a dispetto della maggior evidenza dell'atto visivo del dipingere. Da un punto di vista enattivo, infatti, il suono fornisce un feedback immediato e più embodied di quanto offra il risultato visivo. Mentre sta “dipin- gendo”, l'utente “percepisce il suono nelle articolazi- oni” e modifica di conseguenza la propria azione. In questo senso il suono costituisce il perno tramite il quale vengono interconnessi i tre elementi di VSE, ge- sto, suono e immagine. VSE si sviluppa partendo da un consolidato filone di ricerca sui sistemi interattivi per la produzione ed il controllo del suono (vedi [2] o, in generale, il dibattito all’interno della comunità New Interfaces for Musical Expression 1 ) e sull'espressività del gesto (vedi per esempio [3], [4]). VSE si basa inoltre sui concetti e la ricerca nel campo dell'Auditory Display (AD) 2 e del Sonic Interaction Design (SID) 3 , da un lato, e i principi del Basic Design, dall'altro [5], [6]. Per quanto riguarda il primo aspetto, l'idea fondamentale è di usare il suono non verbale come rappresentazione del gesto in maniera interattiva, o, meglio, enattiva. Nell'area di ricerca del SID, ciò è definito come sonificazione interattiva. Il secondo aspetto riguarda invece la semplicità dei principi adottati nell'analisi del gesto e nel mapping sonico e visivo. Tali aspetti rimandano inoltre alla volontà di rifarsi ai principi del design per dotare l’indagine artistica in ambito interattivo di linee guida forti mediante le quali poter perseguire delle finalità di ricerca precise in un panorama tecnologico in continua e frenetica evoluzione. Ciò costituisce il tema di discussione delle Sezioni 2 e 3. In Sezione 4 vengono illustrate le modalità di sonificazione e visualizzazione interattive adottate in VSE. Nella stessa sezione, inoltre, si discute brevemente come la combinazione di principi ed elementi attinti da differenti discipline ed esperienze fanno di VSE uno strumento innovativo, le cui applicazioni possono andare al di là dell'ambito Copyright: © 2010 Polotti and Goina. This is an open-access article distributed under the terms of the Creative Commons At- tribution License 3.0 Unported, which permits unrestricted use, distribution, and reproduction in any medium, provi- ded the original author and source are credited. 1 www.nime.org 2 www.icad.org 3 www.cost-sid.org