Sonic Move Creative and Expressive Sonification of Human Movement

Projektissa tutkitaan ihmiskehon liikkeiden käyttöä ääni- ja tuntopalautteen synteesissä ja sen käyttöä tanssi- ja kuntoutussovelluksissa. Kehon liikkeet voidaan mitata hyvin tarkasti esimerkiksi monikamerajärjestelmillä. Kun liiketieto yhdistetään äänisynteesiin, voidaan luoda ääniympäristöjä, joissa esimerkiksi käsien liikkeen nopeus voidaan yhdistää äänen korkeuteen. Näin kehon liike on aistittavissa sekä näkö- että kuuloaisteilla. Tätä moniaistista ratkaisua pyritään soveltamaan projektissa tanssitaiteen ilmaisukeinona sekä mahdollisesti osana lisättyyn todellisuuteen perustuvaa peliympäristöä. Projektissa tehdään yhteistyötä ammattitanssijoiden ja koreografien kanssa. Tavoitteena on tuottaa tanssiesityksiä, joissa ääni- ja tuntopalautteet ovat olennainen osa kokemusta. Keskeinen osa projektia on äänisuunnittelu, jossa yhdessä koreografien ja tanssijoiden kanssa pyritään löytämään erilaisia äänenvärejä ja -tyylejä liikkeisiin. Näitä voi olla esimerkiksi luonnon äänet: vesi, tuuli, ja eläinten äänet, jotka vastaavat dynaamisesti kehon liikkeisiin. Myös tuntopalaute pyritään mukauttamaan sekä liikkeisiin että ääneen. Tuntopalaute voidaan esittää tanssijalle, pelin pelaajalle tai yleisölle puettavan laitteen värinäaktuaattorin avulla. Projektin tuottamia ääni- ja tuntopalauteratkaisuja voidaan hyödyntää tanssikoreografien työssä jatkossa sekä peliympäristön kehitystyössä. Ratkaisuilla voidaan lisätä tanssin immersiivisyyttä, saada lisää katsojia tanssiesityksiin ja tehdä yrityspartnereiden tuotteita kilpailukykyisemmäksi. Lisäksi projekti tuo yhteen poikkitieteellisen asiantuntijaryhmän, jotka hyötyvät toisistaan.