Gradient-Domain Methods for Realistic Image Synthesis

Tutkimustuotos

Tutkijat

Organisaatiot

Kuvaus

Realistinen kuvasynteesi eli realististen virtuaalisten valokuvien luominen laskennallisesti on läsnä monien ihmisten arjessa esimerkiksi elokuvien ja mainosten muodossa. Sen tuloksia on usein lähes mahdoton erottaa aidoista, mutta menetelmät ovat raskaita ja vaativat usein supertietokoneen käyttöä. Tämä väitöskirja esittelee uusia laskennallisia menetelmiä, jotka voisivat joissakin tapauksissa pienentää realistisen kuvansynteesin laskenta-aikaa, kuluja ja ympäristöjalanjälkeä. Valaistusyhtälö (rendering equation) kuvaa valon kulkua sen sirotessa pintojen välillä virtuaalisessa ympäristössä. Virtuaalinen valokuva muodostuu valon saavuttaessa virtuaalisen kameran kennon. Tyypilliset ratkaisut muodostavat satunnaisia polkuja, joita pitkin valo voisi saapua kennolle, ja laskevat kuvapisteiden värin polkuja pitkin saapuvan valomäärän keskiarvona. Tämän väitöskirjan menetelmät toimivat gradienttiavaruudessa: kuvapisteiden värin lisäksi ne laskevat kuvapisteiden välisiä erotuksia ja muodostavat kuvan integrointiongelman ratkaisuna. Ratkaisun teho perustuu vierekkäisiin pikseleihin vaikuttavien valopolkujen samankaltaisuuteen. Gradienttiavaruuden kuvasynteesi esitettiin aluksi Markovin ketju Monte Carlo -yhteydessä, mutta gradienttiavaruuden hyödyllisyys tavallisessa Monte Carlo -kontekstissa jäi avoimeksi. Tämä väitöskirja esittelee neljä tällaista realistisen kuvasynteesin menetelmää. Kaksi ensimmäistä menetelmää arvioivat kuvan gradientteja muodostamalla vierekkäisten kuvapisteiden välille samankaltaisten polkujen pareja. Näin lasketut gradientit kohisevat usein vähemmän, sillä korrelaatio pienentää vähennyslaskun varianssia. Vaimennetun (screened) Poissonin yhtälön ratkaisu yhdistää gradienttien korkean taajuuden informaation värinäytteiden mataliin taajuuksiin. Seurauksena lopullisessa kuvassa on vähemmän korkean taajuuden kohinaa. Kolmas, animaatioihin keskittyvä menetelmä laajentaa gradienttien laskemisen aikaulottuvuuteen muodostamalla kuvat kahdessa osassa. Ensimmäinen osa jakaa satunnaisluvut animaation aikaisemman kuvan kanssa ja jälkimmäinen seuraavan kuvan kanssa. Samoilla satunnaisluvuilla muodostettujen kuvien erotus tuottaa gradientin aikakomponentin. Aikaulottuvuuteen laajennettu rekonstruktio tuottaa usein käyttökelpoisen lopputuloksen lyhyemmässä ajassa. Neljäs menetelmä on syviin neuroverkkoihin perustuva rekonstruktio. Neuroverkko opetetaan minimoimaan mallikuvan ja verkon ulostulon välinen neuroverkkoihin perustuva etäisyysmitta. Tämän etäisyysfunktion käyttäminen parantaa rekonstruktioiden terävyyttä. Gradienttien käyttäminen neuroverkon syötteessä parantaa erityisesti lopullisen kuvan varjojen laatua.

Yksityiskohdat

AlkuperäiskieliEnglanti
PätevyysTohtorintutkinto
Myöntävä instituutio
Valvoja/neuvonantaja
Kustantaja
  • Aalto University
Painoksen ISBN978-952-60-8907-2
Sähköinen ISBN978-952-60-8908-9
TilaJulkaistu - 2020
OKM-julkaisutyyppiG5 Tohtorinväitöskirja (artikkeli)

    Tutkimusalat

  • realistinen kuvasynteesi, gradienttiavaruuden renderöinti, säteenseuranta

ID: 41318110