Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

Miika Aittala

Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

Julkaisun otsikon käännös: Laskennallisia menetelmiä pintamateriaalien ulkonäön kaappaamiseen ja toisintamiseen

Miika Aittala

Tietotekniikan laitos

Tutkimustuotos: Doctoral Thesis › Collection of Articles

Abstrakti

Tämä väitöskirja käsittelee pintamateriaalien ulkonäön automaattista kaappaamista ja toistamista tietokonegrafiikan sovelluksia varten. Ulkonäkö muodustuu värien, kiiltävyyden ja pinnanmuotojen vaihtelusta, ja se on keskeisen tärkeä osa esineiden visuaalista uskottavuutta synteettisessä kuvanmuodostuksessa. Näiden ominaisuuksien kaappaaminen edellyttää heijastuneen valon määrän mittaamista lukuisissa valaistus- ja katseluolosuhteissa. Pääosa olemassaolevista menetelmistä hyödyntää joko monimutkaisia mekaanisia laitteita tai yksinkertaistettuja heuristiikkoja, jotka eivät toista pintojen ulkonäköä uskollisesti. Tämän seurauksena suurin osa käytännön sisällöntuotantotyöstä tehdään edelleen käsin. Tässä väitöskirjassa esitellään kolme menetelmää visuaalisesti rikkaiden pintamateriaalimallien kaappaamiseksi käyttäen yksinkertaisia laitteistoja ja suhteellisen vähälukuisia mittauksia. Erityinen huomio kohdistuu yksityiskohtaisen, pinnalla vaihtuvan rakenteen mallintamiseen, siinä missä aikaisemmassa tutkimuksessa on usein keskitytty ensisijaisesti katselukulman vaikutuksen mallintamiseen. Esiteltävät menetelmät hyödyntävät modernin data-analyysin työkaluja — erityisesti hyvin määriteltyjä optimointitehtäviä — erotellakseen ja selittääkseen havaitut heijastusilmiöt vähäisessä mittausdatassa. Ensimmäinen menetelmä hyödyntää litteää monitoria ohjelmoitavana valonlähteenä ja järjestelmäkameraa pinnasta heijastuneen valon määrän mittaamiseen. Monitorilla näytetään Fourier-kantafunktioita, jotka soveltuvat hyvin heijastusfunktioiden matemaattiseen käsittelyyn ja tulkitsemiseen, ja joiden lukuisat matemaattiset erityisominaisuudet mahdollistavat tehokkaan laskennallisen ratkaisumenetelmän muodostamisen. Jälkimmäiset kaksi menetelmää hyödyntävät todellisen maailman pinnoille tyypillistä stationaarista rakennetta, jossa keskenään samankaltaiset pienet elementit toistuvat koko pinnan yli. Yhdistämällä mittaushavaintoja toistuneiden elementtien kesken menetelmät saavuttavat korkealaatuisia kaappaustuloksia vain kahdesta ja yhdestä valokuvasta. Valokuvien ottamiseen käytetään matkapuhelimen kameraa. Kaapatut heijastusmallit toistavat pintojen ulkonäön uskollisesti uusissa katselu- ja valaistusolosuhteissa. Tulokset vertautuvat edullisesti aiempiin vastaavia kevyitä laitteistoja hyödyntäviin menetelmiin. Ne ovat suoraan käytettävissä useissa tietokonegrafiikan sovelluksissa, mukaanlukien pelit, elokuvat sekä virtuaali- ja lisätty todellisuus.

Julkaisun otsikon käännös	Laskennallisia menetelmiä pintamateriaalien ulkonäön kaappaamiseen ja toisintamiseen
Alkuperäiskieli	Englanti
Pätevyys	Tohtorintutkinto
Myöntävä instituutio	Aalto-yliopisto
Valvoja/neuvonantaja	Lehtinen, Jaakko, Vastuuprofessori
Kustantaja	Aalto University
Painoksen ISBN	978-952-60-7048-3
Sähköinen ISBN	978-952-60-7047-6
Tila	Julkaistu - 2016
OKM-julkaisutyyppi	G5 Artikkeliväitöskirja

Tutkimusalat

tietokonegrafiikka
pintamateriaalit
heijastavuus
synteettinen kuvantaminen
tekstuuri
käänteisongelmat
optimointi

Pääsy asiakirjaan

http://urn.fi/URN:ISBN:978-952-60-7047-6Lisenssi: Määrittelemätön

Best PhD Thesis Annual Award
Aittala, M. (Recipient) & Lehtinen, J. (Valvoja), syysk. 2017
Palkinto: Palkinto tai huomionosoitus tuotoksesta
Best PhD Thesis Award
Aittala, M. (Recipient) & Lehtinen, J. (Valvoja), marrask. 2017
Palkinto: Palkinto tai huomionosoitus tuotoksesta

Siteeraa tätä

@phdthesis{a4348678619346f5bee64f14dee0419b,

title = "Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance",

abstract = "This thesis addresses the problem of capturing and reproducing surface material appearance from real-world examples for use in computer graphics applications. Detailed variation of color, shininess and small-scale shape is a critically important factor in visual plausibility of objects in synthetic images. Capturing these properties relies on measuring reflected light under various viewing and illumination conditions. Existing methods typically employ either complex mechanical devices, or heuristics that sacrifice fidelity for simplicity. Consequently, computer graphics practitioners continue to use manual authoring tools. The thesis introduces three methods for capturing visually rich surface appearance descriptors using simple hardware setups and relatively little measurement data. The specific focus is on capturing detailed spatial variation of the reflectance properties, as opposed to angular variation, which is the primary focus of most previous work. We apply tools from modern data science — in particular, principled optimization-based approaches — to disentangle and explain the various reflectance effects in the scarce measurement data. The first method uses a flat panel monitor as a programmable light source, and an SLR camera to observe reflections off the captured surface. The monitor is used to emit Fourier basis function patterns, which are well suited for isolating the reflectance properties of interest, and also exhibit a rich set of mathematical properties that enable computationally efficient interpretation of the data. The other two methods rely on the observation that the spatial variation of many real-world materials is stationary, in the sense that it consists of small elements repeating across the surface. By taking advantage of this redundancy, the methods demonstrate high-quality appearance capture from two photographs, and only a single photograph, respectively. The photographs are acquired using a mobile phone camera. The resulting reflectance descriptors faithfully reproduce the appearance of the surface under novel viewing and illumination conditions. We demonstrate state of the art results among approaches with similar hardware complexity. The descriptors captured by the methods are directly usable in computer graphics applications, including games, film, and virtual and augmented reality.",

keywords = "computer graphics, surface appearance, materials, reflectance, rendering, texture, inverse problems, optimization, tietokonegrafiikka, pintamateriaalit, heijastavuus, synteettinen kuvantaminen, tekstuuri, k{\"a}{\"a}nteisongelmat, optimointi, computer graphics, surface appearance, materials, reflectance, rendering, texture, inverse problems, optimization",

author = "Miika Aittala",

year = "2016",

language = "English",

isbn = "978-952-60-7048-3",

series = "Aalto University publication series DOCTORAL DISSERTATIONS",

publisher = "Aalto University",

number = "199",

address = "Finland",

school = "Aalto University",

}

TY - BOOK

T1 - Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

AU - Aittala, Miika

PY - 2016

Y1 - 2016

N2 - This thesis addresses the problem of capturing and reproducing surface material appearance from real-world examples for use in computer graphics applications. Detailed variation of color, shininess and small-scale shape is a critically important factor in visual plausibility of objects in synthetic images. Capturing these properties relies on measuring reflected light under various viewing and illumination conditions. Existing methods typically employ either complex mechanical devices, or heuristics that sacrifice fidelity for simplicity. Consequently, computer graphics practitioners continue to use manual authoring tools. The thesis introduces three methods for capturing visually rich surface appearance descriptors using simple hardware setups and relatively little measurement data. The specific focus is on capturing detailed spatial variation of the reflectance properties, as opposed to angular variation, which is the primary focus of most previous work. We apply tools from modern data science — in particular, principled optimization-based approaches — to disentangle and explain the various reflectance effects in the scarce measurement data. The first method uses a flat panel monitor as a programmable light source, and an SLR camera to observe reflections off the captured surface. The monitor is used to emit Fourier basis function patterns, which are well suited for isolating the reflectance properties of interest, and also exhibit a rich set of mathematical properties that enable computationally efficient interpretation of the data. The other two methods rely on the observation that the spatial variation of many real-world materials is stationary, in the sense that it consists of small elements repeating across the surface. By taking advantage of this redundancy, the methods demonstrate high-quality appearance capture from two photographs, and only a single photograph, respectively. The photographs are acquired using a mobile phone camera. The resulting reflectance descriptors faithfully reproduce the appearance of the surface under novel viewing and illumination conditions. We demonstrate state of the art results among approaches with similar hardware complexity. The descriptors captured by the methods are directly usable in computer graphics applications, including games, film, and virtual and augmented reality.

AB - This thesis addresses the problem of capturing and reproducing surface material appearance from real-world examples for use in computer graphics applications. Detailed variation of color, shininess and small-scale shape is a critically important factor in visual plausibility of objects in synthetic images. Capturing these properties relies on measuring reflected light under various viewing and illumination conditions. Existing methods typically employ either complex mechanical devices, or heuristics that sacrifice fidelity for simplicity. Consequently, computer graphics practitioners continue to use manual authoring tools. The thesis introduces three methods for capturing visually rich surface appearance descriptors using simple hardware setups and relatively little measurement data. The specific focus is on capturing detailed spatial variation of the reflectance properties, as opposed to angular variation, which is the primary focus of most previous work. We apply tools from modern data science — in particular, principled optimization-based approaches — to disentangle and explain the various reflectance effects in the scarce measurement data. The first method uses a flat panel monitor as a programmable light source, and an SLR camera to observe reflections off the captured surface. The monitor is used to emit Fourier basis function patterns, which are well suited for isolating the reflectance properties of interest, and also exhibit a rich set of mathematical properties that enable computationally efficient interpretation of the data. The other two methods rely on the observation that the spatial variation of many real-world materials is stationary, in the sense that it consists of small elements repeating across the surface. By taking advantage of this redundancy, the methods demonstrate high-quality appearance capture from two photographs, and only a single photograph, respectively. The photographs are acquired using a mobile phone camera. The resulting reflectance descriptors faithfully reproduce the appearance of the surface under novel viewing and illumination conditions. We demonstrate state of the art results among approaches with similar hardware complexity. The descriptors captured by the methods are directly usable in computer graphics applications, including games, film, and virtual and augmented reality.

KW - computer graphics

KW - surface appearance

KW - materials

KW - reflectance

KW - rendering

KW - texture

KW - inverse problems

KW - optimization

KW - tietokonegrafiikka

KW - pintamateriaalit

KW - heijastavuus

KW - synteettinen kuvantaminen

KW - tekstuuri

KW - käänteisongelmat

KW - optimointi

KW - computer graphics

KW - surface appearance

KW - materials

KW - reflectance

KW - rendering

KW - texture

KW - inverse problems

KW - optimization

M3 - Doctoral Thesis

SN - 978-952-60-7048-3

T3 - Aalto University publication series DOCTORAL DISSERTATIONS

PB - Aalto University

ER -

Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

Abstrakti

Tutkimusalat

Pääsy asiakirjaan

Sormenjälki

Palkinnot

Best PhD Thesis Annual Award

Best PhD Thesis Award

Siteeraa tätä