GANSpace: Discovering Interpretable GAN controls

Erik Härkönen, Aaron Hertzman, Jaakko Lehtinen, Sylvain Paris

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference contributionScientificvertaisarvioitu

Abstrakti

This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Component Analysis (PCA) applied either in latent space or feature space. Then, we show that a large number of interpretable controls can be defined by layer-wise perturbation along the principal directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. We show results on different GANs trained on various datasets, and demonstrate good qualitative matches to edit directions found through earlier supervised approaches.
AlkuperäiskieliEnglanti
OtsikkoThirty-fourth Conference on Neural Information Processing Systems
Sivumäärä10
TilaJulkaistu - 2020
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaIEEE Conference on Neural Information Processing Systems; - Virtual, Vancouver, Kanada
Kesto: 6 joulukuuta 202012 joulukuuta 2020
Konferenssinumero: 34

Julkaisusarja

NimiAdvances in neural information processing systems
KustantajaMorgan Kaufmann Publishers
Vuosikerta33
ISSN (painettu)1049-5258

Conference

ConferenceIEEE Conference on Neural Information Processing Systems;
LyhennettäNeurIPS
MaaKanada
KaupunkiVancouver
Ajanjakso06/12/202012/12/2020

Sormenjälki Sukella tutkimusaiheisiin 'GANSpace: Discovering Interpretable GAN controls'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

Siteeraa tätä