Dual parameterization of sparse variational Gaussian processes

Vincent Adam*, Paul Chang*, Mohammad Emtiyaz Khan, Arno Solin

*Tämän työn vastaava kirjoittaja

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference contributionScientificvertaisarvioitu

9 Lataukset (Pure)

Abstrakti

Sparse variational Gaussian process (SVGP) methods are a common choice for non-conjugate Gaussian process inference because of their computational benefits. In this paper, we improve their computational efficiency by using a dual parameterization where each data example is assigned dual parameters, similarly to site parameters used in expectation propagation. Our dual parameterization speeds-up inference using natural gradient descent, and provides a tighter evidence lower bound for hyperparameter learning. The approach has the same memory cost as the current SVGP methods, but it is faster and more accurate.
AlkuperäiskieliEnglanti
OtsikkoAdvances in Neural Information Processing Systems 34 pre-proceedings (NeurIPS 2021)
Sivumäärä12
TilaJulkaistu - 2021
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaConference on Neural Information Processing Systems - Virtual, Online
Kesto: 6 joulukuuta 202114 joulukuuta 2021
Konferenssinumero: 35
https://neurips.cc

Julkaisusarja

NimiAdvances in Neural Information Processing Systems
KustantajaMorgan Kaufmann Publishers
ISSN (painettu)1049-5258

Conference

ConferenceConference on Neural Information Processing Systems
LyhennettäNeurIPS
KaupunkiVirtual, Online
Ajanjakso06/12/202114/12/2021
www-osoite

Sormenjälki

Sukella tutkimusaiheisiin 'Dual parameterization of sparse variational Gaussian processes'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

Siteeraa tätä