Towards Improved Learning in Gaussian Processes: The Best of Two Worlds

Rui Li*, Ti John, Arno Solin

*Tämän työn vastaava kirjoittaja

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaKonferenssiesitysScientificvertaisarvioitu

Abstrakti

Gaussian process training decomposes into inference of the (approximate) posterior and learning of the hyperparameters. For non-Gaussian (non-conjugate) likelihoods, two common choices for approximate inference are Expectation Propagation (EP) and Variational Inference (VI), which have complementary strengths and weaknesses. While VI's lower bound to the marginal likelihood is a suitable objective for inferring the approximate posterior, it does not automatically imply it is a good learning objective for hyperparameter optimization. We design a hybrid training procedure where the inference leverages conjugate-computation VI and the learning uses an EP-like marginal likelihood approximation. We empirically demonstrate on binary classification that this provides a good learning objective and generalizes better.
AlkuperäiskieliEnglanti
TilaJulkaistu - 2022
OKM-julkaisutyyppiEi oikeutettu
TapahtumaConference on Neural Information Processing Systems - New Orleans, Yhdysvallat
Kesto: 28 marrask. 20229 jouluk. 2022
Konferenssinumero: 36
https://nips.cc/

Conference

ConferenceConference on Neural Information Processing Systems
LyhennettäNeurIPS
Maa/AlueYhdysvallat
KaupunkiNew Orleans
Ajanjakso28/11/202209/12/2022
www-osoite

Sormenjälki

Sukella tutkimusaiheisiin 'Towards Improved Learning in Gaussian Processes: The Best of Two Worlds'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

Siteeraa tätä