Hierarchical Imitation Learning with Vector Quantized Models

Kalle Kujanpää, Joni Pajarinen, Alexander Ilin

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference article in proceedingsScientificvertaisarvioitu

26 Lataukset (Pure)

Abstrakti

The ability to plan actions on multiple levels of abstraction enables intelligent agents to solve complex tasks effectively. However, learning the models for both low and high-level planning from demonstrations has proven challenging, especially with higher-dimensional inputs. To address this issue, we propose to use reinforcement learning to identify subgoals in expert trajectories by associating the magnitude of the rewards with the predictability of low-level actions given the state and the chosen subgoal. We build a vector-quantized generative model for the identified subgoals to perform subgoal-level planning. In experiments, the algorithm excels at solving complex, long-horizon decision-making problems outperforming state-of-the-art. Because of its ability to plan, our algorithm can find better trajectories than the ones in the training set.
AlkuperäiskieliEnglanti
OtsikkoProceedings of the 40th International Conference on Machine Learning
ToimittajatAndread Krause, Emma Brunskill, Kyunghyun Cho, Barbara Engelhardt, Sivan Sabato, Jonathan Scarlett
KustantajaJMLR
Sivut17896-17919
Sivumäärä24
TilaJulkaistu - heinäk. 2023
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisussa
TapahtumaInternational Conference on Machine Learning - Honolulu, Yhdysvallat
Kesto: 23 heinäk. 202329 heinäk. 2023
Konferenssinumero: 40

Julkaisusarja

NimiProceedings of Machine Learning Research
KustantajaPMLR
Vuosikerta202
ISSN (elektroninen)2640-3498

Conference

ConferenceInternational Conference on Machine Learning
LyhennettäICML
Maa/AlueYhdysvallat
KaupunkiHonolulu
Ajanjakso23/07/202329/07/2023

Sormenjälki

Sukella tutkimusaiheisiin 'Hierarchical Imitation Learning with Vector Quantized Models'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

Siteeraa tätä