Robust and Deployable Gesture Recognition for Smartwatches

Utkarsh Kunwar, Sheetal Borar, Moritz Berghofer, Julia Kylmälä, Ilhan Aslan, Luis A. Leiva, Antti Oulasvirta

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference article in proceedingsScientificvertaisarvioitu

5 Sitaatiot (Scopus)
126 Lataukset (Pure)

Abstrakti

Gesture recognition on smartwatches is challenging not only due to resource constraints but also due to the dynamically changing conditions of users. It is currently an open problem how to engineer gesture recognisers that are robust and yet deployable on smartwatches. Recent research has found that common everyday events, such as a user removing and wearing their smartwatch again, can deteriorate recognition accuracy significantly. In this paper, we suggest that prior understanding of causes behind everyday variability and false positives should be exploited in the development of recognisers. To this end, first, we present a data collection method that aims at diversifying gesture data in a representative way, in which users are taken through experimental conditions that resemble known causes of variability (e.g., walking while gesturing) and are asked to produce deliberately varied, but realistic gestures. Secondly, we review known approaches in machine learning for recogniser design on constrained hardware. We propose convolution-based network variations for classifying raw sensor data, achieving greater than 98% accuracy reliably under both individual and situational variations where previous approaches have reported significant performance deterioration. This performance is achieved with a model that is two orders of magnitude less complex than previous state-of-the-art models. Our work suggests that deployable and robust recognition is feasible but requires systematic efforts in data collection and network design to address known causes of gesture variability.

AlkuperäiskieliEnglanti
Otsikko27th International Conference on Intelligent User Interfaces, IUI 2022
KustantajaACM
Sivut277-291
Sivumäärä15
ISBN (elektroninen)978-1-4503-9144-3
DOI - pysyväislinkit
TilaJulkaistu - 22 maalisk. 2022
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisussa
TapahtumaInternational Conference on Intelligent User Interfaces - Virtual, Online, Suomi
Kesto: 22 maalisk. 202225 maalisk. 2022
Konferenssinumero: 27

Julkaisusarja

NimiInternational Conference on Intelligent User Interfaces, Proceedings IUI

Conference

ConferenceInternational Conference on Intelligent User Interfaces
LyhennettäIUI
Maa/AlueSuomi
KaupunkiVirtual, Online
Ajanjakso22/03/202225/03/2022

Sormenjälki

Sukella tutkimusaiheisiin 'Robust and Deployable Gesture Recognition for Smartwatches'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.
  • Human Automata: Kollaboratiivisen tekoälyn simulaattorimenetelmät

    Oulasvirta, A. (Vastuullinen tutkija), Shiripour, M. (Projektin jäsen), Putkonen, A.-M. (Projektin jäsen), Rastogi, A. (Projektin jäsen), Hegemann, L. (Projektin jäsen), Iyer, A. (Projektin jäsen), Santala, S. (Projektin jäsen), Dayama, N. (Projektin jäsen), Laine, M. (Projektin jäsen), Halasinamara Chandramouli, S. (Projektin jäsen), Li, C. (Projektin jäsen), Liao, Y.-C. (Projektin jäsen), Kylmälä, J. (Projektin jäsen), Nioche, A. (Projektin jäsen) & Kompatscher, J. (Projektin jäsen)

    01/01/202031/12/2023

    Projekti: Academy of Finland: Other research funding

  • -: Finnish Center for Artificial Intelligence

    Kaski, S. (Vastuullinen tutkija)

    01/01/201931/12/2022

    Projekti: Academy of Finland: Other research funding

  • -: Bayesian Artefact Design

    Oulasvirta, A. (Vastuullinen tutkija), Shin, J. (Projektin jäsen), Hegemann, L. (Projektin jäsen), Todi, K. (Projektin jäsen), Putkonen, A.-M. (Projektin jäsen), Halasinamara Chandramouli, S. (Projektin jäsen), Hassinen, H. (Projektin jäsen), Dayama, N. (Projektin jäsen), Leiva, L. (Projektin jäsen), Laine, M. (Projektin jäsen), Zhu, Y. (Projektin jäsen), Liao, Y.-C. (Projektin jäsen), Peng, Z. (Projektin jäsen) & Nioche, A. (Projektin jäsen)

    01/09/201831/08/2023

    Projekti: Academy of Finland: Other research funding

Siteeraa tätä