Systems and Methods for Multiple-View and Depth-Based People Tracking and Human-Computer Interaction

Otto Korkalo

Systems and Methods for Multiple-View and Depth-Based People Tracking and Human-Computer Interaction

Julkaisun otsikon käännös: Syvyyskameroihin ja usean kameran hyödyntämiseen perustuvia järjestelmiä ja menetelmiä ihmisten seurantaan sekä ihmisen ja tietokoneen väliseen vuorovaikutukseen

Otto Korkalo

Tietotekniikan laitos

Tutkimustuotos: Doctoral Thesis › Collection of Articles

Abstrakti

Tässä väitöskirjatyössä kehitettiin syvyyskameroihin ja useiden kameroiden hyödyntämiseen perustuvia konenäön järjestelmiä ja menetelmiä sovellettavaksi ihmisen ja tietokoneen välisessä vuorovaikutuksessa sekä älykkäissä ympäristöissä. Useiden kameroiden järjestelmiä käytetään kohteiden seurannassa tyypillisesti tarkkuuden ja luotettavuuden parantamiseksi sekä seuranta-alueen laajentamiseksi. Syvyyskamerat puolestaan tuottavat havaintoja suoraan kolmessa ulottuvuudessa, mikä tekee niistä houkuttelevia mainittujen sovellusten kannalta. Monikosketusnäytöt tarjoavat intuitiivisen tavan ihmisen ja tietokoneen väliseen vuorovaikutukseen. Tätä varten kehitettiin menetelmä, jossa hyödynnetään useita näytön reunoille sijoitettuja kameroita, mahdollistaen minkä tahansa näytön muuttamisen monikosketusnäytöksi. Kosketuspisteiden paikan estimointiin käytetään laajennettua Kalman-suodatusta, jossa kosketuspisteiden paikka- ja nopeustiedot päivitetään aina, kun kosketushavainto saadaan mistä tahansa kamerasta. Tämän ansiosta saavutettiin järjestelmän korkea päivitysnopeus ja pieni latenssi. Työssä tutkittiin myös erilaisia kamerakonfiguraatioita järjestelmän tarkan ja luotettavan toiminnan saavuttamiseksi. Kameroiden ja kamerajärjestelmien parametrien kalibrointi on välttämätön toimenpide havaintojen optimaalisen yhdistämisen ja seurattavien kohteiden tilan estimoinnin kannalta. Tyypillisesti kalibrointiin liittyvät toimenpiteet suoritetaan manuaalisesti, mikä on aikaa vievää ja epäkäytännöllistä. Tämän välttämiseksi työssä kehitettiin syvyyskameroihin perustuvan ihmisten seurantajärjestelmän automaattinen kalibrointimenetelmä. Menetelmän avulla voidaan määrittää kameraverkon topologia ja kameroiden kuvantamisprosessiin liittyvät parametrit suoraan niiden tuottamista havainnoista. Lisäksi työssä kehitettiin menetelmä havaintoihin liittyvien mittausepävarmuuksien automaattista määrittämistä varten. Yhdistetyssä todellisuudessa kameran paikan ja asennon estimoinnin tavoitteena on kohdistaa reaali- ja virtuaaliympäristöt toisiinsa reaaliaikaisesti ja kaikissa kolmessa ulottuvuudessa. Tavoitteen saavuttamiseksi työssä kehitettiin CAD-mallien (computer-aided design) käyttöön perustuva syvyyskameran paikan ja asennon estimointimenetelmä, jossa hyödynnetään nopeaa grafiikkasuoritinta hyödyntävää laskentaa. Menetelmä on sovellettavissa moniin erilaisiin objekteihin, ja sen käytön ainoana edellytyksenä on, että kohteesta voidaan luoda syvyyskartta halutusta katselusuunnasta. Työssä myös verrattiin menetelmän suorituskykyä syvyyskameraa hyödyntävään SLAM-pohjaiseen (simultaneous localization and mapping) menetelmään sekä tavanomaista kameraa hyödyntävään mallipohjaiseen menetelmään.

Julkaisun otsikon käännös	Syvyyskameroihin ja usean kameran hyödyntämiseen perustuvia järjestelmiä ja menetelmiä ihmisten seurantaan sekä ihmisen ja tietokoneen väliseen vuorovaikutukseen
Alkuperäiskieli	Englanti
Pätevyys	Tohtorintutkinto
Myöntävä instituutio	Aalto-yliopisto
Valvoja/neuvonantaja	Kannala, Juho, Vastuuprofessori Takala, Tapio, Vastuuprofessori Takala, Tapio, Ohjaaja
Kustantaja	Aalto University
Painoksen ISBN	978-952-64-1787-5
Sähköinen ISBN	978-952-64-1788-2
Tila	Julkaistu - 2024
OKM-julkaisutyyppi	G5 Artikkeliväitöskirja

Tutkimusalat

syvyyskamerat
monikamerajärjestelmät
ihmisten seuranta
kameran paikan ja asennon estimointi
monikosketusnäytöt
yhdistetty todellisuus

Pääsy asiakirjaan

http://urn.fi/URN:ISBN:978-952-64-1788-2

Siteeraa tätä

@phdthesis{555a9370a4bb4861a21527e8ea573208,

title = "Systems and Methods for Multiple-View and Depth-Based People Tracking and Human-Computer Interaction",

abstract = "This thesis presents systems and methods for real-time multiple-view and depth-based optical tracking for specific human-computer interaction and smart environment applications. Multiple-view systems are used for mitigating occlusions, enhancing tracking precision and accuracy, and extending the tracking volume to encompass larger scales. Depth cameras, on the other hand, offer the advantage of directly providing three-dimensional information from the scene, which makes them particularly appealing for spatial analysis. For multi-touch interaction, we developed a tracking approach that utilizes multiple side-view cameras to transform any flat surface into a multi-touch screen. Instead of explicitly triangulating the touch points, we employed an extended Kalman filter-based method in which the states of the touch points are updated whenever an observation is received from any of the cameras, ensuring low latency and rapid update rates. To position the cameras as close to the screen as possible, we employed fisheye lenses with modified distortion model, and explored the optimal camera configuration for achieving robust tracking with varying numbers of cameras and touch points. Accurate intrinsic and extrinsic calibration of cameras and camera systems is essential for optimal data fusion and state estimation. Typically, calibration procedures are carried out manually, which is not only time-consuming but can also be impractical. To address this issue in multiple-view depth camera-based people tracking systems, we have developed an auto-calibration method that directly derives the camera network topology and sensor calibration parameters from observations. Additionally, to account for the uncertainties in the observations during state estimation and data fusion, we developed a measurement noise model as part of the auto-calibration procedure. In mixed reality, the aim of camera pose estimation and tracking is to align the real and virtual environments in real-time and in all three dimensions. To achieve this goal, we developed a computer-aided design model-based depth camera tracking approach that utilizes a fast graphics processing unit-based iterative closest point method for pose estimation. This method can be applied to various objects, as long as a depth map from the object can be generated from the desired viewpoint. We conducted investigations into the applicability and performance of the method with different targets and concluded that the proposed approach exhibits reduced drift compared to simultaneous localization and mapping-based method and outperforms monocular edge-based method in terms of accuracy.",

keywords = "depth cameras, multiple-view systems, people tracking, camera pose estimation, multi-touch systems, mixed reality, syvyyskamerat, monikameraj{\"a}rjestelm{\"a}t, ihmisten seuranta, kameran paikan ja asennon estimointi, monikosketusn{\"a}yt{\"o}t, yhdistetty todellisuus, depth cameras, multiple-view systems, people tracking, camera pose estimation, multi-touch systems, mixed reality",

author = "Otto Korkalo",

year = "2024",

language = "English",

isbn = "978-952-64-1787-5",

series = "Aalto University publication series DOCTORAL THESES",

publisher = "Aalto University",

number = "88",

address = "Finland",

school = "Aalto University",

}

TY - BOOK

T1 - Systems and Methods for Multiple-View and Depth-Based People Tracking and Human-Computer Interaction

AU - Korkalo, Otto

PY - 2024

Y1 - 2024

N2 - This thesis presents systems and methods for real-time multiple-view and depth-based optical tracking for specific human-computer interaction and smart environment applications. Multiple-view systems are used for mitigating occlusions, enhancing tracking precision and accuracy, and extending the tracking volume to encompass larger scales. Depth cameras, on the other hand, offer the advantage of directly providing three-dimensional information from the scene, which makes them particularly appealing for spatial analysis. For multi-touch interaction, we developed a tracking approach that utilizes multiple side-view cameras to transform any flat surface into a multi-touch screen. Instead of explicitly triangulating the touch points, we employed an extended Kalman filter-based method in which the states of the touch points are updated whenever an observation is received from any of the cameras, ensuring low latency and rapid update rates. To position the cameras as close to the screen as possible, we employed fisheye lenses with modified distortion model, and explored the optimal camera configuration for achieving robust tracking with varying numbers of cameras and touch points. Accurate intrinsic and extrinsic calibration of cameras and camera systems is essential for optimal data fusion and state estimation. Typically, calibration procedures are carried out manually, which is not only time-consuming but can also be impractical. To address this issue in multiple-view depth camera-based people tracking systems, we have developed an auto-calibration method that directly derives the camera network topology and sensor calibration parameters from observations. Additionally, to account for the uncertainties in the observations during state estimation and data fusion, we developed a measurement noise model as part of the auto-calibration procedure. In mixed reality, the aim of camera pose estimation and tracking is to align the real and virtual environments in real-time and in all three dimensions. To achieve this goal, we developed a computer-aided design model-based depth camera tracking approach that utilizes a fast graphics processing unit-based iterative closest point method for pose estimation. This method can be applied to various objects, as long as a depth map from the object can be generated from the desired viewpoint. We conducted investigations into the applicability and performance of the method with different targets and concluded that the proposed approach exhibits reduced drift compared to simultaneous localization and mapping-based method and outperforms monocular edge-based method in terms of accuracy.

AB - This thesis presents systems and methods for real-time multiple-view and depth-based optical tracking for specific human-computer interaction and smart environment applications. Multiple-view systems are used for mitigating occlusions, enhancing tracking precision and accuracy, and extending the tracking volume to encompass larger scales. Depth cameras, on the other hand, offer the advantage of directly providing three-dimensional information from the scene, which makes them particularly appealing for spatial analysis. For multi-touch interaction, we developed a tracking approach that utilizes multiple side-view cameras to transform any flat surface into a multi-touch screen. Instead of explicitly triangulating the touch points, we employed an extended Kalman filter-based method in which the states of the touch points are updated whenever an observation is received from any of the cameras, ensuring low latency and rapid update rates. To position the cameras as close to the screen as possible, we employed fisheye lenses with modified distortion model, and explored the optimal camera configuration for achieving robust tracking with varying numbers of cameras and touch points. Accurate intrinsic and extrinsic calibration of cameras and camera systems is essential for optimal data fusion and state estimation. Typically, calibration procedures are carried out manually, which is not only time-consuming but can also be impractical. To address this issue in multiple-view depth camera-based people tracking systems, we have developed an auto-calibration method that directly derives the camera network topology and sensor calibration parameters from observations. Additionally, to account for the uncertainties in the observations during state estimation and data fusion, we developed a measurement noise model as part of the auto-calibration procedure. In mixed reality, the aim of camera pose estimation and tracking is to align the real and virtual environments in real-time and in all three dimensions. To achieve this goal, we developed a computer-aided design model-based depth camera tracking approach that utilizes a fast graphics processing unit-based iterative closest point method for pose estimation. This method can be applied to various objects, as long as a depth map from the object can be generated from the desired viewpoint. We conducted investigations into the applicability and performance of the method with different targets and concluded that the proposed approach exhibits reduced drift compared to simultaneous localization and mapping-based method and outperforms monocular edge-based method in terms of accuracy.

KW - depth cameras

KW - multiple-view systems

KW - people tracking

KW - camera pose estimation

KW - multi-touch systems

KW - mixed reality

KW - syvyyskamerat

KW - monikamerajärjestelmät

KW - ihmisten seuranta

KW - kameran paikan ja asennon estimointi

KW - monikosketusnäytöt

KW - yhdistetty todellisuus

KW - depth cameras

KW - multiple-view systems

KW - people tracking

KW - camera pose estimation

KW - multi-touch systems

KW - mixed reality

M3 - Doctoral Thesis

SN - 978-952-64-1787-5

T3 - Aalto University publication series DOCTORAL THESES

PB - Aalto University

ER -

Systems and Methods for Multiple-View and Depth-Based People Tracking and Human-Computer Interaction

Abstrakti

Tutkimusalat

Pääsy asiakirjaan

Sormenjälki

Siteeraa tätä