Visual category detection: an experimental perspective

Ville Viitaniemi

Visual category detection: an experimental perspective

Julkaisun otsikon käännös: Visuaalisten kategorioiden tunnistaminen: kokeellinen näkökulma

Ville Viitaniemi

Tutkimustuotos: Doctoral Thesis › Collection of Articles

Abstrakti

Nykyaika tuottaa jatkuvasti valtavia määriä visuaalista digitaalista aineistoa. Jotta näistä suurista tietoaineistoista voitaisiin automaattisesti löytää käyttökelpoista informaatiota, olisi löydettävä jonkinlainen vastaus tietokonenäön pitkäaikaiseen peruskysymykseen: kuinka saada tietokoneet ymmärtämään kuvien sisältöä? Tässä väitöskirjassa visuaalisen sisällön luonnehtimista tarkastellaan kategorioiden tunnistamisen näkökulmasta. Yleinen kuvan sisällön luonnehtimistehtävä pilkotaan lukuisiksi pieniksi kyllä-ei -päätöstehtäviksi. Kussakin yksittäisessä päätöstehtävässä vastataan kysymykseen, kuuluuko tarkasteltava kuva johonkin ennalta määrättyyn kategoriaan. Voitaisiin esimerkiksi määritellä, että sisätiloissa otetut kuvat muodostavat yhden kategorian. Kuvien sisältöä voidaan kuvailla halutulla yksityiskohtaisuustasolla määrittelemällä sopiva joukko kategorioita ja tunnistamalla kunkin kategorian kohdalla, mitkä kuvat siihen kuuluvat. Väitöskirjassa käsitellään mallia, jossa kategoriantunnistusjärjestelmä koostuu kolmesta pääosasta: piirreirrotuksesta, piirrekohtaisesta tunnistuksesta sekä näiden tunnistustulosten fuusiosta. Tekstin näkökulma on kokeellinen: tämän järjestelmäarkkitehtuurin toimivuus perustellaan hyvillä suorituskykyarvoilla, joita siihen perustuvat järjestelmät ovat saavuttaneet erilaisissa visuaalisen analyysin suorituskykyä mittaavissa tehtävissä. Väitöskirjassa kuvataan lukuisia kokeita, joissa arvioidaan eri tekniikoita järjestelmän kolmen pääkomponentin toteuttamiseksi. Toteutustekniikoiden vertailemisen lisäksi kokeet myös osoittavat, että esitetty yleiskäyttöinen kategoriantunnistusmalli on hyvin joustava: joukko erilaisia visuaalisia analyysitehtäviä on voitu ratkaista järjestelmällä, jonka ydinosan kaikissa tapauksissa muodostaa sama kategoriantunnistinkomponentti. Eri tehtäviä varten ydin on ympäröity tehtäväkohtaisilla sovitinosilla. Väitöskirjassa esitettyjen kokeiden ja analyysien perusteella voidaan päätellä, että kategorioiden tunnistaminen on käyttökelpoinen tapa lähestyä yleistä kuvien sisällön tulkitsemistehtävää. Voidaan myös todeta, että esitetyllä piirrefuusiota hyödyntävällä järjestelmäarkkitehtuurilla ja esitetyillä järjestelmän osien toteutustekniikoilla saavutetaan tämänhetkinen huipputaso kategoriantunnistuksessa.

Julkaisun otsikon käännös	Visuaalisten kategorioiden tunnistaminen: kokeellinen näkökulma
Alkuperäiskieli	Englanti
Pätevyys	Tohtorintutkinto
Myöntävä instituutio	Aalto-yliopisto
Valvoja/neuvonantaja	Oja, Erkki, Vastuuprofessori Laaksonen, Jorma, Ohjaaja
Kustantaja	Aalto University
Painoksen ISBN	978-952-60-4585-6
Sähköinen ISBN	978-952-60-4586-3
Tila	Julkaistu - 2012
OKM-julkaisutyyppi	G5 Artikkeliväitöskirja

Tutkimusalat

konenäkö
kuva-analyysi
visuaalinen kategoria
piirrefuusio
paikallinen kuvapiirre

Pääsy asiakirjaan

http://urn.fi/URN:ISBN:978-952-60-4586-3

Siteeraa tätä

@phdthesis{d126b57a515b4c6b8438719f03e6224a,

title = "Visual category detection: an experimental perspective",

abstract = "Nowadays huge volumes of digital visual data are constantly being produced and archived. Automatically distilling useful information from such information masses requires one to somehow answer the grand long-standing question of computer vision: how to make computers understand images? In this thesis the visual content analysis problem is looked at as a category detection problem. In the category detection formulation, the general image content understanding task is partitioned into a number of small binary decision tasks. In each of the sub-tasks, one decides whether an image belongs to some pre-defined category. A category could be defined, for example, to consist of images taken indoors. By defining an appropriate set of categories, the visual content of an image can be described on a desired level of granularity by determining the image's membership in each one of the categories. This thesis discusses a framework for visual category detection that consists of three major components: feature extraction, feature-wise detection and fusion of the detection results. The point of view in the discussion is empirical: the framework is validated by the good levels of performance systems implementing it have demonstrated in various benchmark tasks of visual analysis. A body of experiments is described that compare various technological alternatives for implementing the three major components of the framework. In addition to comparing implementation techniques, the experiments demonstrate that the discussed generic category detection architecture is very versatile: a set of diverse visual analysis problems can be addressed using the same visual category detection system as a backbone component by equipping the system with a task-specific front-end. From the experiments and discussion in the thesis, one can conclude that the category detection formulation is a useful way of approaching the general image content understanding problem. In category detection, performances reaching the state-of-the-art can be realised using the presented fusion-based system architecture and implementation technologies of the system components.",

keywords = "computer vision, image analysis, visual category, feature fusion, local image descriptor, konen{\"a}k{\"o}, kuva-analyysi, visuaalinen kategoria, piirrefuusio, paikallinen kuvapiirre, computer vision, image analysis, visual category, feature fusion, local image descriptor",

author = "Ville Viitaniemi",

year = "2012",

language = "English",

isbn = "978-952-60-4585-6",

series = "Aalto University publication series DOCTORAL DISSERTATIONS",

publisher = "Aalto University",

number = "45",

address = "Finland",

school = "Aalto University",

}

TY - BOOK

T1 - Visual category detection: an experimental perspective

AU - Viitaniemi, Ville

PY - 2012

Y1 - 2012

N2 - Nowadays huge volumes of digital visual data are constantly being produced and archived. Automatically distilling useful information from such information masses requires one to somehow answer the grand long-standing question of computer vision: how to make computers understand images? In this thesis the visual content analysis problem is looked at as a category detection problem. In the category detection formulation, the general image content understanding task is partitioned into a number of small binary decision tasks. In each of the sub-tasks, one decides whether an image belongs to some pre-defined category. A category could be defined, for example, to consist of images taken indoors. By defining an appropriate set of categories, the visual content of an image can be described on a desired level of granularity by determining the image's membership in each one of the categories. This thesis discusses a framework for visual category detection that consists of three major components: feature extraction, feature-wise detection and fusion of the detection results. The point of view in the discussion is empirical: the framework is validated by the good levels of performance systems implementing it have demonstrated in various benchmark tasks of visual analysis. A body of experiments is described that compare various technological alternatives for implementing the three major components of the framework. In addition to comparing implementation techniques, the experiments demonstrate that the discussed generic category detection architecture is very versatile: a set of diverse visual analysis problems can be addressed using the same visual category detection system as a backbone component by equipping the system with a task-specific front-end. From the experiments and discussion in the thesis, one can conclude that the category detection formulation is a useful way of approaching the general image content understanding problem. In category detection, performances reaching the state-of-the-art can be realised using the presented fusion-based system architecture and implementation technologies of the system components.

AB - Nowadays huge volumes of digital visual data are constantly being produced and archived. Automatically distilling useful information from such information masses requires one to somehow answer the grand long-standing question of computer vision: how to make computers understand images? In this thesis the visual content analysis problem is looked at as a category detection problem. In the category detection formulation, the general image content understanding task is partitioned into a number of small binary decision tasks. In each of the sub-tasks, one decides whether an image belongs to some pre-defined category. A category could be defined, for example, to consist of images taken indoors. By defining an appropriate set of categories, the visual content of an image can be described on a desired level of granularity by determining the image's membership in each one of the categories. This thesis discusses a framework for visual category detection that consists of three major components: feature extraction, feature-wise detection and fusion of the detection results. The point of view in the discussion is empirical: the framework is validated by the good levels of performance systems implementing it have demonstrated in various benchmark tasks of visual analysis. A body of experiments is described that compare various technological alternatives for implementing the three major components of the framework. In addition to comparing implementation techniques, the experiments demonstrate that the discussed generic category detection architecture is very versatile: a set of diverse visual analysis problems can be addressed using the same visual category detection system as a backbone component by equipping the system with a task-specific front-end. From the experiments and discussion in the thesis, one can conclude that the category detection formulation is a useful way of approaching the general image content understanding problem. In category detection, performances reaching the state-of-the-art can be realised using the presented fusion-based system architecture and implementation technologies of the system components.

KW - computer vision

KW - image analysis

KW - visual category

KW - feature fusion

KW - local image descriptor

KW - konenäkö

KW - kuva-analyysi

KW - visuaalinen kategoria

KW - piirrefuusio

KW - paikallinen kuvapiirre

KW - computer vision

KW - image analysis

KW - visual category

KW - feature fusion

KW - local image descriptor

M3 - Doctoral Thesis

SN - 978-952-60-4585-6

T3 - Aalto University publication series DOCTORAL DISSERTATIONS

PB - Aalto University

ER -

Visual category detection: an experimental perspective

Abstrakti

Tutkimusalat

Pääsy asiakirjaan

Sormenjälki

Siteeraa tätä