Towards Cycle-Consistent Models for Text and Image Retrieval

Marcella Cornia, Lorenzo Baraldi, Hamed Rezazadegan Tavakoli, Rita Cucchiara

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference contributionScientificvertaisarvioitu

1 Sitaatiot (Scopus)

Abstrakti

Cross-modal retrieval has been recently becoming an hot-spot research, thanks to the development of deeply-learnable architectures. Such architectures generally learn a joint multi-modal embedding space in which text and images could be projected and compared. Here we investigate a different approach, and reformulate the problem of cross-modal retrieval as that of learning a translation between the textual and visual domain. In particular, we propose an end-to-end trainable model which can translate text into image features and vice versa, and regularizes this mapping with a cycle-consistency criterion. Preliminary experimental evaluations show promising results with respect to ordinary visual-semantic models.
AlkuperäiskieliEnglanti
OtsikkoComputer Vision – ECCV 2018 Workshops, Proceedings
ToimittajatLaura Leal-Taixé, Stefan Roth
Sivut687-691
Sivumäärä5
ISBN (elektroninen)978-3-030-11018-5
DOI - pysyväislinkit
TilaJulkaistu - 1 tammikuuta 2019
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaEUROPEAN CONFERENCE ON COMPUTER VISION - Munich, Saksa
Kesto: 8 syyskuuta 201814 syyskuuta 2018
Konferenssinumero: 15

Julkaisusarja

NimiLecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)
Vuosikerta11132 LNCS
ISSN (painettu)0302-9743
ISSN (elektroninen)1611-3349

Conference

ConferenceEUROPEAN CONFERENCE ON COMPUTER VISION
LyhennettäECCV
MaaSaksa
KaupunkiMunich
Ajanjakso08/09/201814/09/2018

Sormenjälki Sukella tutkimusaiheisiin 'Towards Cycle-Consistent Models for Text and Image Retrieval'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

  • Siteeraa tätä

    Cornia, M., Baraldi, L., Rezazadegan Tavakoli, H., & Cucchiara, R. (2019). Towards Cycle-Consistent Models for Text and Image Retrieval. teoksessa L. Leal-Taixé, & S. Roth (Toimittajat), Computer Vision – ECCV 2018 Workshops, Proceedings (Sivut 687-691). (Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics); Vuosikerta 11132 LNCS). https://doi.org/10.1007/978-3-030-11018-5_58