LDA-based context dependent recurrent neural network language model using document-based topic distribution of words

Md Akmal Haidar*, Mikko Kurimo

*Tämän työn vastaava kirjoittaja

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference contributionScientificvertaisarvioitu

6 Sitaatiot (Scopus)

Abstrakti

Adding context information into recurrent neural network language models (RNNLMs) have been investigated recently to improve the effectiveness of learning RNNLM. Conventionally, a fast approximate topic representation for a block of words was proposed by using corpus-based topic distribution of word incorporating latent Dirichlet allocation (LDA) model. It is then updated for each subsequent word using an exponential decay. However, words could represent different topics in different documents. In this paper, we form document-based distribution over topics for each word using LDA model and apply it in the computation of fast approximate exponentially decaying features. We have shown experimental results on a well known Penn Treebank corpus and found that our approach outperforms the conventional LDA-based context RNNLM approach. Moreover, we carried out speech recognition experiments on Wall Street Journal corpus and achieved word error rate (WER) improvements over the other approach.

AlkuperäiskieliEnglanti
Otsikko2017 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2017 - Proceedings
KustantajaIEEE
Sivut5730-5734
Sivumäärä5
ISBN (elektroninen)9781509041176
DOI - pysyväislinkit
TilaJulkaistu - 16 kesäkuuta 2017
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaIEEE International Conference on Acoustics, Speech, and Signal Processing - New Orleans, Yhdysvallat
Kesto: 5 maaliskuuta 20179 maaliskuuta 2017

Julkaisusarja

NimiProceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing
KustantajaIEEE
ISSN (elektroninen)2379-190X

Conference

ConferenceIEEE International Conference on Acoustics, Speech, and Signal Processing
LyhennettäICASSP
Maa/AlueYhdysvallat
KaupunkiNew Orleans
Ajanjakso05/03/201709/03/2017

Sormenjälki

Sukella tutkimusaiheisiin 'LDA-based context dependent recurrent neural network language model using document-based topic distribution of words'. Ne muodostavat yhdessä ainutlaatuisen sormenjäljen.

Siteeraa tätä