Repr\'esentations continues d\'eriv\'ees des caract\`eres pour un mod\`ele de langue neuronal \`a vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)

Cet article propose une architecture neuronale pour un mod{\`e}le de langue {\`a} vocabulaire ouvert. Les repr{\'e}sentations continues des mots sont calcul{\'e}es {\`a} la vol{\'e}e {\`a} partir des caract{\`e}res les composant, gr{\`a}ce {\`a} une couche convolutionnelle suivie d{'}une couche de regroupement (pooling). Cela permet au mod{\`e}le de repr{\'e}senter n{'}importe quel mot, qu{'}il fasse partie du contexte ou soit {\'e}valu{\'e} pour la pr{\'e}diction. La fonction objectif est d{\'e}riv{\'e}e de l{'}estimation contrastive bruit{\'e}e (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous {\'e}valuons la capacit{\'e} de notre mod{\`e}le {\`a} construire des repr{\'e}sentations continues de mots inconnus sur la t{\^a}che de traduction automatique IWSLT-2016, de l{'}Anglais vers le Tch{\`e}que, en r{\'e}-{\'e}valuant les N meilleures hypoth{\`e}ses (N-best reranking). Les r{\'e}sultats exp{\'e}rimentaux permettent des gains jusqu{'}{\`a} 0,7 point BLEU. Ils montrent aussi la difficult{\'e} d{'}utiliser des repr{\'e}sentations d{\'e}riv{\'e}es des caract{\`e}res pour la pr{\'e}diction.