Search Results for author:
Found 36 papers, 0 papers with code
FlauBERT : des mod\`eles de langue contextualis\'es pr\'e-entra\^\in\'es pour le fran\ccais (FlauBERT : Unsupervised Language Model Pre-training for French)
Les mod{\`e}les de langue pr{\'e}-entra{\^\i}n{\'e}s sont d{\'e}sormais indispensables pour obtenir des r{\'e}sultats {\`a} l{'}{\'e}tat-de-l{'}art dans de nombreuses t{\^a}ches du TALN.
\'Etude des variations s\'emantiques \`a travers plusieurs dimensions (Studying semantic variations through several dimensions )
Nous exp{\'e}rimentons sur un corpus de rapports financiers d{'}entreprises fran{\c{c}}aises, pour appr{\'e}hender les enjeux et pr{\'e}occupations propres {\`a} certaines p{\'e}riodes, acteurs et secteurs d{'}activit{\'e}s.
Apprentissage de plongements de mots dynamiques avec r\'egularisation de la d\'erive (Learning dynamic word embeddings with drift regularisation)
L{'}usage, le sens et la connotation des mots peuvent changer au cours du temps.
Learning with Noise-Contrastive Estimation: Easing training by learning to scale
Noise-Contrastive Estimation (NCE) is a learning criterion that is regularly used to train neural language models in place of Maximum Likelihood Estimation, since it avoids the computational bottleneck caused by the output softmax.
Algorithmes \`a base d'\'echantillonage pour l'entra\^\inement de mod\`eles de langue neuronaux (Here the title in English)
L{'}estimation contrastive bruit{\'e}e (NCE) et l{'}{\'e}chantillonage par importance (IS) sont des proc{\'e}dures d{'}entra{\^\i}nement bas{\'e}es sur l{'}{\'e}chantillonage, que l{'}on utilise habituellement {\`a} la place de l{'}estimation du maximum de vraisemblance (MLE) pour {\'e}viter le calcul du softmax lorsque l{'}on entra{\^\i}ne des mod{\`e}les de langue neuronaux.
A comparative study of word embeddings and other features for lexical complexity detection in French
Lexical complexity detection is an important step for automatic text simplification which serves to make informed lexical substitutions.
Character and Subword-Based Word Representation for Neural Language Modeling Prediction
Most of neural language models use different kinds of embeddings for word prediction.
Adaptation au domaine pour l'analyse morpho-syntaxique (Domain Adaptation for PoS tagging)
Ce travail cherche {\`a} comprendre pourquoi les performances d{'}un analyseur morpho-syntaxiques chutent fortement lorsque celui-ci est utilis{\'e} sur des donn{\'e}es hors domaine.
Repr\'esentations continues d\'eriv\'ees des caract\`eres pour un mod\`ele de langue neuronal \`a vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)
Les repr{\'e}sentations continues des mots sont calcul{\'e}es {\`a} la vol{\'e}e {\`a} partir des caract{\`e}res les composant, gr{\`a}ce {\`a} une couche convolutionnelle suivie d{'}une couche de regroupement (pooling).
An experimental analysis of Noise-Contrastive Estimation: the noise distribution matters
Noise Contrastive Estimation (NCE) is a learning procedure that is regularly used to train neural language models, since it avoids the computational bottleneck caused by the output softmax.
Une m\'ethode non-supervis\'ee pour la segmentation morphologique et l'apprentissage de morphotactique \`a l'aide de processus de Pitman-Yor (An unsupervised method for joint morphological segmentation and morphotactics learning using Pitman-Yor processes)
Cet article pr{\'e}sente un mod{\`e}le bay{\'e}sien non-param{\'e}trique pour la segmentation morphologique non supervis{\'e}e. Ce mod{\`e}le semi-markovien s{'}appuie sur des classes latentes de morph{\`e}mes afin de mod{\'e}liser les caract{\'e}ristiques morphotactiques du lexique, et son caract{\`e}re non-param{\'e}trique lui permet de s{'}adapter aux donn{\'e}es sans avoir {\`a} sp{\'e}cifier {\`a} l{'}avance l{'}inventaire des morph{\`e}mes ainsi que leurs classes.
Apprentissage discriminant des mod\`eles continus de traduction
Alors que les r{\'e}seaux neuronaux occupent une place de plus en plus importante dans le traitement automatique des langues, les m{\'e}thodes d{'}apprentissage actuelles utilisent pour la plupart des crit{\`e}res qui sont d{\'e}corr{\'e}l{\'e}s de l{'}application.
Oublier ce qu'on sait, pour mieux apprendre ce qu'on ne sait pas : une \'etude sur les contraintes de type dans les mod\`eles CRF
Quand on dispose de connaissances a priori sur les sorties possibles d{'}un probl{\`e}me d{'}{\'e}tiquetage, il semble souhaitable d{'}inclure cette information lors de l{'}apprentissage pour simplifier la t{\^a}che de mod{\'e}lisation et acc{\'e}l{\'e}rer les traitements.
Rule-based Reordering Space in Statistical Machine Translation
In Statistical Machine Translation (SMT), the constraints on word reorderings have a great impact on the set of potential translations that are explored.
