Algorithmes \`a base d'\'echantillonage pour l'entra\^\inement de mod\`eles de langue neuronaux (Here the title in English)
L{'}estimation contrastive bruit{\'e}e (NCE) et l{'}{\'e}chantillonage par importance (IS) sont des proc{\'e}dures d{'}entra{\^\i}nement bas{\'e}es sur l{'}{\'e}chantillonage, que l{'}on utilise habituellement {\`a} la place de l{'}estimation du maximum de vraisemblance (MLE) pour {\'e}viter le calcul du softmax lorsque l{'}on entra{\^\i}ne des mod{\`e}les de langue neuronaux. Dans cet article, nous cherchons {\`a} r{\'e}sumer le fonctionnement de ces algorithmes, et leur utilisation dans la litt{\'e}rature du TAL. Nous les comparons exp{\'e}rimentalement, et pr{\'e}sentons des mani{\`e}res de faciliter l{'}entra{\^\i}nement du NCE.
PDF AbstractTasks
Datasets
Add Datasets
introduced or used in this paper
Results from the Paper
Submit
results from this paper
to get state-of-the-art GitHub badges and help the
community compare results to other papers.
Methods
No methods listed for this paper. Add
relevant methods here
