Initialisation de R\'eseaux de Neurones \`a l'aide d'un Espace Th\'ematique

Ce papier pr{\'e}sente une m{\'e}thode de traitement de documents parl{\'e}s int{\'e}grant une repr{\'e}sentation fond{\'e}e sur un espace th{\'e}matique dans un r{\'e}seau de neurones artificiels (ANN) employ{\'e} comme classifieur de document. La m{\'e}thode propos{\'e}e consiste {\`a} configurer la topologie d{'}un ANN ainsi que d{'}initialiser les connexions de celui-ci {\`a} l{'}aide des espaces th{\'e}matiques appris pr{\'e}c{\'e}demment. Il est attendu que l{'}initialisation fond{\'e}e sur les probabilit{\'e}s th{\'e}matiques permette d{'}optimiser le processus d{'}optimisation des poids du r{\'e}seau ainsi qu{'}{\`a} acc{\'e}l{\'e}rer la phase d{'}apprentissage tout en am{\'e}lioration la pr{\'e}cision de la classification d{'}un document de test. Cette m{\'e}thode est {\'e}valu{\'e}e lors d{'}une t{\^a}che de cat{\'e}gorisation de dialogues parl{\'e}s entre des utilisateurs et des agents du service d{'}appels de la R{\'e}gie Autonome Des Transports Parisiens (RATP). Les r{\'e}sultats montrent l{'}int{\'e}r{\^e}t de la m{\'e}thode propos{\'e}e d{'}initialisation d{'}un r{\'e}seau, avec un gain observ{\'e} de plus de 4 points en termes de bonne classification comparativement {\`a} l{'}initialisation al{\'e}atoire. De plus, les exp{\'e}rimentations soulignent que les performances sont faiblement d{\'e}pendantes de la topologie du ANN lorsque les poids de la couche cach{\'e}e sont initialis{\'e}s au moyen des espaces de th{\`e}mes issus d{'}une allocation latente de Dirichlet ou latent Dirichlet Allocation (LDA) en comparaison {\`a} une initialisation empirique.

PDF Abstract
No code implementations yet. Submit your code now

Tasks


Datasets


  Add Datasets introduced or used in this paper

Results from the Paper


  Submit results from this paper to get state-of-the-art GitHub badges and help the community compare results to other papers.

Methods


No methods listed for this paper. Add relevant methods here