Thèse soutenue

Classification avec des modèles probabilistes génératifs et des réseaux de neurones. Applications au traitement des langues naturelles

FR  |  
EN
Auteur / Autrice : Elie Azeraf
Direction : Wojciech Pieczynski
Type : Thèse de doctorat
Discipline(s) : Mathématiques aux interfaces
Date : Soutenance le 03/10/2022
Etablissement(s) : Institut polytechnique de Paris
Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Institut Polytechnique de Paris / IP Paris - Communications, Images et Traitement de l'Information / CITI - Traitement de l'Information Pour Images et Communications / TIPIC-SAMOVAR
Etablissement opérateur d'inscription : Télécom SudParis (France)
Jury : Président / Présidente : François Roueff
Examinateurs / Examinatrices : Myriam Maumy-Bertrand, Joseph Rynkiewicz, Emmanuel Monfrini, François Yvon
Rapporteur / Rapporteuse : Myriam Maumy-Bertrand, Joseph Rynkiewicz

Résumé

FR  |  
EN

Un nombre important de modèles probabilistes connaissent une grande perte d'intérêt pour la classification avec apprentissage supervisé depuis un certain nombre d'années, tels que le Naive Bayes ou la chaîne de Markov cachée. Ces modèles, qualifiés de génératifs, sont critiqués car leur classificateur induit doit prendre en compte la loi des observations, qui peut s'avérer très complexe à apprendre quand le nombre de features de ces derniers est élevé. C'est notamment le cas en Traitement des Langues Naturelles, où les récents algorithmes convertissent des mots en vecteurs numériques de grande taille pour atteindre de meilleures performances.Au cours de cette thèse, nous montrons que tout modèle génératif peut définir son classificateur sans prendre en compte la loi des observations. Cette proposition remet en question la catégorisation connue des modèles probabilistes et leurs classificateurs induits - en classes générative et discriminante - et ouvre la voie à un grand nombre d'applications possibles. Ainsi, la chaîne de Markov cachée peut être appliquée sans contraintes à la décomposition syntaxique de textes, ou encore le Naive Bayes à l'analyse de sentiments.Nous allons plus loin, puisque cette proposition permet de calculer le classificateur d'un modèle probabiliste génératif avec des réseaux de neurones. Par conséquent, nous « neuralisons » les modèles cités plus haut ainsi qu'un grand nombre de leurs extensions. Les modèles ainsi obtenus permettant d'atteindre des scores pertinents pour diverses tâches de Traitement des Langues Naturelles tout en étant interprétable, nécessitant peu de données d'entraînement, et étant simple à mettre en production.