Construire des réseaux neuronaux profonds compacts et robustes avec des matrices Toeplitz

Building Compact and Robust Deep Neural Networks with Toeplitz Matrices

• Auteur / Autrice : Alexandre Araujo
• Direction : Jamal Atif
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/06/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris) - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision / LAMSADE
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)
• Partenaire(s) de recherche : Entreprise : Wavestone (SA)
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Jamal Atif, Alain Rakotomamonjy, Teddy Furon, Yann Chevaleyre, Benjamin Negrevergne, Rémi Gribonval, Krzysztof Choromanski
• Jury : Rapporteurs / Rapporteuses : Alain Rakotomamonjy, Teddy Furon

Mots clés

Mots clés contrôlés

Toeplitz, Matrices de

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Matrices Structurées

Réseaux de neurones

Apprentissage profond

Machine Learning

Neural Networks

Deep Learning

Résumé

Les réseaux de neurones profonds sont considérés comme étant état de l’art dans une grande variété de tâches, mais ils présentent des limites importantes qui entravent leur utilisation et leur déploiement. Lors du développement et l’entraînement de réseaux de neurones, la précision ne devrait pas être la seule préoccupation, ils se doivent aussi d’être efficaces et sécurisés. Bien que précis, les réseaux de neurones dotés de nombreux paramètres n’ont souvent pas ces propriétés. Cette thèse se concentre sur le problème de l’entraînement de réseaux de neurones qui ne sont pas seulement précis, mais aussi compacts, faciles à entraîner, fiables et robustes aux exemples contradictoires. Pour résoudre ces problèmes, nous exploitons les propriétés des matrices structurées de la famille de Toeplitz pour construire des réseaux de neurones compacts et sécurisés.

Deep neural networks are state-of-the-art in a wide variety of tasks, however, they exhibit important limitations which hinder their use and deployment in real-world applications. When developing and training neural networks, the accuracy should not be the only concern, neural networks must also be cost-effective and reliable. Although accurate, large neural networks often lack these properties. This thesis focuses on the problem of training neural networks which are not only accurate but also compact, easy to train, reliable and robust to adversarial examples. To tackle these problems, we leverage the properties of structured matrices from the Toeplitz family to build compact and secure neural networks.