Contribution au développement de l’apprentissage profond dans les systèmes distribués

Contribution to the development of deep learning in distributed systems

• Auteur / Autrice : Corentin Hardy
• Direction : Bruno Sericola
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/04/2019
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : ComuE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique) - DIONYSOS

Mots clés

Mots clés contrôlés

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones profonds

Apprentissage automatique

Calcul distribué

Deep neural networks

Machine learning

Distributed computing

Résumé

L'apprentissage profond permet de développer un nombre de services de plus en plus important. Il nécessite cependant de grandes bases de données d'apprentissage et beaucoup de puissance de calcul. Afin de réduire les coûts de cet apprentissage profond, nous proposons la mise en œuvre d'un apprentissage collaboratif. Les futures utilisateurs des services permis par l'apprentissage profond peuvent ainsi participer à celui-ci en mettant à disposition leurs machines ainsi que leurs données sans déplacer ces dernières sur le cloud. Nous proposons différentes méthodes afin d'apprendre des réseaux de neurones profonds dans ce contexte de système distribué.

Deep learning enables the development of a growing number of services. However, it requires large training databases and a lot of computing power. In order to reduce the costs of this deep learning, we propose a distributed computing setup to enable collaborative learning. Future users can participate with their devices and their data without moving private data in datacenters. We propose methods to train deep neural network in this distibuted system context.