Nouvelle méthodologie de co-conception d'apprentissage en profondeur basée sur une plate-forme matérielle pour le prototypage CPS: reconnaissance d'objets dans une étude de cas de véhicule autonome

New hardware platform-based deep learning co-design methodology for CPS prototyping: objects recognition in autonomous vehicle case-study

• Auteur / Autrice : Quentin Cabanes
• Direction : Amar Ramdane-Cherif
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 07/06/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Ingénierie des Systèmes de Versailles
• Partenaire(s) de recherche : Référent : Université de Versailles-Saint-Quentin-en-Yvelines (1991-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Examinateurs / Examinatrices : Amar Ramdane-cherif, Benaoumeur Senouci, Nicole Levy, Dong Seog Han, El-Bey Bourennane, Akash Kumar
• Jury : Rapporteurs / Rapporteuses : Nicole Levy, Dong Seog Han

Mots clés

Mots clés libres

Système cyber-physique

Systèmes intelligents embarqués

Apprentissage profond

Fpga

Véhicule autonome

Cyber-physical system

Intelligent embedded systems

Deep learning

Fpga

Autonomous Vehicles

Résumé

Les Systèmes Cyber-Physiques (SCP) sont un sujet de recherche mature qui interagissent avec l'intelligence artificielle (IA) et les systèmes embarqués (SE). Un SCP peut être défini comme un SE en réseau qui peut analyser un environnement physique, via des capteurs, et prendre des décisions à partir de son état actuel pour l'affecter vers un résultat souhaité, via des actionneurs. Ces SCP nécessitent des algorithmes puissants associés à des architectures matérielles robustes. D'une part, l'Apprentissage en Profondeur (AP) est proposé comme algorithme principal. D'autre part, les méthodologies de conception et de prototypage standard pour SE ne sont pas adaptées au SCP moderne basé sur de l'AP. Dans cette thèse, nous étudions la conception d'IA pour SCP autour de l'AP embarquée avec une plate-forme hybride CPU/FPGA. Nous avons proposé une méthodologie pour développer des applications d'AP pour SCP qui est basée sur l'utilisation d'un accélérateur de réseau de neurones et d'un logiciel d'automatisation pour accélérer le temps de prototypage. Nous présentons la conception et le prototypage de notre accélérateur matériel de réseau de neurones. Enfin, nous validons notre travail à l'aide d'un cas d'usage: un LIDAR (LIght Detection And Ranging) intelligent. Ce cas d'usage est accompagné de plusieurs algorithmes de détection de piétons à l'aide du nuage de points 3D d'un LIDAR.

Cyber-Physical Systems (CPSs) are a mature research technology topic that deals with Artificial Intelligence (AI) and Embedded Systems (ES). A CPS can be defined as a networked ES that can analyze a physical environment, via sensors, and make decisions from its current state to affect it toward a desired outcome via actuators. These CPS deal with data analysis, which need powerful algorithms combined with robust hardware architectures. On one hand, Deep Learning (DL) is proposed as the main solution algorithm. On the other hand, the standard design and prototyping methodologies for ES are not adapted to modern DL-based CPS. In this thesis, we investigate AI design for CPS around embedded DL using a hybrid CPU/FPGA platform. We proposed a methodology to develop DL applications for CPS which is based on the usage of a neural network accelerator and an automation software to speed up the prototyping time. We present our hardware neural network accelerator design and prototyping. Finally, we validate our work using a smart LIDAR (LIght Detection And Ranging) application use-case with several algorithms for pedestrians detection using a 3D point cloud from a LIDAR.