Surveillance du temps d'exécution de l'incertitude du réseau neuronal profond pour une navigation automatisée robuste et sûre basée sur l'IA

Deep neural network uncertainty runtime monitoring for robust and safe AI-based automated navigation

• Auteur / Autrice : Fabio Alejandro Arnez Yagualca
• Direction : François Terrier, Ansgar Radermacher, Huascar Espinoza Ortiz
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/12/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Hélène Waeselynck
• Jury : Examinateurs / Examinatrices : Simon Burton, Juan Pablo Piantanida, Mauricio Castillo-Effen
• Jury : Rapporteurs / Rapporteuses : Hélène Waeselynck, Simon Burton

Mots clés

Mots clés contrôlés

Intelligence artificielle

Automobiles -- Systèmes de guidage

Pilotes automatiques (navigation)

Incertitude (théorie de l'information)

Apprentissage profond

Apprentissage automatique

Mots clés libres

Réseaux neuronaux profonds

Incertitude

Surveillance du temps d’exécution

Propagation

Système automatisé

Deep neural network

Uncertainty

Monitoring

Propagation

Automated system

Résumé

Les réseaux neuronaux profonds (RNP) ont révolutionné diverses industries au cours de la dernière décennie, comme les véhicules hautement automatisés et les véhicules aériens sans pilote. Les RNP peuvent améliorer notoirement les performances grâce à leur efficacité dans le traitement d'entrées sensorielles complexes et à leur puissant apprentissage de représentation qui surpasse les méthodes traditionnelles dans différentes tâches d'automatisation.Malgré les améliorations impressionnantes des performances introduites par les RNP, ils présentent encore des limites importantes en raison de leur complexité, de leur opacité et de leur manque d'interprétabilité. Plus important encore, dans le cadre de cette thèse, les RNP sont sensibles aux changements de distribution des données, la représentation de la confiance dans les prédictions des RNP n'est pas simple, et la spécification et la vérification des propriétés au moment de la conception peuvent devenir irréalisables dans les RNP de grande taille. Bien que la réduction des erreurs provenant des composants d'apprentissage profond soit essentielle pour construire des systèmes basés sur l'IA de confiance qui peuvent être déployés et adoptés dans la société, il est également crucial de relever les défis susmentionnés. Cette thèse propose de nouvelles méthodes pour surmonter les limitations susmentionnées qui exploitent les informations d'incertitude pour construire des systèmes basés sur l'IA de confiance. L'approche est ascendante, partant de la perspective au niveau des composants et se déplaçant ensuite vers le point de vue au niveau du système. L'utilisation de l'incertitude au niveau des composants est présentée pour la tâche de détection des décalages dans la distribution des données afin de permettre la détection de situations qui peuvent avoir un impact sur la fiabilité de la fonctionnalité d'un composant DNN et, par conséquent, sur le comportement d'un système automatisé. Ensuite, la perspective du système est introduite en prenant en compte un ensemble de composants en séquence, où un composant consomme les prédictions d'un autre pour faire ses propres prédictions. À cet égard, une méthode de propagation de l'incertitude est fournie afin qu'un composant en aval puisse prendre en compte l'incertitude des prédictions d'un composant en amont dans le système. Enfin, un cadre de gestion dynamique des risques est proposé pour faire face aux incertitudes qui surviennent tout au long du système de navigation autonome.

Deep Neural Networks (DNNs) have revolutionized various industries in the past decade, such as highly automated vehicles and unmanned aerial vehicles. DNNs can achieve a notorious performance improvement due to their effectiveness in processing complex sensory inputs and their powerful representation learning that outperforms traditional methods across different automation tasks.Despite the impressive performance improvements introduced by DNNs, they still have significant limitations due to their complexity, opacity, and lack of interpretability. More importantly, for the scope of this thesis, DNNs are susceptible to data distribution shifts, confidence representation in DNN predictions is not straightforward, and design-time property specification and verification can become unfeasible in large DNNs. While reducing errors from deep learning components is essential for building trustworthy AI-based systems that can be deployed and adopted in society, addressing these before-mentioned challenges is crucial as well.This thesis proposes new methods to overcome the aforementioned limitations that leverage uncertainty information to build trustworthy AI-based systems. The approach is bottom-up, starting from the component-level perspective and then moving to the systems-level point of view. The use of uncertainty at the component level is presented for the data distribution shift detection task to enable the detection of situations that may impact the reliability of a DNN component functionality and, therefore, the behavior of an automated system. Next, the system perspective is introduced by taking into account a set of components in sequence, where one component consumes the predictions from another to make its own predictions. In this regard, a method to propagate uncertainty is provided so that a downstream component can consider the uncertainty from the predictions of an upstream component. Finally, a framework for dynamic risk management is proposed to cope with the uncertainties that arise along the autonomous navigation system.