Accélération logicielle et matérielle de Neural Fields en robotique autonome

Software and Hardware Acceleration of Neural Fields in Autonomous Robotics

• Auteur / Autrice : Youssef Haddouda
• Direction : Jean-Yves Didier
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 25/11/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes
• Partenaire(s) de recherche : Equipe de recherche : IRA2: Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante
• Partenaire(s) de recherche : Référent : Université d'Évry Val d'Essonne

Mots clés

Mots clés libres

Robotique Autonome

Architecture matérielle

Navigation

Adéquation Algorithme Architectur

Calcul embarqué

Neural Fields

Navigation

Autonomous robotics

Embedded computing

Hardware architecture

Algorithm-architecture co-design

Neural Fields

Résumé

Depuis 2020, les Neural Radiance Fields (NeRF) ont suscité un intérêt croissant, notamment pour la reconstruction 3D et la synthèse d'images photo-réalistes à partir de plusieurs points de vue d'une scène. Les progrès récents ont permis de surmonter certains défis initiaux, comme la réduction du nombre d'images nécessaires, de la mémoire requise, ainsi que l'accélération des temps de calcul. Ces avancées ouvrent des perspectives d'application dans des domaines comme la robotique autonome, notamment en calcul embarqué. Cependant, des obstacles techniques persistent pour exécuter ces algorithmes en temps réel sur des plateformes matérielles contraintes en taille et consommation énergétique. La thèse proposée explore l'utilisation des NeRF pour la navigation robotique autonome. Elle se concentrera sur la conception d'algorithmes et de solutions matérielles innovantes afin de permettre l'exécution en temps réel des neural fields sur des plateformes embarquées. Le travail inclura une analyse des implémentations existantes, suivie de propositions pour optimiser le calcul sur des architectures matérielles embarquées (COTS et accélérateurs spécifiques). Les phases principales de la thèse incluent l'acquisition de connaissances sur l'état de l'art, l'analyse d'exécution, l'optimisation algorithmique, et la conception d'architectures matérielles adaptées. Les résultats seront publiés et potentiellement brevetés. La thèse se déroulera au sein du laboratoire d'Intelligence Artificielle Embarquée (LIAE) du CEA et sera co-encadrée par le Laboratoire de Vision pour la Modélisation et la Localisation (LVML).

Since 2020, Neural Radiance Fields (NeRF) have garnered growing interest, particularly for 3D reconstruction and photo-realistic image synthesis from multiple viewpoints of a scene. Recent advancements have helped overcome initial challenges, such as reducing the number of images needed, memory requirements, and accelerating computation times. These developments open up application prospects in fields like autonomous robotics, particularly in embedded computing. However, technical obstacles remain for executing these algorithms in real-time on hardware platforms constrained by size and energy consumption. The proposed thesis explores the use of NeRF for autonomous robotic navigation. It will focus on designing innovative algorithms and hardware solutions to enable real-time execution of neural fields on embedded platforms. The work will include an analysis of existing implementations, followed by proposals to optimize computation on embedded hardware architectures (COTS and specific accelerators). The main phases of the thesis include acquiring knowledge of the state of the art, execution analysis, algorithmic optimization, and the design of suitable hardware architectures. The results will be published and potentially patented. The thesis will be carried out within the Embedded Artificial Intelligence Laboratory (LIAE) at CEA and will be co-supervised by the Laboratory of Vision for Modeling and Localization (LVML).