PhD - Apprentissage de modèles de diffusion pour le contrôle de la manipulation et de la locomotion.

PhD - Learning diffusion models for manipulation and locomotion control.

• Auteur / Autrice : Franki Nguimatsia tiofack
• Direction : Stéphane Caron
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : WILLOW
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Diffusion

Apprentissage

Locomotion

Manipulation

Contrôle

Modèles

Learning

Diffusion

Models

Manipulation

Locomotion

Control

Résumé

Cette thèse de doctorat explore l'utilisation des modèles de diffusion, une classe de modèles génératifs en apprentissage automatique, pour améliorer les stratégies de contrôle en robotique, notamment dans les domaines de la manipulation et de la locomotion. Les modèles de diffusion ont démontré un succès remarquable dans la génération de données complexes, comme des images ou des séquences, en raffinant itérativement des entrées bruitées. Ce projet vise à exploiter leur potentiel pour apprendre et prédire les dynamiques complexes et les politiques de contrôle nécessaires aux robots pour exécuter des tâches sophistiquées impliquant la manipulation (par exemple, saisie, assemblage) et la locomotion (par exemple, marche, escalade). Les principaux objectifs incluent : 1. Développer des cadres basés sur les modèles de diffusion adaptés aux espaces d'action continus et de haute dimension, ainsi qu'aux contraintes dynamiques de la robotique. 2. Explorer des techniques d'intégration des retours sensoriels en temps réel pour garantir une adaptation robuste à des environnements changeants. 3. Combler les écarts entre simulation et réalité en exploitant les modèles de diffusion pour l'apprentissage par transfert ou les applications sim-to-real. 4. Évaluer cette approche par rapport aux méthodes traditionnelles et contemporaines dans diverses tâches robotiques, en termes d'efficacité, de robustesse et de généralisation. Les résultats visent à fournir des solutions de contrôle évolutives, efficaces en termes de données et généralisables, contribuant ainsi à l'objectif plus large de déploiement de robots autonomes dans des environnements variés du monde réel.

This PhD research focuses on leveraging diffusion models, a class of generative machine learning models, to advance control strategies in robotic manipulation and locomotion. Diffusion models have demonstrated remarkable success in generating complex data distributions, such as images or sequences, by iteratively refining noisy inputs. The project explores their potential in learning and predicting complex dynamics and control policies required for robots to perform sophisticated tasks involving manipulation (e.g., grasping, assembly) and locomotion (e.g., walking, climbing). Key objectives include: 1. Developing diffusion-based frameworks tailored to the high-dimensional, continuous action spaces and dynamic constraints of robotics. 2. Investigating techniques to integrate real-time sensory feedback, ensuring robust adaptation to changing environments. 3. Bridging simulation-to-reality gaps by leveraging diffusion models for transfer learning or sim-to-real applications. 4. Evaluating the approach against traditional and contemporary methods in various robotic tasks for efficiency, robustness, and generalizability. The outcomes aim to provide scalable, data-efficient, and generalizable control solutions, contributing to the broader goal of deploying autonomous robots in diverse real-world environments.