Apprentissage contextuel en ligne pour une navigation robotique socialement conforme

Online context learning for socially-compliant robot navigation

• Auteur / Autrice : Iaroslav Okunevich
• Direction : Yassine Ruichek, Zhi Yan
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 08/10/2021
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées
• Partenaire(s) de recherche : établissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)

Mots clés

Mots clés libres

Robotique mobile

Apprentissage robotique

Robotique sociale

Apprentissage en ligne

Apprentissage par renforcement profond

Benchmarking

Mobile robotics

Robot learning

Social robotics

Online learning

Deep Reinforcement learning

Benchmarking

Résumé

Le développement des robots mobiles et leur application croissante dans des environnements à présence humaine ont soulevé la question de l'efficacité sociale des robots mobiles dans l'interaction homme-robot. La navigation des robots conformes aux normes sociales est l'une des solutions les plus robustes et les plus disponibles pour améliorer la qualité de l'interaction entre les robots mobiles et les humains, en mettant en œuvre les normes sociales explicites et implicites des comportements humains. Cependant, ces normes dépendent des contextes sociaux et environnementaux, et les solutions actuelles dans le domaine de la navigation robotique socialement conforme ne peuvent pas s'adapter à la variabilité totale des contextes. Par conséquent, cette thèse étudie les méthodes d'apprentissage contextuel en ligne pour la navigation robotique socialement conforme afin d'améliorer la robustesse et l'efficacité sociale des mouvements des robots mobiles dans divers contextes. Dans ce travail, la combinaison de l'apprentissage par renforcement profond et des couches d'apprentissage en ligne des robots est proposée pour répondre aux questions suivantes : comment apprendre les règles sociales à partir du comportement humain, comment adapter les règles apprises au nouveau contexte, et comment appliquer ces règles pendant la navigation du robot. La couche d'apprentissage par renforcement profond gère le contrôle de la navigation de base des robots, en assurant la prise de conscience de la présence humaine. La couche d'apprentissage en ligne du robot évalue les résultats de l'apprentissage par renforcement profond et les adapte aux contextes sociaux si nécessaire. Des expériences de simulation approfondies, comparées à d'autres approches, mettent en évidence les performances supérieures de notre méthode. En outre, des essais de robots dans le monde réel avec 12 participants démontrent l'efficacité sociale de l'approche proposée. Les paramètres d'évaluation de l'efficacité sociale du comportement des robots sont étudiés en vue d'une application ultérieure dans l'architecture proposée pour la navigation conforme aux normes sociales. L'évaluation comparative simple, objective, répétable et facilement reproductible de la navigation socialement conforme a été proposée. Un nouveau schéma d'intégration logiciel-matériel pour la navigation conforme aux normes sociales est proposé pour réaliser une détection et un suivi efficaces des humains autour du robot.

The development of mobile robots and their increasing application in human-presence environments has raised the issue of the social efficiency of mobile robots in human-robot interaction. The socially-compliant robot navigation is one of the most robust and available solutions to improve the quality of interaction between mobile robots and humans, by implementing the explicit and implicit social norms of human behaviors. However, these norms depend on the social and environmental contexts, and the current solutions in the field of socially-compliant robot navigation cannot adjust to the full variability of contexts. Therefore, the dissertation investigates the methods of online context learning for socially-compliant robot navigation to improve the robustness and social efficiency of mobile robot movements in various contexts. In this work, the combination of deep reinforcement learning and robot online learning layers is proposed to answer the questions of how to learn the social rules from human behavior, how to adapt the learned rules to the new context, and how to apply these rules during robot navigation. The deep reinforcement learning layer handles the core navigation control of robots, ensuring awareness of human presence. The robot online learning layer evaluates the outputs from the deep reinforcement learning and adapts them to social contexts when necessary. Extensive simulation experiments, in comparison with other approaches, highlight the superior performance of our method. Additionally, real-world robot trials with 12 participants further demonstrate the social efficiency of the proposed approach. The metrics of social efficiency evaluation of robot behavior are investigated for later application in the proposed architecture of socially-compliant navigation. The simple, objective, repeatable, and easily reproducible benchmarking for socially-compliant navigation was proposed. A new software-hardware integration scheme for socially-compliant navigation is proposed to achieve effective human detection and tracking around the robot.