Interactions homme-robot situées en environnement social guidées par les perceptions audio-visuelles

Human-robot interactions in social environment led by audio-visual perceptions

• Auteur / Autrice : Virgile Sucal
• Direction : Fabrice Lefevre
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 05/09/2022
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : Agrosciences et Sciences
• Partenaire(s) de recherche : Laboratoire : LIA - Laboratoire d'Informatique d'Avignon
• Partenaire(s) de recherche : Equipe de recherche : SLG - Speech and Language Group

Mots clés

Mots clés libres

Intelligence Artificielle

Traitement du Langage

Interactions Vocales

Artificial Intelligence

Natural Language Processing

Vocal Interactions

Résumé

L'objectif principal du projet est d'accroître les capacités d'interaction orale d'un robot humanoïde avec des humains dans un contexte social réaliste. Notre approche consiste à développer une capacité d'autogestion de sa communication, basée sur la perception audio-visuelle de son environnement. En pratique nous envisageons de dédier un ou plusieurs robots à la gestion d'un espace social entier (salle de musée, puis salle de cours). L'enjeu est que le robot puisse se déplacer et interagir avec les humains présents, en complète autonomie. Pour cela ses décisions seront contrôlées par une stratégie basée sur ses observations audio-visuelles (micros et caméras). Cette stratégie va être apprise automatiquement afin d'optimiser, selon des critères objectifs et subjectifs précis, la réalisation des différentes tâches prévues dans l'emploi du robot. Notre méthodologie consistera en pratique à concevoir les systèmes d'interactions finaux pour les tâches (les actions) puis à les intégrer dans un modèle hiérarchique (le contrôleur) qui utilise les informations perceptuelles (les états) pour organiser la planification, l'activation et le suivi du déroulement des tâches. Définir les actions et les états présente encore quelques difficultés de mise en œuvre mais est atteignable avec les travaux récents du domaine. Le contrôleur fera l'objet des propositions scientifiques majeures de la thèse : la fusion des modalités audio et visuelle contraintes par la tâche et l'apprentissage par renforcement d'une stratégie hiérarchique en ligne, toutes les deux basées sur le recours à des solutions à base de réseaux de neurones profonds.

The main goal of this project is to increase the oral interaction capabilities of a humanoid robot with humans in a realistic social context. Our approach is to develop an autonomous communication ability, based on audio-visual perception of the environment. In practice, we plan to dedicate one or more robots to managing an entire social space (museum room, then classroom). The challenge is for the robot to move and interact with humans, in complete autonomy. To achieve this, its decisions will be controlled by a strategy based on its audio-visual observations (microphones and cameras). This strategy will be learned automatically in order to optimize, according to specific objective and subjective criteria, the realization of the different tasks planned for the robot. Our methodology will consist in practice in designing the final interaction systems for tasks (actions) and then integrating them into a hierarchical model (controller) that uses perceptual information (states) to organize the planning, activation, and tracking of task flow. Defining actions and states still presents some implementation difficulties, but it is achievable with recent works in the field. The controller will be the subject of major scientific proposals in the thesis: the fusion of audio and visual modalities constrained by the task and the reinforcement learning of a hierarchical strategy, both based on the use of deep neural network solutions.