Application de modèles interactifs d'apprentissage automatique pour l'interaction homme-robot : l'approche de l'attention humaine

Application of Interactive Machine Learning Models For Human-Robot Interaction : the Human Attention Approach

• Auteur / Autrice : Natnael Argaw Wondimu
• Direction : Cédric Buche, Ubbo Visser
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 30/06/2023
• Etablissement(s) : École nationale d'ingénieurs de Brest
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication en Bretagne Océane (Brest)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (Brest ; 2012-....)
• Partenaire(s) de recherche : Equipe de recherche : Pôle Interaction
• Partenaire(s) de recherche : Equipe du pôle : RAMBO (Robot interaction, Ambient system, Machine learning, Behaviour, Optimization)

Mots clés

Mots clés libres

L'interaction homme-Robot

Prédiction de la saillance

Détection d'objets en mouvement

Modèle d'attention humaine

Vision heuristique par ordinateur

Intuitive HRI

Human-Robot interaction

Saliency prediction

Moving object detection

Human attention model

Heuristic computer vision

Intuitive HRI

Résumé

Dans cette thèse, nous développons des techniques algorithmiques et informatiques pour utiliser des modèles d'attention améliorés pour une interaction sociale homme-robot intuitive et efficace. L'un des modèles d'attention que nous utilisons dans notre thèse est la prédiction interactive de la saillance vidéo, que nous faisons progresser par le biais d'une contribution de recherche. Nous développons un modèle de prédiction de la saillance vidéo basé sur stacked-convLSTM qui utilise l'ensemble de données Dynamic Human Fixation (DHF1K) pour prédire l'attention humaine. Pour évaluer notre modèle, nous utilisons la salacité normalisée par balayage (NSS), la métrique de similarité (SIM), le coefficient de corrélation linéaire (CC), l'AUC-Judd (AUC-J) et l'AUC mélangée (s-AUC) pour tenir compte de la nature de la prédiction de la salacité. Nos résultats expérimentaux montrent une performance exceptionnelle de notre modèle de prédiction de la saillance par rapport aux modèles les plus récents. En plus de la prédiction de la saillance, nous discutons de notre contribution au problème de l'apprentissage automatique de la détection et de la segmentation des objets mobiles. Nous introduisons une technique robuste deNous introduisons une technique robuste de différenciation des images appelée différenciation des images par décalage XY, qui constitue un élément majeur de notre système interactif de détection et de segmentation des objets en mouvement.de notre cadre interactif de détection et de segmentation d'objets en mouvement. Nous utilisons une version modifiée de l'ensemble de données du réseau de détection des changements (CDNet-2014) pour entraîner et évaluer notre modèle. Nos résultats expérimentaux détaillés basés sur une stratégie de validation croisée quadruple montrent une performance exceptionnelle de notre modèle par rapport aux modèles de détection et de segmentation d'objets en mouvement les plus avancés. En outre, nous présentons un nouveau cadre d'IHM anthropomorphique basé sur l'attention. Nos travaux de recherche portent principalement sur l'utilisation de modèles d'attention en tant que fonctions heuristiques et sur leur impact sur l'amélioration de l'intuitivité et de l'efficacité de l'interaction homme-robot. Nous expérimentons les caractéristiques de notre cadre dans des environnements réels et virtuels en utilisant le système d'exploitation de robot (ROS) et des modules habilitants tiers comme modules de communication et de traitement, respectivement. Nous utilisons également le robot humanoïde Pepper, basé sur Linux, pour expérimenter les caractéristiques de notre cadre dans un environnement physique. En outre, nous utilisons Gazebo, un logiciel de simulation de robot, et le modèle du robot humanoïde Pepper pour évaluer les caractéristiques de notre modèle dans un environnement virtuel. Nos résultats expérimentaux montrent l'impact du cadre proposé dans l'amélioration de l'interaction sociale homme-robot. En conclusion, nous avons identifié plusieursde recherche potentielles qui pourraient intéresser les chercheurs dans les domaines de l'IRH, de l'apprentissage automatique et de la vision par ordinateur.

In this thesis, we develop algorithmic and computational techniques to employ enhanced attention models for intuitive and efficient human-robot social interaction. One of the attention models we use in our thesis is interactive video saliency prediction, which we advance through a research contribution. We develop a stacked-convLSTM based video saliency prediction model that uses the Dynamic Human Fixation (DHF1K) dataset to predict human attention. To evaluate our model, we employ Normalized Scanpath Saliency (NSS), Similarity Metric (SIM), Linear Correlation Coefficient (CC), AUC-Judd (AUC-J), and shuffled AUC (s-AUC) in adherence to the nature of saliency prediction. Our experimental results show an outstanding performance of our saliency prediction model against the state-of-the-art models. In addition to saliency prediction, we discuss our contribution in addressing moving object detection and segmentation machine learning problem. We introduce a robustframe differencing technique called XY-shift frame differencing as a major constituent ofour interactive moving object detection and segmentation framework. We use a modified version of the change detection network (CDNet-2014) dataset to train and evaluate our model. Our extensive experimental results based on 4-fold cross validation strategy show an outstanding performance of our model against the state-of-the-art moving object detection and segmentation models. Furthermore, we introduce a novel attention-based anthropomorphic HRI framework. Our research work mainly investigates the use of attention models as heuristic functions and their impact in enhancing the intuitiveness and efficiency of human-robot interaction. We experiment with the characteristics of our framework in both real and virtual environments using Robot Operating System (ROS) and third-party enabling modules as communication and processing modules, respectively. We also use the Linux-based humanoid robot, Pepper, to experiment with the characteristics of our framework in a physical environment. In addition, we use Gazebo, a robot simulation software, and the model of Pepper humanoid robot to evaluate the characteristics of our model in a virtual environment. Our experimental results show the impact of the proposed framework in enhancing human-robot social interaction. In conclusion, we have identified severalpotential research directions that may be of interest to scholars in the fields of HRI, machine learning, and computer vision.