Développement et étude de système interactif coadaptatif

Development and study of coadaptative interactive systems

• Auteur / Autrice : Amaury Dechaux
• Direction : Ganesh Gowrishankar, Julien Lagarde
• Type : Projet de thèse
• Discipline(s) : SYAM - Systèmes Automatiques et Micro-Électroniques
• Date : Inscription en doctorat le ; Soutenance le 22/10/2024
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École Doctorale Information, Structures, Systèmes
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Partenaire(s) de recherche : Equipe de recherche : Département Robotique
• Jury : Président / Présidente : Denis Mottet
• Jury : Examinateurs / Examinatrices : Ganesh Gowrishankar, Julien Lagarde, Bruno Watier, Etienne Burdet, Alexandre Pitti
• Jury : Rapporteur / Rapporteuse : Etienne Burdet, Alexandre Pitti

Mots clés

Mots clés libres

Interaction Homme Machine

Coadaptation

Système Incarné

Human Machine Interactions

Coadaptation

Embodied Systems

Résumé

Le concept de coadaptation, inspiré du terme coévolution, est une introduction assez récente dans la littérature sur les interactions homme machine (IHMs) mettant en lumière le fait que la relation entre les systèmes interactif et leurs utilisateurs est une relation d’adaptation mutuelle. En effet, si les utilisateurs de ces systèmes s’adaptent continuellement par apprentissage, les machines aussi s’adaptent à leur utilisateurs en proposant, par exemple, des options de customisation. Historiquement, la plupart des exemples de processus coadaptatif dans le cadre des IHMs correspondent à des processus d’optimisation séquentiel où l’utilisateur et la machine s’adaptent l’un à l’autre à tour de rôle de manière itérative. Ces dernières années, l’introduction de l’intelligence artificielle dans le domaine public amène de plus en plus d’exemple de processus coadaptatif concurrent, où l’homme et la machine s’adaptent l’un à l’autre de manière continue à travers leurs interactions. Néanmoins, en comparaison des machines dont les capacités d’adaptation sont pratiquement illimité, l’adaptabilité des utilisateurs est un processus largement contrains sous de multiple aspect. Dans cette thèse, nous explorons les limites de l’adaptabilité des humains dans le contexte des IHMs et ce notamment du point de vue des biais comportementaux ou l’idée que toutes les adaptations comportemental chez l’humain ne sont pas équivalente et peuvent entrer en conflit avec d’autres comportement appris dans notre vie de tous les jours. Premièrement, nous étudions un exemple de processus coadaptatif concurrent ‘naïf’ appliqué au contrôle d’un doigt robotique surnuméraire. Par naïf, nous faisons référence a un processus coadaptatif dans lequel nous ne postulons pas à priori sur une méthode de contrôle particulière. En particulier, nous étudions comment l’homme et la machine s’adaptent ensemble dans le cas ou des perturbations viendrait à rendre plus difficile l’exécution de la tâche en fonction de la méthode de contrôle utilisée. Par la suite, nous avons étudier les performances des humains dans une tâche demandant de réagir à des stimuli visuel, tactile et visuo-tactile en se basant sur leur position dans l’espace. Nous modélisons par la suite le processus de décision interne à l’utilisateur dans ce contexte en nous basant sur la théorie de l’Active Inference et montrons que ce modèle peut reproduire, de façon approximative, diverse observations expérimental en lien avec le phénomène de compatibilité stimulus réponses (SRC) en général et l’effet Simon en particulier. Enfin, nous traitons du design des système interactifs en développant deux prototypes en lien avec les deux principaux types d’augmentation permis par l’utilisation des machines. Une extension du système moteur de l’utilisateur en premier lieux, ou nous réalisons une interface de contrôle pour drone permettant à celui ci de contrôler les déplacement du drone dans l’espace ‘’comme pour son propre corps’’ en nous basant à la fois sur des données postural et sur les mouvement de la tête. Nous reportons sur l’évaluation, dans un évènement ouvert où des membres du public était invité à essayé le dispositif en réalité virtuel, de ce prototype et de sa transposition par la suite sur un drone disponible dans le commerce. Enfin nous étudions une extension du système sensoriel de l’utilisateur en réalisant un prototype de radar tactile permettant à l’utilisateur de ''toucher des objets à distance'' via un retour tactile de mesure de distances obtenu par des senseurs capacitif. Nous reportons sur l’évaluation de ce prototype dans une expérience contrôlé où les participants avait pour objectif de trouver et identifier divers objets en se basant uniquement sur les informations offerte par le radar tactile. Nous concluons ce manuscrit avec une discussion général sur les perspectives offerte par la coadaptation, notamment au regard du rapide développement de l’intelligence artificielle dans le domaine public.

The concept of coadaptation, inspired from the term coevolution, is a fairly recent introduction to the literature on Human Machine Interaction highlighting the fact that, when a user interact with a complex system, both the user and the system adapt to each other in order to maximize their joint performance in some task. Historically, most examples of coadaptive processes correspond to a sequential optimization procedure where user and system adapt to each other but never at the same time. In recent years however, the introduction of artificial intelligence in a variety of interactive systems has brougth examples of concurrent coadaptive processes under which both human and machine continuously adapt to each other while performing some task. However, unlike machines which possess practicaly endless adaptive capabilities, adaptability in humans is an eminently constrained process in multiple aspect. In this thesis, we investigate the limits of human adaptability in the context of interactive system design, notably from the point of view of behavioral biases or the idea that, unlike machine, not all behavioral adaptation in humans are equivalent from the perspective of cognitive costs. First, we studied an example of « naive » coadaptation applied to the control of a supernumerary robotic finger. By naive, we mean a coadaptive system with few prior assumptions such as we do not postulate on any particular method of control for the robotic finger and derive learning equation from a simple linear model. In particular, we studied how, in the case where multiple channel of communication are available to perform this control, a coadaptation between the user and the system might allow to achieve different control schemes adapted to the context in which a task is performed. Second, we studied the reaction times of humans to lateralized stimulus and actions using visual, tactile and visuo-tactile stimulus. We show that, while multimodal cueing increase performance for non-lateralized stimulus, it surprisingly does not help when the stimulus are lateralized. Third, we illustrate the decision process internal to a user in this context with a state-of-the-art computational model of human behavior based on the theory of Active Inference. In particular, we studied the prediction of this model in relation to the sensory response compatibility phenomena and show that this model can reproduce, in approximate form, various experimental observations pertaining to SRCs in general and the Simon effect in particular. Finally, we designed and studied two interactive systems pertaining to the two ''types'' of user-augmentation a machine may be associated to. An extended motor-plant first, where we designed an embodied control scheme for a drone with a view to allow the user to control this drone ''like their own body'' based on a combination of postural and head motion tracking data. We report on the demonstration of this prototype in an open event where members of the public were invited to try the setup in virtual reality but also of its subsequent transposition to a commercial VTOL drone and discuss the perspective and future research directions for such embodied drone control schemes. We conclude this operational tour with an extended sensory plant, where we designed a tactile radar allowing its user to ‘’remotely touch objects’’ via a vibor-tactile feedback of distance information measured by capacitive sensors. We report on the evaluation of this prototype in a controlled experiment where the users were tasked with finding and identifying various objects solely relying on the information provided by the device. We conclude this manuscript with a general discussion on the concept and perspective of coadaptation, notably in relation to the recent introduction and rapid development of artificial intelligence in the public domain.