Opérateurs et systèmes intelligents : se comprendre pour décider. Application à la supervision de drones.

Operators and intelligent systems : understanding each other to decide. Application to drone supervision.

• Auteur / Autrice : Adrien Metge
• Direction : Benoît Le Blanc, Nicolas Maille
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Soutenance le 02/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde) - Office national d'études et recherches aérospatiales. Département Traitement de l’Information et Systèmes (DTIS)
• Jury : Président / Présidente : Bernard Claverie
• Jury : Examinateurs / Examinatrices : Anne Lise Marchand
• Jury : Rapporteur / Rapporteuse : Julien Cegarra, Norbou Buchler

Mots clés

Mots clés contrôlés

Conception centrée sur l'utilisateur

Planification

Prise de décision

Interaction humain-machine

Mots clés libres

Équipe humain-Autonomie

Interaction humain-Machine

Collaboration

Prise de décision

Planification

Conception centrée utilisateur

Facteur humain

Human-autonomy teaming

Human-machine interaction

Collaboration

Decision making

Planning

User-centered design

Human factor

Résumé

Cette thèse de doctorat présente un travail de recherche transdisciplinaire qui s’inscrit dans une démarche d’ingénierie cognitique. À l’intersection de l’Intelligence Artificielle (IA) et du Facteur Humain, nous explorons les principes d’interaction qui permettent la mise en place d’une collaboration performante entre un utilisateur et un système de recommandation intelligent dans un contexte de prise de décision. Nous nous concentrons sur le cadre applicatif de la planification, pour lequel nous avons développé un environnement de simulation qui met en scène un opérateur aérien chargé de superviser un drone doté d’un haut niveau d’autonomie décisionnelle. Le scénario des missions, joué sur différents terrains, amène l’opérateur à déterminer un nouveau plan de vol assisté par des recommandations intelligences. Une analyse de la littérature nous permet de caractériser trois problématiques scientifiques que nous investiguons à travers trois études expérimentales dans cet environnement.La première problématique s’intéresse aux conséquences d’un changement de la participation de l’IA à la prise de décision sur le ressenti de l’opérateur. Nos résultats indiquent que lorsque l’IA réduit sa participation en arrêtant de proposer des suggestions de plan, le sentiment de l’opérateur d’être responsable et à l’origine de la solution augmente significativement. Cet effet se révèle néanmoins asymétrique. Lorsque l’IA accroît sa participation en introduisant de suggestions de plan qui n’étaient pas proposées dans un premier temps, le sentiment de l’opérateur d’être responsable et à l’origine de solution diminue peu alors même que les plans validés deviennent plus homogènes.La deuxième problématique examine les liens potentiels entre les critères de compromis des plans construits avec l’IA par l’opérateur et les éléments de sa personnalité qui pourraient la prédire, sur des terrains où il n’existe pas de plan concevable qui ait une qualité acceptable. Nous mettons en évidence une préférence individuelle pour la dégradation d'un des trois critères de compromis du plan : certains participants préfèrent plutôt abandonner des cibles, d’autres consommer beaucoup de carburant, d’autres encore prendre un risque élevé. Néanmoins, nous n’observons pas de corrélation entre ces profils décisionnels des participants et leurs traits du modèle des Big Five ni leur confiance en soi.La troisième problématique porte sur l’élaboration d’une IA qui prenne mieux en compte le processus décisionnel humain. Des entretiens d’autoconfrontation avec des participants nous ont permis d’établir un modèle du processus décisionnel de l’opérateur pour la tâche de replanification dans l’environnement. Nous avons analysé comment la manière dont l’opérateur utilise les différents outils permet de révéler dans quelle phase de construction de la solution il se situe, ce qui nous a permis d’automatiser le suivi de ce processus décisionnel. Nous en tirons des exemples de situations dans lesquelles le système d'IA peut adapter différemment ses recommandations, selon que l'opérateur est identifié comme impliqué dans une phase d'exploration ou bien une phase d'exploitation des plans de vol.Ces résultats permettent d’identifier des enjeux de facteur humain liés aux usages futurs de l’IA dans les équipes humain-IA avant même que ces systèmes ne soient disponibles, et de proposer des principes de conception qui s'appuient sur les mécanismes cognitifs qui sous-tendent la prise de décision humaine pour poser les bases d'une interaction avec le système d'IA. Nos travaux ouvrent la voie à une assistance intelligente dont le paramétrage sera construit au fil de l’interaction.

This PhD thesis presents a transdisciplinary research work that is part of a cognitive engineering approach. At the intersection of Artificial Intelligence (AI) and Human Factor, we explore the interaction principles that allow the implementation of a powerful collaboration between a user and an intelligent recommendation system in a decision-making context. We focus on the application framework of planning, for which we have developed a simulation environment that stages an air operator in charge of supervising a drone with a high level of decision-making autonomy. The mission scenario, played on different terrains, leads the operator to determine a new flight plan assisted by intelligent recommendations. An analysis of the literature allows us to characterize three scientific problems that we investigate through three experimental studies in this environment.The first problematic focuses on the consequences of a change in the AI's participation in the decision making process on the operator's feeling. Our results indicate that when the AI reduces its participation by stopping to propose plan suggestions, the operator's feeling of being responsible and at the origin of the solution increases significantly. However, this effect is found to be asymmetric. When the AI increases its participation by introducing plan suggestions that were not initially proposed, the operator's feeling of being responsible and at the origin of the solution decreases little even though the validated plans become more homogeneous.The second problem examines the potential links between the compromise criteria of the plans constructed with the AI by the operator and the elements of his personality that could predict it, in terrains where there is no conceivable plan that has an acceptable quality. We highlight an individual preference for degrading one of the three plan trade-off criteria: some participants prefer to abandon targets instead, others consume a lot of fuel, others take a high risk. Nevertheless, we do not observe a correlation between these participants' decision profiles and their Big Five model traits or their self-confidence.The third issue concerns the development of AI that better accounts for human decision making. Self-confrontation interviews with participants allowed us to build a model of the operator's decision making process for the replanning task in the environment. We analyzed how the way the operator uses the different tools reveals in which phase of the solution construction he is in, which allowed us to automate the monitoring of this decision-making process. We derive examples of situations in which the AI system can adapt its recommendations differently, depending on whether the operator is identified as being involved in an exploration phase or a flight plan exploitation phase.These results allow us to identify human factor issues related to future uses of AI in human-IA teams even before these systems are available, and to propose design principles that rely on the cognitive mechanisms underlying human decision making to lay the foundations for interaction with the AI system.