Formal ethical reasoning and dilemma identification in a human-artificial agent system

Formalisation de raisonnement éthique et identification de dilemmes moraux dans un système humain-agent artificiel

• Auteur / Autrice : Vincent Bonnemains
• Direction : Catherine Tessier, Claire Saurel
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Robotique
• Date : Soutenance le 11/12/2019
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Equipe d'accueil doctoral Commande des systèmes et dynamique du vol (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Equipe de recherche : Office national d'études et recherches aérospatiales. Département Traitement de l’Information et Systèmes (DTIS)
• Jury : Président / Présidente : Jean-Gabriel Ganascia
• Jury : Examinateurs / Examinatrices : Catherine Tessier, Claire Saurel, Jean-Gabriel Ganascia, Virginia Dignum, Olivier Boissier, Jérôme Perrin, Matthias Scheutz
• Jury : Rapporteur / Rapporteuse : Virginia Dignum, Olivier Boissier

Mots clés

Mots clés contrôlés

Morale

Intelligence artificielle

Mots clés libres

Dilemme moral

Formalisation

Expérimentation

Système humain-Agent artificiel

Éthique

Agent artificiel

Ethics

Moral dilemma

Formalisation

Human-Artificial agent system

Artificial agent

Experimentation

Résumé

Cette thèse s’inscrit dans le contexte des machines autonomes embarquant des concepts éthiques dans leur raisonnement. Ce travail consiste à proposer un raisonnement formel se basant sur des concepts de philosophie morale qui permet à un agent artificiel de juger des décisions et de justifier ce jugement. Partant d’un modèle de situation composé d’états du monde, de faits, de décisions et d’événements, nous avons modélisé les cadres éthiques de l’éthique normative par des règles à respecter dans le but de juger une décision comme « acceptable » ou « inacceptable » du point de vue de chacun de ces cadres. À partir de ce formalisme, nous avons pu élaborer une définition de dilemme moral qui se fonde sur les définitions en langage naturel disponibles dans la littérature, dans le but de permettre à un agent artificiel d’identifier une situation comme un dilemme. L’ensemble de ces travaux de formalisation ont permis de mettre en évidence et d’identifier précisément les sources de subjectivité ainsi que les facteurs de sensibilité du modèle. Enfin, un dernier chapitre est consacré à une expérimentation réalisée dans le but d’étudier l’influence qu’un agent artificiel embarquant un raisonnement éthique peut avoir sur un opérateur humain. Cette expérimentation a mis en évidence une tendance générale des participants à ne pas être influencé par les suggestions de l’agent artificiel s’opposant à leur avis initial. Néanmoins, on observe que les personnes dont le raisonnement est plutôt déontologique ont tendance à être plus influencées que les personnes dont le raisonnement est plutôt conséquentialiste.

This thesis comes within the scope of autonomous machines embedding ethical concepts in their reasoning. Overall, this work consists in proposing a formal reasoning allowing an artificial agent to judge decisions and justify its judgement, starting from philosophical concepts of ethics. This has been done through a situation model composed of states of the world, facts, decisions and events. Ethical frameworks of normative ethics have been formalized through rules to respect in order to judge a decision as ''acceptable'' or ''unacceptable''. Thanks to this formalism, a formal definition of a moral dilemma has been given in order to allow an artificial agent to identify a situation as such, based on dilemma properties coming from dilemma definitions of the literature formulated in natural language. This work of formalization has allowed the subjectivity sources as well as the factors of sensitivity of the model to be properly identified. A last chapter focuses on an experiment designed to study the influence an artificial agent embedding ethical reasoning may have on a human operator. The experiment reveals that most people are not influenced by the artificial agent’s suggestions. Nevertheless, deontological people tend to be more influenced than consequentialist people.