Confiance déplacée dans l'IA : le paradoxe de l'explication et l'approche centrée sur l'homme. Une caractérisation des défis cognitifs pour faire confiance de manière appropriée aux décisions algorithmiques et applications dans le secteur financier

Misplaced trust in AI : the explanation paradox and the human-centric path. A characterisation of the cognitive challenges to appropriately trust algorithmic decisions and applications in the financial sector

• Auteur / Autrice : Astrid Bertrand
• Direction : Winston Maxwell, James Eagan
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/05/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Alexandre De Streel
• Jury : Examinateurs / Examinatrices : Alexandre De Streel, Timothy Miller, Fosca Giannotti, Nadia Boukhelifa
• Jury : Rapporteurs / Rapporteuses : Timothy Miller, Fosca Giannotti

Mots clés

Mots clés contrôlés

Confiance

Applications financières

Intelligence artificielle

Interaction humain-machine

Mots clés libres

Explicabilité

Apprentissage automatique

Approche centrée sur l'humain

Lutte anti-Blanchiment

Robo-Advisor

Supervision financière

Explanability

Machine learning

Human-Centered approach

Anti-Money laundering

Robo-Advisor

Financial supervision

Résumé

L'IA devenant de plus en plus présente dans nos vies, nous sommes soucieux de comprendrele fonctionnement de ces structures opaques. Pour répondre à cette demande, le domaine de la recherche en explicabilité (XAI) s'est considérablement développé au cours des dernières années. Cependant, peu de travaux ont étudié le besoin en explicabilité des régulateurs ou des consommateurs à la lumière d'exigences légales en matière d'explications. Cette thèse s'attache à comprendre le rôle des explications pour permettre la conformité réglementaire des systèmes améliorés par l'IA dans des applications financières. La première partie passe en revue le défi de prendre en compte les biais cognitifs de l'homme dans les explications des systèmes d'IA. L'analyse fournit plusieurs pistes pour mieux aligner les solutions d'explicabilité sur les processus cognitifs des individus, notamment en concevant des explications plus interactives. Elle présente ensuite une taxonomie des différentes façons d'interagir avec les solutions d'explicabilité. La deuxième partie se concentre sur des contextes financiers précis. Une étude porte sur les systèmes de recommandation et de souscription en ligne de contrats d'assurance-vie. L'étude souligne que les explications présentées dans ce contexte n'améliorent pas de manière significative la compréhension de la recommandation par les utilisateurs non experts. Elles ne suscitent pas davantage la confiance des utilisateurs que si aucune explication n'était fournie. Une autre étude analyse les besoins des régulateurs en matière d'explication dans le cadre de la lutte contre le blanchiment d'argent et le financement du terrorisme. Elle constate que les autorités de contrôle ont besoin d'explications pour établir le caractère répréhensible des cas de défaillance échantillonnés, ou pour vérifier et contester la bonne compréhension de l'IA par les banques.

As AI is becoming more widespread in our everyday lives, concerns have been raised about comprehending how these opaque structures operate. In response, the research field of explainability (XAI) has developed considerably in recent years. However, little work has studied regulators' need for explainability or considered effects of explanations on users in light of legal requirements for explanations. This thesis focuses on understanding the role of AI explanations to enable regulatory compliance of AI-enhanced systems in financial applications. The first part reviews the challenge of taking into account human cognitive biases in the explanations of AI systems. The analysis provides several directions to better align explainability solutions with people's cognitive processes, including designing more interactive explanations. It then presents a taxonomy of the different ways to interact with explainability solutions. The second part focuses on specific financial contexts. One study takes place in the domain of online recommender systems for life insurance contracts. The study highlights that feature based explanations do not significantly improve non expert users' understanding of the recommendation, nor lead to more appropriate reliance compared to having no explanation at all. Another study analyzes the needs of regulators for explainability in anti-money laundering and financing of terrorism. It finds that supervisors need explanations to establish the reprehensibility of sampled failure cases, or to verify and challenge banks' correct understanding of the AI.