Comment l'IA nous classe : Expliquer l'IA dans les services financiers et la recherche d'emploi, des solutions techniques aux enjeux éthiques

How AI classifications impact us: Explaining AI in financial services and job advertising, from technical solutions to ethical issues

• Auteur / Autrice : Thomas Souverain
• Direction : Paul Egre
• Type : Projet de thèse
• Discipline(s) : Philosophie
• Date : Inscription en doctorat le 01/09/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale École transdisciplinaire Lettres/Sciences
• Partenaire(s) de recherche : Laboratoire : Institut Jean Nicod
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Intelligence Artificielle (IA) explicable

Éthique

Philosophie

Explicabilité

Équité

Cas d'usage

Artificial Intelligence (AI)

Ethics

Philosophy

Explainable Artificial Intelligence (XAI)

Fairness

Use case

Résumé

Comment se fait-il qu'un opérateur statistique, échappant en partie aux instructions de l'humain, s'adapte avec une rapidité et des performances inégalées à des milliers de données pour prédire des risques de défaut de paiement, des offres d'emploi discriminantes, ou générer des textes et des images vraisemblants ? Face à la « boîte noire » de l'Intelligence Artificielle (IA) contemporaine, un vaste champ de recherche s'est constitué pour rendre compte de l'architecture et des prédictions des modèles d'apprentissage-machine. Depuis les années 2010, ce champ de l'IA explicable (xIA) est surtout représenté par des chercheurs en informatique, qui élaborent des solutions pour retracer l'entraînement et le cheminement des modèles. Partant des pratiques existantes en xIA, cette thèse interroge leur portée explicative et ouvre un questionnement plus général sur ce que signifie expliquer l'IA. Les enjeux de l'explication d'un modèle l'IA nous semblent porteurs de trois dimensions, que nous étudions au travers des trois chapitres de thèse : I. La transparence fonctionnelle : Les recherches en IA explicable (xIA) attellent pour une large part l'explication à rendre compte de l'architecture et des prédictions des modèles d'apprentissage-machine. Cette démarche explicative vise à dissiper l'obscurité de la boîte noire en montrant comment elle fonctionne. II. La justification du déploiement l'IA : Les techniques fabriquées en xIA sont orientées par leurs finalités, parmi lesquelles l'idée de justice. Ainsi, peut-on garantir que la boîte noire ne désavantagera pas des minorités pour établir des risques de récidive en justice, ou des femmes dans l'octroi d'un prêt immobilier ? Pour nous saisir du discours sur l'IA à travers ses finalités, nous avons lancé une expérience de programmation. Au cours d'un partenariat de trois ans avec l'entreprise DreamQuark spécialiste de xIA dans les services financiers, nous avons nous-même conçu une librairie pour détecter et corriger des inégalités dans la prédiction de revenus ou les risques de défaut de paiement. Sur cette base, nous questionnons les valeurs reflétées par l'IA, la possibilité de les infléchir et de les justifier. III. L'appropriation de l'IA par des humains : Structurées par des finalités, les solutions de xIA s'adressent à des humains que l'outil impacte. Le discours sur l'IA cherche à se faire intelligible. Cette fois en partenariat d'un an avec France Travail, nous sommes parti de la détection par réseaux de neurones d'offres d'emploi illégales, installée depuis deux ans dans le quotidien des conseillers. Conduisant une enquête de terrain de trois mois sur la réception de l'IA et des xIA auprès de N=300 conseillers, nous avons croisé entretiens semi-directifs dans les agences régionales et questionnaires. Nous investiguons sur la base de cette étude expérimentale les concepts d'intelligibilité et de confiance, qui assurent qu'un discours explicatif est bien reçu comme explication de l'IA par ses utilisateurs. Là où expliquer la boîte noire de l'Intelligence Artificielle (IA) est souvent restreint au fonctionnel, élaborer des solutions retraçant le « comment » de l'IA, nous resituons ainsi l'explication de l'IA au service du « pourquoi ». L'explication cherche d'abord à répondre à un problème épistémologique (chapitre I) : comment décrire la spécificité de ces modèles et reconstruire leurs prédictions ? Cependant, il nous paraît urgent de désenclaver la question, l'explication d'un modèle étant également constituée par ses finalités (chapitre II) et ses récepteurs (chapitre III). Nous rapprochant de l'objet en situation de programmeur et enquêtant auprès d'utilisateurs, c'est donc à partir du terrain que nous approchons en philosophe les notions de description, de justice et de confiance, qui gravitent autour de l'explication de l'IA et lui donnent sens.

How is it possible for a machine to predict risks of loan defaults, to warn for discriminatory job offers, or to generate credible texts and images? How machine learning models fit large datasets with unprecedent speed and accuracy is puzzling, especially since their functioning partially escapes human instructions. In response to the ''black box'' of current Artificial Intelligence (AI), a broad field of research has emerged to shed light on the architecture and predictions of machine learning models. Since the 2010s, this field of explainable AI (xAI) largely consists of computer scientists which develop solutions to trace back the training and outputs of these models. However, to analyze what it means to explain AI involves studying the why and not only the how of AI. To better understand the stakes of AI explanation and be able to delineate the concept, we led two industrial partnerships in this thesis. Building on existing xAI practices, we examine their explanatory power and open up broader questions about what it means to explain AI. We identify three key dimensions of explaining AI, and explore them through the three chapters of this thesis: I. Functional transparency: Much of xAI research focuses on clarifying the architecture and predictions of machine learning models. This dimension of AI explanation faces up the opacity of the black box by highlighting how it operates. II. Justification of AI deployment: xAI techniques are shaped by their explaining purposes, including the need for fairness. Can we ensure that the black box does not dig the gaps with minorities in recidivism risks, or that it does not disadvantage women in mortgage approval? In a three-year partnership with the company DreamQuark, specialized in xAI for financial services, we delved into the explaining goal of fairness. We developed a package detecting and mitigating disadvantages in predicting income or loan default risks. On this basis, we question the values reflected by AI, the possibility of adjusting them, and the grounds for justifying them. III. Human reception of AI: xAI techniques are not only structured by their purposes, but also by the humans they wish to address. Intelligibility is crucial for xAI to be received as an effective explanation. Through a one-year partnership with the French Employment Agency (France Travail), we focused on the use of neural networks to detect illegal job offers, the predictive tool being part of the daily life of job counsellors since 2021. To investigate the effect of AI and xAI on professional users, we conducted a three-month field study on N=300 advisors. We combined quantitative surveys with semi-structured interviews at regional agencies. Based on this experimental study, we dig into the concepts of intelligibility and trust, which may or not trigger an explanatory effect by AI users. Whereas the field of xAI mostly deals with the “how” of AI, limiting AI explanation to technical solutions, we hope this thesis helps better situate the concept of AI explanation. Serving the “why”, explaining AI seeks to address the epistemological problem of describing the specificities of machine learning models and their predictions (Chapter I). However, epistemological aspects are completed by ethical ones. To explain a model involves fulfilling a purpose (Chapter II) and fitting with an audience (Chapter III). Engaging with AI as a data scientist and gathering the perspectives of xAI users, we base our conceptual analysis on empirical material on AI. It provides our philosophical approach with the finer concepts of description, fairness and trust, which give AI explanation its whole meaning.