Faire confiance aux systèmes d'IA ''by design

Trusting AI systems by design

• Auteur / Autrice : Baptiste Pesquet
• Direction : Frédéric Alexandre
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 18/10/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique

Mots clés

Mots clés libres

Intelligence artificielle

Confiance

Décision

Artificial intelligence

Trust

Decision

Résumé

Nous prenons des décisions à partir de notre perception de la situation, en incluant également la confiance que nous avons dans nos perceptions, dans les autres agents cognitifs impliqués mais aussi dans notre propre jugement. Nous souhaitons explorer ici la possibilité de développer des IA capables intrinsèquement (by design) d'évaluer ces niveaux de confiance et de les utiliser dans leurs décisions. Nous nous baserons pour commencer sur des modèles cognitifs bio-inspirés capables de prendre des décisions par la sélection de règles de comportement préalablement apprises (Domenech and Koechlin, 2015). Ces règles peuvent être représentées sous une forme implicite (comportement automatique) ou sous une forme explicite (comportement délibéré). Des travaux ont déjà étudié comment des arbitrages sont réalisés entre ces différents types de règles (Lee et al., 2014). Des travaux plus récents (Dagar, 2023) ont également montré comment ces règles explicites peuvent être apprises par le suivi des erreurs, permeSant d'inhiber des règles non valides et d'en construire de nouvelles quand les règles du monde changent. Ils ont également montré que ces règles peuvent être hiérarchiques. Ceci définit des capacités de méta-cognition, c'est-à-dire de faire travailler des procédures cognitives non pas sur la décision mais sur la sélection des règles de décision. Des travaux récents en neurosciences (Clairis and Pessiglione, 2022) ont également montré que les mêmes régions du cerveau réalisant le suivi des erreurs utilisent ce type d'information pour évaluer le niveau de confiance en fonction de l'environnement et de son évolution. Une première partie de ce travail de thèse aura pour but de partir des travaux antérieurs sur la métacognition appliquée à l'élaboration de règles explicites, pour en proposer des extensions introduisant une estimation du niveau de confiance et proposant des moyens de moduler la décision à partir de ceSe estimation. Un autre facteur important que nous souhaitons considérer est celui du décours temporel de la décision. En effet, d'autres travaux (Resulaj et al., 2009) meSent l'accent sur la phase de délibération avant la décision, où on évalue les différentes alternatives et où le but est d'optimiser le rapport entre le temps de délibération et la qualité de la décision. Ces travaux abordent également la problématique de changement d'avis, qui peut se produire non seulement avant la décision mais aussi qui peut corriger ultérieurement ceSe décision (Yeung et al., 2012). Prendre en compte ce contexte temporel sera également un sujet majeur à aborder. Au-delà de l'exploration fonctionnelle et de la modélisation des mécanismes impliqués dans ces différentes estimations du niveau de confiance, il sera important d'étudier également l'utilisabilité concrète de telles approches dans des systèmes opérationnels de prise de décision. Il serait en particulier très appréciable de pouvoir utiliser ceSe approche pour rendre explicites les critères et les arguments justifiant la décision, allant ainsi vers l'explicabilité du système. L'obtention d'un système complétement autonome n'étant pas nécessairement un but en soi, on pourra également se demander comment de telles approches peuvent être utilisées dans des systèmes d'assistance à la décision, pour guider des humains dans ceSe tâche.

We make decisions based on our perception of the situation, also including the confidence we have in our perceptions, in the other cognitive agents involved but also in our own judgment. We want to explore here the possibility of developing AIs that are intrinsically capable (by design) of assessing these levels of trust and using them in their decisions. We will start with bio-inspired cognitive models capable of making decisions through the selection of previously learned rules of behaviour (Domenech and Koechlin, 2015). These rules can be represented in an implicit form (automatic behavior) or in an explicit form (deliberate behavior). Work has already studied how trade-offs are made between these different types of rules (Lee et al., 2014). More recent work (Dagar, 2023) has also shown how these explicit rules can be learned by tracking errors, allowing inhibiting invalid rules and constructing new ones when the rules of the world change. They also showed that these rules can be hierarchical. This defines meta-cognition capacities, i.e. to make cognitive procedures work not on the decision but on the selection of decision rules. Recent work in neuroscience (Clairis and Pessiglione, 2022) has also shown that the same regions of the brain that track errors use this type of information to assess the level of confidence according to the environment and its evolution. The first part of this thesis work will aim to build on previous work on metacognition applied to the development of explicit rules, to propose extensions introducing an estimate of the level of confidence and proposing ways of modulating the decision from this estimate. Another important factor that we wish to consider is that of the temporal course of the decision. Indeed, other studies (Resulaj et al., 2009) focus on the deliberation phase before the decision, where the different alternatives are evaluated and where the aim is to optimize the relationship between the time of deliberation and the quality of the decision. This work also addresses the issue of change of mind, which can occur not only before the decision but also can correct the decision later (Yeung et al., 2012). Taking into account this temporal context will also be a major topic to address. Beyond the functional exploration and modeling of the mechanisms involved in these different estimates of confidence level, it will also be important to study the concrete usability of such approaches in operational decision-making systems. In particular, it would be very valuable to be able to use this approach to make explicit the criteria and arguments justifying the decision, thus moving towards the explainability of the system. Since obtaining a completely autonomous system is not necessarily an end in itself, one may also wonder how such approaches can be used in decision support systems, to guide humans in this task.