HUCAI : Collaboration humaine augmentée par IA - Comment assurer l'alignement de l'IA avec les objectifs, préférences et valeurs des humains ?

HUCAI: Human collaboration enhanced by AI - How to ensure AI alignment with human goals, preferences, and values?

• Auteur / Autrice : Marceau Nahon
• Direction : Mehdi Khamassi, Cédric Paternotte
• Type : Projet de thèse
• Discipline(s) : Neurosciences
• Date : Inscription en doctorat le 01/12/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique
• Partenaire(s) de recherche : Equipe de recherche : Action Cognition Decision & Interaction Encorporées (ACIDE)

Mots clés

Mots clés libres

Intelligence Artificielle

Collaboration

Alignement de l'IA

Éthique

Apprentissage par renforcement

Artificial Intelligence

Collaboration

AI alignment

Ethics

Reinforcement learning

Résumé

La problématique générale abordée dans cette thèse est celle de l'évaluation et l'amélioration par apprentissage de l'alignement entre un système d'IA et des humains en situation de collaboration. L'alignement doit se faire avec les objectifs (l'objectif du système est-il le même que celui des humains ? L'objectif de la tâche collaborative et les intentions des humains qui collaborent sont-ils bien identifiés par le système d'IA pour qu'il les aide plutôt que les entraver ?), les préférences, les valeurs (le système respecte-t-il les préférences et valeurs des humains dans le contexte de la tâche ?). L'objectif est de mettre au point une méthode permettant d'évaluer et d'améliorer cet alignement. Le travail de thèse a pour but de : - développer des modèles et métriques permettant de mesurer : - l'alignement entre les décisions prises par un système à base d'IA et les objectifs définis par les humains dans des contextes collaboratifs. - le respect des préférences et valeurs individuelles et collectives (e.g., conventions, valeurs morales) des humains impliqués dans la collaboration. - Développer des modèles à base d'apprentissage par renforcement visant à améliorer l'alignement des systèmes d'IA intégrés dans la collaboration. - Faire une analyse philosophique du problème pour vérifier que les termes employés (collaboration, alignement, valeurs humaines, etc.) sont bien définis et formalisés dans le système de manière cohérente avec les théories philosophiques. - Définir des recommandations pour l'intégration responsable et éthique de l'IA en contexte collaboratif. Le travail de thèse proposé s'ancre dans les méthodes d'alignement forward (par apprentissage pendant la tâche), par opposition à l'alignement backward, i.e., a posteriori (Ji et al., 2023, arxiv). L'approche consiste à élaborer un modèle computationnel à base d'IA ancré dans la théorie de l'apprentissage par renforcement (RL) fondé sur un modèle (Sutton et Barto, 2018) pour estimer de manière probabiliste les impacts de séquences d'actions effectuées lors de tâches collaboratives. De plus, nous adopterons les méthodes d'inverse RL (Ng & Russell, 2020) permettant d'estimer la “fonction de récompense” latente qui explique le mieux une séquence d'actions effectuée par un agent (ici par les humains pendant la tâche collaborative, afin de vérifier que cette fonction correspond à l'objectif prédéfini de la tâche). Enfin, nous utiliserons les extensions récentes du formalisme RL pour que les impacts des actions puissent être également évalués au regard du respect de normes, principes, conventions (Baldassarre et al. 2024 arxiv 2403.02514). Appliquées à l'inverse RL, nous évaluerons leur capacité à détecter les objectifs, préférences et valeurs sous-jacentes aux comportements des humains qui collaborent. Pour le travail philosophique de la thèse, l'approche consiste à partir des théories de la collaboration comme cas particulier de la coopération impliquant des actions conjointes orientées vers un but conjoint (e.g., Paternotte et al., 2014). Du côté de l'alignement, nous partirons des théorisations classiques des valeurs humaines (Schwartz, 1994) et comparerons les situations collaboratives aux catégorisations philosophiques entre différents types de valeurs personnelles et sociales, les dernières incluant les conventions et les normes morales (Habermas, 1984; Turiel, 1991).

The general issue addressed in this thesis is the evaluation and improvement, through learning, of the alignment between an AI system and humans in collaborative settings. This alignment must encompass the objectives (does the system's goal align with the humans' goal? Does the AI system accurately identify the collaborative task's objective and the intentions of the collaborating humans to assist rather than hinder them?), preferences, and values (does the system respect the preferences and values of the humans within the task's context?). The aim is to develop a method to evaluate and improve this alignment. The thesis aims to: - Develop models and metrics to measure: - The alignment between decisions made by an AI-based system and the objectives defined by humans in collaborative contexts. - The respect for the individual and collective preferences and values (e.g., conventions, moral values) of the humans involved in the collaboration. - Develop reinforcement learning-based models to improve the alignment of AI systems embedded in collaboration. - Conduct a philosophical analysis of the problem to ensure that terms (collaboration, alignment, human values, etc.) are well-defined and formalized within the system in a manner consistent with philosophical theories. - Define recommendations for the responsible and ethical integration of AI in collaborative contexts. This thesis is grounded in forward alignment methods (alignment through learning during the task) as opposed to backward alignment, i.e., post hoc alignment (Ji et al., 2023, arXiv). The approach involves developing a computational model based on AI and rooted in reinforcement learning (RL) theory, grounded on a model (Sutton & Barto, 2018), to probabilistically estimate the impacts of sequences of actions performed in collaborative tasks. Additionally, inverse RL methods (Ng & Russell, 2000) will be employed to estimate the latent “reward function” that best explains a sequence of actions taken by an agent (here, humans during the collaborative task, to verify that this function corresponds to the task's predefined objective). Finally, recent RL formalism extensions will be used so that action impacts can also be evaluated in terms of adherence to norms, principles, and conventions (Baldassarre et al., 2024, arXiv 2403.02514). Applied to inverse RL, we will assess their capacity to detect the goals, preferences, and values underlying the behavior of collaborating humans. For the philosophical component of the thesis, the approach will draw on theories of collaboration as a specific form of cooperation involving joint goal-oriented actions (e.g., Paternotte et al., 2014). For alignment, we will start from classical theories of human values (Schwartz, 1994) and compare collaborative situations with philosophical categorizations of different types of personal and social values, the latter including conventions and moral norms (Habermas, 1984; Turiel, 1991).