Interprétabilité pour les systèmes multi-agents profond

Interpretability for Deep Multi-Agent Systems

• Auteur / Autrice : Yoann Poupart
• Direction : Nicolas Maudet, Aurélie Beynier
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6

Mots clés

Mots clés libres

Interprétabilité

Systèmes multi-agents

Apprentissage profond

Interpretability

Multi-Agent Systems

Deep Learning

Résumé

Les systèmes multi-agents (SMA) se sont démocratisés ces dernières années notamment grâce à l'interfaçage en langage naturel rendu possible par les grands modèles de langage. Même si leur capacité à résoudre des tâches complexes est indéniable, la dynamique qui émerge de ces systèmes peut être difficile à prévoir et des garanties sont nécessaires. Le jailbreak, l'adversarialité ou la recherche de pouvoir sont des modes de défaillances préoccupantes des SMA, et l'évaluation de ces capacités reste un problème difficile. À cet égard, l'interprétabilité pourrait être l'un des meilleurs outils pour surveiller et contrôler plusieurs agents simultanément et automatiquement. En effet, les éléments internes du modèle transmettent les informations utilisées pour sa prédiction et peuvent être utilisés symboliquement pour gagner en compréhension ou en contrôle.

Multi-agent systems (MAS) have been democratised in recent years thanks to the natural language interfacing made possible by large language models (LLM). While their ability to solve complex tasks is undeniable, the dynamics emerging from these systems can be hard to predict, and guarantees are needed. Jailbreak, adversariality, or power-seeking are concerning failure modes of MAS, and evaluating these capabilities remains a difficult problem. In this respect, interpretability could be one of the best tools to monitor and control several agents simultaneously and automatically. Indeed the models' internals convey the information used for its prediction and can be used symbolically for gaining understanding or control.