Évolution de la coopération avec le choix du partenaire dans les systèmes adaptatifs collectifs

Evolution of cooperation with partner choice in collective adaptive systems

• Auteur / Autrice : Paul Ecoffet
• Direction : Nicolas Bredèche, Jean-Baptiste André
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/03/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Nicolas Maudet
• Jury : Examinateurs / Examinatrices : Silvia De Monte
• Jury : Rapporteurs / Rapporteuses : Guillaume Achaz, Eliseo Ferrante
• DOI : 10.70675/1b2b9e46z56b3z4b69z9d62z99c9e889cea5

Mots clés

Mots clés contrôlés

Coopération (psychologie)

Relations intergroupes

Évolution (biologie)

Robotique

Intelligence artificielle

Mots clés libres

Biologie évolutionaire

Robotique en essaim

Choix du partenaire

Coopération

Réciprocité

Modèle agent-centré

Evolutionary biology

Swarm robotics

Partner choice

Cooperation

Reciprocity

Agent based models

Résumé

L’évolution de la coopération est un paradoxe du point de vue de l’évolution. En effet, tous les individus du vivant devraient être intéressés uniquement par leurs propres intérêts. Aider un autre individu est donc une perte de temps et de ressources. Comment expliquer que certains individus agissent de manière coopérative ? Cette thèse s'intéresse au mécanisme de réciprocité nommé le choix du partenaire qui permet l'évolution de comportements coopératifs. Cependant, les contraintes nécessaires à l'évolution de ce mécanisme sont fortes et rarement respectées. Cette thèse vise à étendre les connaissances de ces contraintes grâce à des simulations dans des environnements complexes et réalistes. La première contribution de cette thèse étend les modèles de choix du partenaire préexistants en ajoutant la contrainte de la disponibilité de ressources dans l'environnement. Dans ce cas, ce n’est plus seulement la densité de la population, mais aussi la richesse de l’environnement qui influence le choix du partenaire. Dans notre seconde contribution, nous étendons les résultats obtenus par les modèles aspatiaux. Nous étudions l’impact des environnements spatiaux sur la dynamique de la coopération avec le choix du partenaire. Le choix du partenaire requiert des individus de pouvoir apprendre à partir d'évènements rares. Dans notre troisième contribution, nous comparons la tolérance à la rareté des récompenses d'un algorithme d’apprentissage de renforcement et d'un algorithme de stratégie évolutive. Nos travaux montrent l’immense difficulté que les algorithmes d’apprentissage par renforcement ont à développer le choix du partenaire, au contraire des stratégies évolutionnaires.

The evolution of cooperation is a paradox from an evolutionary point of view. Indeed, all individuals in the living world should be interested only in their own interests. Helping another individual is therefore a waste of time and resources. How can we explain that some individuals act in a cooperative way? This thesis focuses on the mechanism of reciprocity named partner choice that allows the evolution of cooperative behavior. However, the constraints necessary for the evolution of this mechanism are strong and rarely respected. This thesis aims at extending the knowledge of these constraints through simulations in complex and realistic environments. The first contribution of this thesis extends the pre-existing partner choice models by adding the constraint of resource availability in the environment. In this case, it is no longer only the population density, but also the wealth of the environment that influences partner choice. In our second contribution, we extend the results obtained by the aspatial models. We study the impact of spatial environments on the dynamics of cooperation with partner choice. Partner choice requires individuals to be able to learn from rare events. In our third contribution, we compare the reward sparsity tolerance of a reinforcement learning algorithm and an evolutionary strategy algorithm. Our work shows the immense difficulty that reinforcement learning algorithms have in developing partner choice, unlike evolutionary strategies.