Algorithmes de recherche basés sur l'échantillonnage dans les jeux

Sampling-Based Search Algorithms in Games

• Auteur / Autrice : Jérôme Arjonilla
• Direction : Tristan Cazenave
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/11/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : SDOSE Sciences de la Décision, des Organisations, de la Société et de l'Echange
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Analyse et de Modélisation de Systèmes d’Aide à la Décision - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : UNIVERSITE PARIS DAUPHINE - PSL
• Jury : Président / Présidente : Bruno Zanuttini
• Jury : Examinateurs / Examinatrices : Tristan Cazenave, Bruno Zanuttini, Lucas Simon, Bruno Bouzy, Anne-Gwenn Bosser, Abdallah Saffidine
• Jury : Rapporteur / Rapporteuse : Lucas Simon, Bruno Bouzy

Mots clés

Mots clés contrôlés

Théorie des jeux

Monte-Carlo, Méthode de

Métaheuristiques

Mots clés libres

Algorithme de recherche

Jeux

Méchanisme d’attention

Données médicales

Contours actifs

Distances géodésiques

Search algorithm

Games

Imperfect information

Reinforcement

Perfect information

Résumé

La recherche d'algorithmes appliquée aux jeux est un domaine de recherche très dynamique. Les jeux constituent un terrain d'application privilégié pour les algorithmes de recherche, car les jeux permettent de modéliser des problèmes complexes, de manière efficace. De nombreux algorithmes ont d'abord été développés pour les jeux avant d'être étendus à d'autres domaines. Dans cette thèse, nous nous intéressons à la recherche d'algorithmes heuristiques dans le cadre des jeux, en particulier aux algorithmes de recherche heuristique basés sur le sampling, tels que Monte Carlo Tree Search (MCTS) en information parfaite, ainsi qu'à des algorithmes de détermination en information imparfaite. Nous explorons également l'intégration des algorithmes de recherche avec d'autres types d'algorithmes, notamment les algorithmes d'apprentissage par renforcement. Ce travail présente les méthodes existantes ainsi que plusieurs contributions originales dans ce domaine. La première partie de la thèse est consacrée à l'étude des algorithmes de recherche heuristique indépendants du domaine, ce qui les rend facilement testables et applicables dans divers contextes. Plus particulièrement, nous nous concentrons sur les jeux à information imparfaite, où les joueurs ne disposent pas de toutes les informations sur l'état du jeu. Dans ce contexte, certains problèmes apparaissent avec les méthodes existantes, notamment en ce qui concerne la fusion de stratégies et l'impact de la révélation d'informations. Nous discuterons en détail de ces problématiques et présenterons les méthodes proposées pour les résoudre. La seconde partie de la thèse porte sur les algorithmes de recherche heuristique spécifiques à un domaine. Ces algorithmes, dépendants du domaine, sont souvent plus efficaces que les algorithmes indépendants, car ils peuvent apprendre, généraliser et s'adapter à un contexte spécifique. Au cours de cette partie, nous étudions l'intégration des algorithmes de recherche heuristique avec d'autres types d'algorithmes, en particulier ceux d'apprentissage par renforcement. Nous présentons une contribution originale dans ce domaine ainsi qu'une autre en cours de développement. La première méthode propose de renforcer les algorithmes de recherche en intégrant des algorithmes d'apprentissage par renforcement basés sur le principe de guide. La seconde méthode vise à intégrer des méthodes basées sur des modèles (model-based) dans les algorithms recherches en information imparfaite.

Algorithm research in the context of games is a highly active field. Games are a prime application domain for search algorithms because they allow for the modeling and efficient resolution of complex problems. Many algorithms were first developed for games before being extended to other domains. In this thesis, we focus on heuristic search algorithms in the context of games, particularly heuristic search algorithms based on sampling, such as Monte Carlo Tree Search (MCTS) in perfect information, and based on determinization in imperfect information. We also explore the integration of search algorithms with other types of algorithms, especially reinforcement learning algorithms. We present existing methods as well as several original contributions in this field. The first part of the thesis is dedicated to the study of domain-independent heuristic search algorithms, making them easily testable and applicable in various contexts. Specifically, we focus on games with imperfect information, where players do not know all the details about the game state. In these types of algorithms and games, certain problems arise with existing methods, particularly issues related to strategy fusion and the impact of information revelation. We will discuss these problems in detail and present two original methods to address them. The second part of the thesis explores domain-dependent heuristic search algorithms. Domain-dependent algorithms are often more efficient than domain-independent ones because they can learn, generalize, and adapt to a specific domain. Throughout this part, we investigate the integration of heuristic search algorithms with other types of algorithms, particularly reinforcement learning algorithms. We present an original contribution in this area and another contribution that is currently under development. The first method proposes to enhance search algorithms by integrating reinforcement learning algorithms based on the guiding principle. The second method aims to incorporate model-based methods into searches in imperfect information settings.