Apprentissage par renforcement appliqué à la simulation de styles de jeu humains variés dans les jeux vidéos

Simulation Of Diverse Human Play-Styles In Video Games : A Reinforcement Learning Approach

• Auteur / Autrice : Pierre Le Pelletier de Woillemont
• Direction : Amal El Fallah Seghrouchni, Vincent Corruble
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 11/09/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Olivier Sigaud
• Jury : Examinateurs / Examinatrices : Geber Ramalho
• Jury : Rapporteur / Rapporteuse : Stuart Russell, Georgios N. Yannakakis

Mots clés

Mots clés contrôlés

Agents intelligents (logiciels)

Prise de décision

Simulation par ordinateur

Comportement humain

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement

Comportements humains

Play-Style

Reinforcement learning

Human-Like behavior

Play-Style

Résumé

Avec l'augmentation de la puissance informatique ces dernières décennies et le désir des développeurs de jeux d'offrir aux joueurs des expériences toujours plus engageantes, les jeux vidéo sont devenus de plus en plus complexes, immersifs et réalistes. Cette richesse croissante s'est traduite par un large éventail de styles de jeu potentiels. Les concepteurs de jeux doivent le prendre en compte, notamment lors des tests automatiques afin que ceux-ci produisent des résultats en adéquation avec la réalité. Dans cette thèse, nous explorons l'application de techniques d'apprentissage par renforcement pour créer des agents au style humain, capables de simuler des styles de jeu variés, afin d'être intégré à ces procédures de tests automatiques. Notre objectif est de combler le fossé entre les besoins et les contraintes de l'industrie du jeu vidéo d'un côté et les capacités et les exigences des algorithmes d'apprentissage automatique existants de l'autre, afin de proposer des méthodes réalistes capables de créer des agents pertinents qui soient utiles pour les tests automatiques de jeux vidéo.

The increasing complexity of gameplay mechanisms in modern video games is leading to the emergence of a wider range of ways to play games. The variety of possible play-styles needs to be anticipated by designers, through automated tests. In this dissertation, we explore the application of reinforcement learning techniques to create human-like agents that can simulate diverse play-styles for use in automated game testing. We investigate how RL algorithms can be used to generate agents that mimic the behavior of human players and how these agents can be used to evaluate the game. Our objective is to bridge the gap between the needs and constraints of the video game industry and the capabilities and requirements of the existing machine learning algorithms. We developed three approaches, relying on goal-conditioning, imitation learning and adversarial learning. These methods may be used at different stages of the video game production for various purposes.