Mise à l'échelle de la synthèse de mouvement humain en 3D conditionnée par du langage naturel

Scaling up text-conditioned 3D human motion synthesis

• Auteur / Autrice : Léore Bensabath
• Direction : David Picard
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/06/2024
• Etablissement(s) : Marne-la-vallée, ENPC
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)

Mots clés

Mots clés libres

Génération de mouvements humains

Modèles génératifs

Apprentissage machine

VIsion assisté par ordinateur

Human motion generation

Generative models

Machine learning

Computer vision

Résumé

La thèse s'appuiera sur les premiers travaux sur les modèles génératifs de mouvements humains 3D par [Petrovich 2022, 2023]. L'objectif du projet sera de remédier à la rareté des données. Elle utilisera des vidéos représentant des humains comme source de données supplémentaires d'entrainement. L'objectif sera d'utiliser les récentes approches d'estimation de mouvement monoculaire, sur des vidéos équipées de sous-titres et facilement disponibles. Le projet se concentrera sur la sélection automatique de paires mouvement-texte par (i) rechercher une source de vidéos appropriée ; (ii) filtrer les estimations de mouvement à partir de vidéos de bonne qualité, et (iii) filtrer et/ou générer des sous-titres pertinents pour les mouvements. Une fois que nous aurons développé une preuve de concept démontrant les avantages des données d'entrainement supplémentaires, la méthodologie sera appliquée à une collection de données de langue des signes, avec pour but de l'appliquer à la traduction texte-signe. Les projets ultérieurs tout au long du doctorat pourront explorer l'extraction d'autres éléments 3D de l'environnement pertinents pour le mouvement, tels que des objets ainsi que les interactions entre plusieurs personnes.

The thesis will build on our initial works on generative models of 3D human motions [Petrovich 2022, 2023]. The focus of the project will be to address data scarcity. She will leverage videos depicting humans as a source for additional training data. The goal will be to utilize recent monocular motion estimation approaches on videos equipped with readily available captions. The project will focus on automatic curation of motion-text pairs via (i) finding an appropriate source of videos; (ii) filtering good-quality motion estimates from videos, and (iii) filtering and/or generating motion-relevant captions. Once we develop a proof of concept by demonstrating the advantages of the additional training data, the methodology will be applied on sign language data to showcase an application on text-to-sign translation. Later projects throughout the PhD may explore extracting other 3D elements from the environment that are relevant for the motion, such as objects and multi-person interactions.