Recherche Avancée

Thèse en cours

Transformation et édition de visages pour les effets visuels numériques de la production cinématographique.

FR  |  
EN
Auteur / Autrice : Kelian Baert
Direction : Francois Bodin
Type : Projet de thèse
Discipline(s) : Mathématiques et Informatique
Date : Inscription en doctorat le 22/09/2023
Etablissement(s) : Université de Rennes (2023-....)
Ecole(s) doctorale(s) : Mathématiques, informatique, signal et électronique et télécommunications.
Partenaire(s) de recherche : Equipe de recherche : INSTITUT DE RECHERCHES EN INFORMATIQUE ET SYSTEMES ALEATOIRES
Entreprise : Technicolor Group

Résumé

FR

La manipulation du visage des acteurs d’une œuvre audiovisuelle représente une partie importante et récurrente des effets visuels numériques (VFX). Elle repose encore en très grande partie sur un ensemble de tâches manuelles, chronophages et coûteuses. On peut par exemple citer le rajeunissement ou vieillissement d’un acteur, le remplacement partiel ou total d’une doublure par une créature générée en images de synthèse, le maquillage en post-production ou l’adaptation du jeu de l’acteur à un doublage. Le contexte cinématographique introduit des contraintes spécifiques concernant les données d’entrées et la qualité des images attendues en sortie : images haute résolution, faible profondeur de champ, flou de mouvement, capture multi-caméras, … Ces spécificités techniques sont peu abordées par la littérature existante. Les solutions utilisées à ce jour en production consistent à combiner des techniques telles que le maquillage de l’acteur au tournage (processus long et fastidieux qui pose notamment des problèmes de raccord entre les prises) ou l’ajout manuel d’éléments infographiques 2D ou 3D en post-production. Des premières approches tirant parti du machine learning proposent des traitements automatiques pour certaines tâches (par exemple, les deepfakes), très souvent sans passer par une représentation 3D explicite de l’acteur. Ces méthodes présentent plusieurs inconvénients majeurs : elles offrent peu de contrôle sur l’effet obtenu et s’intègrent difficilement avec les outils traditionnels de création 2D ou 3D. Or la validation de la qualité du résultat repose généralement sur une appréciation esthétique de l’artiste, ce qui nécessite une démarche itérative avec des points de contrôle à différentes étapes du processus de création. L’objectif de cette thèse est d’améliorer la contrôlabilité des techniques basées sur l’apprentissage pour l’édition de visages photo-réalistes dans des séquences vidéo, à destination du domaine des effets visuels pour le cinéma. L’enjeu est d’accélérer les processus de post-production sur les visages en permettant à un artiste de contrôler finement différentes caractéristiques (apparence, expression et forme de visage) au cours du temps tout en respectant le jeu de l’acteur tourné.