Reconstruction de visages par IA

AI-assisted facial reconstruction

• Auteur / Autrice : Jules Ripoll
• Direction : Charles Dossal, Alasdair Newson
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Applications
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Toulouse (2007-....)
• Partenaire(s) de recherche : Equipe de recherche : IMT- Equipe Statistique et Optimisation
• Partenaire(s) de recherche : établissement délivrant conjointement le doctorat : Institut national des sciences appliquées (Toulouse ; 1961-....)

Mots clés

Mots clés libres

Modèles génératifs

Reconstruction faciale

Retouche image

Apprentissage profond

Generative models

Facial reconstruction

Image inpainting

Deep learning

Résumé

L'identification de corps par des proches est une épreuve que traversent de nombreuses familles dans le monde, dans des zones de conflits armés, de catastrophes naturelles ou dans le cadre de migrations. Les visages de défunts sont plus ou moins abîmés mais peuvent parfois permettre l'identification par des proches. Afin de limiter le traumatisme infligé aux familles, le CICR retravaille certaines photos de manière à produire des visages identifiables mais dont l'aspect a été modifié. Les ingénieurs du CICR effectuent en quelque sorte un maquille numérique. Cette tâche est chronophage et ne permet pas de traiter de nombreuses photos. Le CICR en partenariat avec INSA Toulouse propose une thèse en Machine Learning ayant pour objectif de produire des méthodes semi automatique pour modifier ces images tout en conservant la capacité à être identifiés L'objectif de cette thèse est de mettre en oeuvre et de proposer de nouvelles méthodes basées sur les modèles génératifs de types GAN ou modèles de diffusion afin de reconstruire les parties abîmées des visages. En particulier, une direction de recherche consistera à contraindre l'espace des features avant la reconstruction [1] ou à les guider à l'aide d'outils visuels ou multimodaux [2,3,4]. Une seconde approche mêlant reconstruction et fusion d'images sera également envisagée. Cette thèse permettra d'étudier en profondeur les modèles génératifs de types GANs et modèles de diffusion, ainsi que leur utilisation pour des applications pratiques. En plus de mener à des contributions fondamentales sur les modèles génératifs, cette thèse devra aboutir à la mise au point de nouvelles mé- thodes de reconstruction faciale pour faciliter l'identification des corps de migrants repêchés en mer. Ces résultats auront un impact significatif sur les organisations humanitaires qui travaillent dans le domaine des migrations forcées. L'encadrement sera effectué par Charles Dossal (Professeur à INSA Toulouse), David Bertoin (IRT Saint-Exupéry, M.A.S.T à INSA Toulouse) et Alasdair Newson (ISIR, Sorbonne Université). Le profil idéal pour cette thèse est celui d'un(e) candidate ayant une solide connaissance du Deep Learning et en particulier des modèles génératifs de type GANs et modèles de diffusion, ainsi que de fortes compétences en programmation (Python). Le candidat devrait également avoir une expérience en traitement d'images et en reconnaissance faciale.

The identification of bodies by loved ones is a trial that many families around the world go through in areas of armed conflict, natural disasters, or in the context of migration. The faces of the deceased may be more or less damaged but sometimes still allow for identification by loved ones. In order to limit the trauma inflicted on families, the International Committee of the Red Cross (ICRC) reworks certain photos to produce identifiable faces that have been modified in appearance. The engineers at the ICRC essentially perform digital makeup. This task is time-consuming and does not allow for the processing of numerous photos. The ICRC, in partnership with INSA Toulouse, is offering a thesis in Machine Learning with the objective of developing semi-automatic methods to modify these images while preserving their ability to be identified. The objective of this thesis is to implement and propose new methods based on generative models such as GANs (Generative Adversarial Networks) or diffusion models to reconstruct the damaged parts of faces. In particular, one research direction will involve constraining the feature space prior to reconstruction [1] or guiding it using visual or multimodal tools [2,3,4]. A second approach combining image reconstruction and fusion will also be considered. This thesis will allow for an in-depth study of generative models such as GANs and diffusion models, as well as their practical applications. In addition to contributing to the fundamental understanding of generative models, this thesis should lead to the development of new facial reconstruction methods to facilitate the identification of bodies of migrants recovered at sea. These results will have a significant impact on humanitarian organizations working in the field of forced migration. The supervision will be carried out by Charles Dossal (Professor at INSA Toulouse), David Bertoin (IRT Saint-Exupéry, M.A.S.T at INSA Toulouse) and Alasdair Newson(ISIR, Sorbonne Université). The ideal profile for this thesis is that of a candidate with a solid knowledge of Deep Learning, particularly generative models such as GANs and diffusion models, as well as strong programming skills (Python). The candidate should also have experience in image processing and facial recognition.