Rendu neuronal pour l'amélioration de l'essayage virtuel des cosmétiques

Neural rendering for improved cosmetics virtual try-on

• Auteur / Autrice : Robin Kips
• Direction : Isabelle Bloch, Matthieu Perrot, Pietro Gori
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 08/04/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau ; 1977-....)
• Jury : Président / Présidente : Céline Loscos
• Jury : Examinateurs / Examinatrices : Isabelle Bloch, Matthieu Perrot, Pietro Gori, Antitza Dantcheva, Adrien Bousseau, Tamy Boubekeur, Nikolay Jetchev
• Jury : Rapporteurs / Rapporteuses : Antitza Dantcheva, Adrien Bousseau

Mots clés

Mots clés contrôlés

Apprentissage profond

Emploi en cosmétologie

Vision par ordinateur

Mots clés libres

Apprentissage machine

Réseaux génératifs

Rendu neuronal

Réalité augmentée

Machine learning

Generative networks

Neural rendering

Augmented reality

Résumé

Les applications dans le domaine de la réalité augmentée se sont rapidement répandues au travers des sites de e-commerce et des réseaux sociaux, permettant désormais aux consommateurs d'essayer virtuellement une large variété de produits cosmétiques. Néanmoins, alors l'essayage virtuel est apprécié par les consommateurs, il offre un réalisme limité en comparaison d'une image de véritable produit cosmétique. Par ailleurs, les domaines émergent des réseaux génératifs et du rendu neuronal offrent aujourd’hui de nouvelles perspectives que nous étudions cette thèse, pour une synthèse d'images plus réalistes et de nouvelles expériences d’essayage virtuel. Tout d’abord, nous introduisons une nouvelle méthode de synthèse de maquillage, basée sur des réseaux génératifs, dans laquelle la couleur des cosmétiques peut être explicitement contrôlée, de façon similaire à un moteur de rendu physique. Notre modèle permet de synthétiser des images réalistes de maquillage des yeux et des lèvres en haute résolution. De plus, nous introduisons une méthode d’apprentissage faiblement supervisée pour les réseaux génératifs contrôlables, nous permettant de nous affranchir du besoin de données labellisées. Cependant, les méthodes génératives souffrent de certaines limitations pour une utilisation dans des applications en temps réel. C’est pourquoi nous proposons une approche de rendu neuronal pour l’essayage virtuel des cosmétiques en temps réel sur les appareils mobiles. Notre approche est basée sur un nouveau réseau d’inversion graphique qui apprend à projeter une image d’exemple dans l’espace des paramètres d’un moteur de rendu d’informatique graphique. Ce modèle est entraîné grâce à une approche auto-supervisée qui ne nécessite pas d’images d'entraînement labellisées. Cette méthode rend possible de nouvelles applications dans lesquelles les consommateurs peuvent essayer virtuellement un nouveau produit cosmétique à partir d’une image de maquillage de leur choix, telle qu’une photographie issue des réseaux sociaux. Enfin, nous introduisons une nouvelle méthode permettant d’accélérer la digitalisation de nouveaux produits cosmétiques pour les applications d'essayage virtuel. En prenant exemple sur le domaine de la capture des matériaux, nous proposons une nouvelle méthode combinant application contrôlée et système d’imagerie pour les produits cosmétiques. De plus, nous illustrons une utilisation possible de ce nouveau type de données pour l’estimation de l'apparence des cosmétiques sur le visage grâce à une méthode ce rendu neuronal. Au total, les nouvelles méthodes introduites dans cette thèse permettent l’amélioration des technologies d’essayage virtuel des cosmétiques, à la fois de manière directe, en introduisant des méthodes rendu plus réaliste, et indirecte, en proposant de nouvelles expériences pour les consommateurs et en améliorant la créations de l’essayage virtuel pour de nouveaux produits cosmétiques.

Augmented reality applications have rapidly spread across online retail platforms and social media, allowing consumers to virtually try on a large variety of cosmetics products. However, even though appreciated by consumers, such applications currently offer limited realism compared to real product images. On the other hand, the rapidly emerging field of generative models and neural rendering offers new perspectives that we will study in this work for realistic image synthesis and novel virtual try-on experiences. First, we introduce a novel makeup synthesis method based on generative networks in which the makeup color can be explicitly controlled, similar to a physically-based renderer. Our model obtains photorealistic results on lips and eyes makeup in high resolution. Furthermore, we relax the need for labeled data by introducing a weakly-supervised learning approach for generative-based controllable synthesis.However, GANs methods suffer from limitations for real-time applications. Thus, we propose a neural rendering approach for virtual try-on of cosmetics in real-time on mobile devices. Our approach is based on a novel inverse graphics encoder network that learns to map a single example image into the space of parameters of a computer graphics rendering engine. This model is trained using a self-supervised approach which does not require labeled training data. This method enables new applications where consumers can virtually try-on a novel, unknown cosmetic product from an inspirational reference image on social media. Finally, we propose a novel method for accelerating the digitization of new cosmetics products in virtual try-on applications. Inspired by the field of material capture, we introduced a controlled application and imaging system for cosmetics products. Furthermore, we illustrate how this novel type of cosmetics image can be used to estimate the final appearance of cosmetics on the face using a neural rendering approach. Overall, the novel methods introduced in this thesis improve cosmetics virtual try-on technologies both directly, by introducing more realistic rendering method, and indirectly, allowing novel experiences for consumers, and accelerating the creation of virtual try-on for new cosmetics products.