Estimation de l’illumination à partir de reflets spéculaires en réalité mixte avec application en réalité diminuée

Illumination Estimation from Specular Highlights in Mixed Reality with Application in Diminished Reality

• Auteur / Autrice : Souheil Hadj Said
• Direction : Adrien Bartoli
• Type : Thèse de doctorat
• Discipline(s) : Vision pour la Robotique
• Date : Soutenance le 04/03/2020
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Examinateurs / Examinatrices : Mohamed Tamaazousti, Isabelle Bloch
• Jury : Rapporteur / Rapporteuse : Thomas Corpetti, Cédric Demonceaux

Mots clés

Mots clés contrôlés

Vision artificielle (robotique)

Réflectance

Réalité augmentée

Mots clés libres

Réalité mixte

Réalité diminuée

Spécularité

Reflets spéculaires

Inpainting

Pose de la caméra

SLAM

Inversion de l’illumination locale

Réflectance

Mixed Reality

Diminished Reality

Specularity

Specular highlights

Inpainting

Camera tracking

SLAM

Local illumination inversion

Reflectance

Résumé

La réalité diminuée (RD) est une technique de montage vidéo qui modifie la réalité en supprimant certains objets. Il peut être utilisé comme étape préliminaire en réalité augmentée pour remplacer des objets réels par des objets virtuels de différentes tailles et formes. Il peut également être utilisé, par exemple, dans le cas de la réaménagement virtuel d'un appartement meublé. L'approche générale de RD consiste en trois étapes principales. Tout d'abord, une technique d'inpainting est appliquée à une région cible dans l'image pour retirer de manière cohérente un objet. Ceci correspond à une image clé du flux vidéo. Deuxièmement, la région modifiée résultante est transmise aux images suivantes du flux vidéo en copiant les intensités de pixels par rapport à la pose de la caméra et à la géométrie de la scène. Cela consiste à estimer l'orientation et la position de la caméra en 3D qui peuvent être obtenues par une technique de localisation et de cartographie simultanées (SLAM). Troisièmement, la région cible est mise à jour par rapport au changement d'illumination dans la scène.Dans cette thèse, nous nous sommes concentrés sur la troisième étape du pipeline DR. Bien que de nombreuses applications RD aient été proposées dans la littérature, rares sont celles qui ont traité des changements de lumière dans la scène. La plupart des travaux passés supposent que la surface est Lambertienne et donc parfaitement diffuse. Cependant, ce n'est souvent pas vrai, en particulier dans les environnements intérieurs. En identifiant les reflets spéculaires comme la principale cause du changement d'illumination dans la région cible, nous avons proposé deux approches principales pour résoudre ce problème.Dans un premier temps, nous avons proposé une méthode de propagation temps-réel de la spécularité appliquée à la RD. En utilisant le pipeline RD mentionné précédemment, nous avons intégré une fonction d'interpolation basée sur des splines à plaques minces (TPS) afin d'estimer les rapports de changement des intensités de pixels dans la région cible. Cette fonction est contrainte à un nombre de propriétés spécifiques à la forme de la spécularité pour obtenir une reconstruction plausible des reflets spéculaires dans le flux vidéo. Notre approche a été testée sur plusieurs vidéos en temps réel et a réalisé une reproduction cohérente des spécularités dans le contexte de la RD.Deuxièmement, nous avons abordé le problème d'illumination en RD et RA comme un problème de rendu inverse. Pour ce faire, nous avons analysé les composants de l'image comme décrit dans les modèles de réflexion de la lumière. En infographie, des modèles d'illumination locales tels que Phong sont utilisés pour rendre des images synthétiques en temps réel. Dans ce cas, les paramètres du modèle sont définis par l'utilisateur en tant qu'entrées en plus de la géométrie de la scène, la configuration de la source lumineuse et la pose de la caméra. Cependant, dans une application de réalité mixte (MR), les paramètres du modèle sont inconnus et doivent être définis en concordance avec l'image réelle de la caméra. Donc, dans ce cas, nous voulons résoudre un problème d'inversion de l’illumination locale où l'entrée est l'image réelle. La sortie correspond aux paramètres du modèle ainsi qu'à la configuration de la source lumineuse, à la géométrie de la scène et à la pose de la caméra. Dans cette thèse, nous avons proposé une évaluation exhaustive du conditionnement de ce problème en mettant l'accent sur les reflets spéculaires. La pose de la caméra et la géométrie de la scène sont estimées à l'aide de l'approche SLAM et les autres paramètres inconnus sont estimés en minimisant un coût photométrique. Nous avons montré que nous pouvons inverser un modèle d’illumination locale à partir de l'observation d'une seule spécularité. (...)

Diminished Reality (DR) is a video editing technique that alters reality by removing certain objects. It can be used as a preliminary step in Augmented Reality to replace real objects by virtual ones with different sizes and shapes. It can also be used solely, for example, in the case of virtually emptying a furnished apartment. The general approach of DR consists in three main steps. First, an inpainting technique is applied to a target region in the image to coherently remove an object. The image corresponds to a keyframe of the video stream. Second, the resulting inpainted region is transmitted to the next frames of the video stream by copying pixel intensities with respect to the camera pose and scene geometry. This consists in estimating the camera orientation and position in 3D which can be obtained by a Simultaneous Localization and Mapping (SLAM) technique. Third, the target region is updated with respect to the lighting change in the scene.In this thesis, we focused on the third step of the DR pipeline. Although many DR applications have been proposed in the literature, few are the ones who dealt with light change in the scene. Most of past work assumes that the surface is Lambertian and therefore perfectly diffuse. However, this is often not true, especially in indoor environments. By identifying specular highlights as the main cause for lighting change in the target region, we proposed two main approaches to address this problem.First, we proposed a specularity propagation method applied to real-time DR. Using the DR pipeline mentioned earlier, we integrated an interpolation function based on Thin-Plate Splines (TPS) in order to estimate the change ratios of the pixel intensities in the target region. This function is constrained by a number of specularity properties to achieve a plausible reconstruction of the specular highlights in the video stream. Our approach was tested on several real-time videos and achieved coherent reproduction of specularities in the context of DR.Second, we addressed the lighting problem in DR and AR as an inverse rendering problem. To do so, we analyzed the image components as described in light reflection models. In Computer Graphics, local illumination models such as Phong’s are used to render synthetic images in real-time. In this case, the parameters of the model are set by the user as inputs along with the scene’s geometry, the light source configuration and the camera pose. However, in a Mixed Reality (MR) application, the parameters of the model are unknown and have to be set in concordance with the real image from the camera. So, in this case we want to solve an inverse local illumination problem where the input is the real image. The output is the model’s parameters along with the light source configuration, the scene’s geometry and the camera pose. In this thesis, we proposed an exhaustive evaluation of the well-posedness of this problem with a focus on the specular highlights. The camera pose and the scene’s geometry are estimated using the SLAM approach and the rest of the unknown parameters are estimated by minimizing a photometric cost. We showed that we can invert a local illumination model from the observation of a single specular highlight. Therefore, in the context of AR and DR applications, we do not need to know the number of light sources in the scene a priori since each specularity is processed separately. This also opens many perspectives for similar inversion problems like camera localization.