Synthèse de nouvelles vues d'une scène 3D à partir d'images existantes

Synthesis of new views of a 3D scene from existing images

• Auteur / Autrice : Jérôme Blanc
• Direction : Roger Mohr
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 1998
• Etablissement(s) : Grenoble INPG
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’informatique graphique, vision et robotique (Grenoble ; 1995-2007)
• Jury : Président / Présidente : Claude Puech
• Jury : Examinateurs / Examinatrices : Louis Robert
• Jury : Rapporteurs / Rapporteuses : Gérard Giraudon, Jean-Claude Paul

Mots clés

Mots clés libres

Sciences appliquees

Informatique, automatique theorique, systemes

Synthese image

Vision ordinateur

Modelisation

Photographie

Technique video

Scene tridimensionnelle

Image synthesis

Computer vision

Modeling

Photography

Video technique

Résumé

La synthèse d'images a pour but de calculer des vues aussi réalistes que possible d'une scène tridimensionnelle définie par un modèle géométrique 3D, augmenté de certaines informations photométriques : couleurs, textures, matériaux, et nature de leurs interactions avec la lumière. Classiquement, pour ces applications, il est nécessaire d'effectuer une première étape de modélisation manuelle de la scène synthétisée. Cette étape est longue et fastidieuse, et peut demander plusieurs hommes-mois pour des scènes que l'on veut très réalistes, donc complexes : scènes comportant un grand nombre d'objets, de couleurs et de textures ; paysages naturels. Or, nous constatons qu'il n'est pas toujours nécessaire d'atteindre un haut niveau de détail pour produire des images réalistes, car la texture des objets synthétiques peut suffire à faire illusion. Aussi, nous proposons de modéliser une scène existante, non pas à partir d'une description Mathématique explicite, mais à partir de quelques photographies, ou d'une séquence vidéo. Cette technique est appelée synthèse de nouvelles vues d'une scène 3D à partir de vues existantes, et constitue un domaine innovant de la vision par ordinateur, et de son application à la synthèse d'images. Formellement, le but en est le suivant : à partir de quelques images d'une scène tridimensionnelle, nous voulons synthétiser de nouvelles images de cette scène, sous un angle de vue inédit. Les applications de ce procède sont toutes celles de la synthèse d'image, et de la Réalité Virtuelle : simulation, entraînement, commerce, loisirs, ainsi que des applications en compression vidéo. L'apport d'une telle technique est de supprimer totalement l'étape de modélisation propre à tous les systèmes de synthèse d'images. Pour cela, nous faisons appel à des méthodes classiques de vision par ordinateur, concernant la perception tridimensionnelle. Nous recensons les solutions applicables, nous les adaptons, nous les intégrons, puis nous évaluons la qualité du processus global, sur des critères quantitatifs et qualitatifs. Des tests sont menés sur des données synthétiques (images de synthèse), et des données réelles (photographies)

The aim of image synthesis is to compute realistic views of a three-dimensional scene, defined by a geometric 3D model. Modeling is a manual task, and may need several man-months for a realistic and complex scene, as a landscape. We propose to automate this task. A few photographs of the landscape are enough to entirely model its geometrical and photometric information: 3D structure, colors and textures. Therefore, using image analysis and computer vision techniques, we can automatically generate a three-dimensional representation of the scene, and view it under any angle. Appropriate algorithms are evaluated and specifically adapted to our problem. Detailed quantitative tests are led on both synthetic and real data, and the final quality of the computed images is numerically evaluated