Calibration par programmation linéaire et reconstruction spatio-temporelle à partir de réseaux d’images

Calibration with linear programming and spatio-temporal reconstruction from a network of cameras

• Auteur / Autrice : Jérôme Courchay
• Direction : Renaud Keriven
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/01/2011
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-2015)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Jean Ponce
• Jury : Examinateurs / Examinatrices : Renaud Keriven, Peter Sturm, Arnak Dalalyan
• Jury : Rapporteurs / Rapporteuses : Long Quan, Adrien Bartoli

Mots clés

Mots clés contrôlés

Modélisation tridimensionnelle

Reconstruction d'image

Programmation linéaire

Traitement d'images

Mots clés libres

Calibration

Stéréovision

Reconstruction Spatio-Temporelle

3d

4d

Calibration

Stereovision

Spatio-Temporal Reconstruction

3d

4d

Structure from motion

Résumé

Le problème de la stéréovision à partir de caméras multiples calibrées capturant une scène fixe est étudié depuis plusieurs décennies. Les résultats présentés dans le benchmark de stéréovision proposé par Strecha et al., attestent de la qualité des reconstructions obtenues. En particulier, les travaux du laboratoire IMAGINE, mènent à des résultats visuellement impressionnant. Aussi, il devient intéressant de calibrer des scènes de plus en plus vastes, afin d'appliquer ces algorithmes de stéréovision de façon optimale. Trois objectifs essentiels apparaissent : – La précision de la calibration doit être améliorée. En effet comme pointé par Yasutaka Furukawa, même les benchmarks de stéréovision fournissent parfois des caméras bruitées à la précision imparfaite. Un des moyen d'améliorer les résultats de stéréovision est d'augmenter la précision de la calibration. – Il est important de pouvoir prendre en compte les cycles dans le graphe des caméras de façon globale. En effet la plupart des méthodes actuelles sont séquentielles, et dérivent. Ainsi ces méthodes ne garantissent pas, pour une très grande boucle, de retrouver cette configuration cyclique, mais peuvent plutôt retrouver une configuration des caméras en spirale. Comme on calibre des réseaux d'images, de plus en plus grand, ce point est donc crucial. – Pour calibrer des réseaux d'images très grands, il convient d'avoir des algorithmes rapides. Les méthodes de calibration que nous proposons dans la première partie, permettent de calibrer des réseaux avec une précision très proche de l'état de l'art. D'autre part elle permettent de gérer les contraintes de cyclicité par le biais d'optimisations linéaires sous contraintes linéaires. Ainsi ces méthodes permettent de prendre en compte les cycles et bénéficient de la rapidité de la programmation linéaire. Enfin, la recherche en stéréovision étant arrivée à maturité, il convient de s'intéresser à l'étape suivante, à savoir la reconstruction spatio-temporelle. La méthode du laboratoire IMAGINE représentant l'état de l'art en stéréovision, il est intéressant de développer cette méthode et de l'étendre à la reconstruction spatio-temporelle, c'est-à-dire la reconstruction d'une scène dynamique capturée par un dôme de caméras. Nous verrons cette méthode dans la seconde partie de ce manuscrit

The issue of retrieving a 3D shape from a static scene captured with multiple view point calibrated cameras has been deeply studied these last decades. Results presented in the stereovision benchmark made by Strecha et al., show the high quality of state of the art methods. Particularly, works from IMAGINE laboratory lead to impressive results. So, it becomes convenient to calibrate wider and wider scenes, in order to apply these stereovision algorithms to large scale scenes. Three main objectives appear : – The calibration accuracy should be improved. As stated by Yasutaka Furukawa, even stereovision benchmarks use noisy cameras. So one obvious way to improve stereovision, is to improve camera calibration. – It is crucial to take cycles into account in cameras graph in a global way. Most of nowadays methods are sequential and so present a drift. So these methods do not offer the guarantee to retrieve the loopy configuration for a loop made of a high number of images, but retrieve a spiral configuration. As we aim to calibrate wider and wider cameras networks, this point becomes quite crucial. – To calibrate wide cameras networks, having quick and linear algorithms can be necessary. Calibration methods we propose in the first part, allow to calibrate with an accuracy close to state of the art. Moreover, we take cyclicity constraints into account in a global way, with linear optimisations under linear constraints. So these methods allow to take cycle into account and benefit from quickness of linear programming. Finally, sterovision being a well studied topic, it is convenient to concentrate on the next step, that is, spatio-temporal reconstruction. The IMAGINE' stereovision method being the state of the art, it is interesting to extend this method to spatio-temporal reconstruction, that is, dynamique scene reconstruction captured from a dome of cameras