Modélisation adaptée des images omnidirectionnelles pour agrandir le domaine de convergence de l'asservissement visuel virtuel direct

Adapted modelling of omnidirectional images in order to extend the convergence domain of direct virtual visual servoing

• Auteur / Autrice : Seif Eddine Guerbas
• Direction : El Mustapha Mouaddib, Guillaume Caron
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur. Robotique
• Date : Soutenance le 13/07/2022
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens ; 2008-....)
• Jury : Président / Présidente : Cédric Demonceaux
• Jury : Examinateurs / Examinatrices : Samia Ainouz, Marie Babel
• Jury : Rapporteurs / Rapporteuses : Cédric Demonceaux, Olivier Strauss
• DOI : 10.70675/39a22460z810bz4f27za517z8996c78b2fd5

Mots clés

Mots clés contrôlés

Vision artificielle (robotique)

Mots clés libres

Asservissement visuel virtuel

Mélange de gaussiennes photométriques

Suivi visuel

Estimation de pose

Virtual visual servoing

Photometric gaussian mixtures

Visual tracking

Résumé

La vision omnidirectionnelle capture dans toutes les directions une scène en temps réel grâce à un champ de vision plus étendu que celui offert par une caméra conventionnelle. Au sein de l'environnement, relier les caractéristiques visuelles contenues dans les images de la caméra à ses mouvements est une problématique centrale pour l'asservissement visuel. Les approches directes se caractérisent cependant par un domaine de convergence limité. La thèse que nous présentons a pour premier objectif d'étendre significativement ce dernier dans le cadre de l'asservissement visuel virtuel en représentant l'image omnidirectionnelle par un Mélange de Gaussiennes Photométriques (MGP). Cette approche est étendue dans un deuxième temps au recalage et au suivi direct basé modèle 3D dans les images omnidirectionnelles. Cela permet d'étudier la localisation d'un robot mobile équipé d'une caméra panoramique dans un modèle urbain 3D. Les expérimentations ont été conduites en environnement virtuel et en utilisant des images réelles capturées à l'aide d'un robot mobile et d'un véhicule. Les résultats montrent un agrandissement significatif du domaine de convergence qui permet alors une grande robustesse face à d'importants mouvements inter-images

Omnidirectional vision captures a scene in real-time in all directions with a wider field of view than a conventional camera. Within the environment, linking the visual features contained in the camera images to its movements is a central issue for visual servoing. Direct approaches, however, are characterized by a limited range of convergence. The main objective of this dissertation is to significantly extend the area of convergence in the context of virtual visual servoing by representing the omnidirectional image by a Photometric Gaussian Mixtures (PGM). This approach is further extended in the second step to the registration and direct tracking based on 3D models in omnidirectional images. This proposed methodology allows for studying the localization of a mobile robot equipped with a panoramic camera in a 3D urban model. The results show a significant enlargement of the convergence domain for high robustness to large interframe movements, as evidenced by experiments in virtual environments and with real images captured with a mobile robot and a vehicle