Traitement d'image pour une matrice mixte RGB-Z

Image processing for a RGB-Z mixed matrix

• Auteur / Autrice : Valentin Rebiere
• Direction : Andrea Pinna, Bertrand Granado
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie et technologies
• Date : Soutenance le 30/06/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : François Berry
• Jury : Examinateurs / Examinatrices : Catherine Achard, Christine Guillemot, Antoine Drouot
• Jury : Rapporteur / Rapporteuse : Gilles Sicard, Virginie Fresse

Mots clés

Mots clés contrôlés

Capteurs (technologie)

Calcul adaptatif

Traitement d'images

Mots clés libres

Traitement d'image

Profondeur

Capteur mixte

Algorithmes

Reconstruction de pixel

RGB-Z

RGB-Z

Algorithms

Image processing

Résumé

Un système RGB-Z est un système de vision sur puce (V-SoC) qui capture à la fois les informations de couleur et de profondeur. Récemment, l’idée de combiner l’acquisition de la couleur et de la profondeur au niveau du pixel et dans la même matrice a émergé. Un tel capteur permettrait une intégration plus compacte tout en réduisant les problèmes de calibration par rapport à un système composés de deux capteurs. Cependant, une telle intégration soulève de nouvelles contraintes à différent niveaux techniques. Dans cette thèse, nous nous focalisons sur les problèmes de reconstruction de l'information de couleur manquante due à l'hétérogénéité de la matrice de pixels. Actuellement, il n'existe pas sur le marché de capteur RGB-Z monolithique tel que décrit dans la thèse. Dans un premier temps, nous avons proposé différentes matrices RGB-Z. Ces matrices sont basées sur deux architectures de pixels Z différentes. La distribution et la taille des pixels Z varient en fonction des matrices proposées. Dans un deuxième temps, plusieurs algorithmes de reconstruction de l’information manquante inspirés de l'état de l'art ont été adaptés et implémentés aux matrices proposées. Ces solutions ne sont pas satisfaisantes. Pour cela, un algorithme adaptatif pour reconstruire l'information de couleur manquante en utilisant un nouvel opérateur appelé semi-gradient est proposé. Cet opérateur permet de mieux reconstruire les structures situées le long des bords fins. Enfin, une première implémentation matérielle est proposée pour évaluer la latence de l'algorithme.

A Red, Green, Blue and Depth (RGB-Z) system is a vision system-on-chip (V-SoC) that captures both color and depth information. Recently, the idea of combining color and depth acquisition at the pixel level and in the same array has emerged. Such a sensor would allow a more compact integration while reducing the calibration problems compared to a system composed of two sensors. However, such integration raises new constraints at different technical levels. In this thesis, we focus on the problems of reconstructing the missing color information due to the heterogeneity of the pixel matrix. Currently, there is no monolithic RGB-Z sensor on the market as described in the thesis. In a first step, we have proposed different RGB-Z arrays. These arrays are based on two different Z-pixel architectures. The sampling and the size of the Z pixels vary according to the proposed matrices. In a second step, several algorithms for reconstructing the missing information inspired by the state of the art have been adapted and implemented to the proposed matrices. These solutions are not satisfactory. For this purpose, an adaptive algorithm to reconstruct the missing color information using a new operator called semi-gradient is proposed. This operator allows to better reconstruct the structures located along the narrow edges. Finally, a first hardware implementation is proposed to evaluate the latency of the algorithm.