Reconnaissance bimodale de visages par fusion de caractéristiques visuelles et de profondeur

Bimodal face recognition by fusion of visual and depth features

• Auteur / Autrice : Amel Aissaoui
• Direction : Chaabane Djeraba, Jean Martinet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/06/2014
• Etablissement(s) : Lille 1
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique fondamentale de Lille (2002-2014)

Mots clés

Mots clés contrôlés

Fusion multicapteurs

Reconnaissance des formes (informatique)

Identification biométrique

Imagerie tridimensionnelle

Perception des visages

Mots clés libres

Reconnaissance bimodale des visages

Résumé

Ce travail s’inscrit dans la thématique de la reconnaissance de visages. Il s’agit de décider de manière automatique de l’identité d’une personne en fonction des traits caractéristiques de son visage. Nous présentons une approche bimodale 2D-3D qui combine des caractéristiques visuelles et de profondeur, afin d’améliorer la précision et la robustesse de la reconnaissance par rapport aux approches monomodales classiques. Dans un premier temps, une méthode d’acquisition 3D par reconstruction stéréoscopique dédiée aux visages est proposée. Cette méthode s’appuie sur un modèle actif de forme permettant de tenir compte de la topologie du visage. Ensuite, un nouveau descripteur DLBP (Depth Local Binary Patterns) est défini pour caractériser les informations de profondeur. Ce descripteur étend aux images de profondeur les LBP traditionnels utilisés pour décrire les textures. Enfin, une stratégie de fusion bi-niveaux est proposée, permettant une combinaison à la fois précoce et tardive des deux modalités. Des expérimentations menées sur différentes collections publiques de tests, ainsi que sur une collection spécialement élaborée pour les besoins de l’évaluation, ont permis de valider les contributions proposées dans le cadre de ce travail. En particulier, les résultats ont montré d’une part la qualité des données obtenues à l’aide de la méthode de reconstruction, et d’autre part un gain de précision obtenu en utilisant le descripteur DLBP et la fusion bi-niveaux.

This work lies in the domain of face recognition. The objective is to automatically decide about a person identity by analyzing his/her facial features. We introduce a 2D-3D bimodal approach that combines visual and depth features in order to provide better recognition accuracy and robustness than classical monomodal approaches. First, a 3D acquisition method dedicated to faces, based onstereoscopic reconstruction, is proposed. It is based on an active shape model to take into account the topology of the face. Then, a novel descriptor named DLBP (Depth Local Binary Patterns) is defined in order to characterize the depth information. This descriptor extends to the depth images the traditional LBP originally used for texture description. Finally, a two-stage fusion strategy isproposed, that combines the modalities using both early and late fusions. The experiments conducted with different public datasets, as well as with a new dataset elaborated specifically for the evaluation purposes, allowed to validate the contributions introduced throughout this work. In particular, results have shown the quality of the data obtained using the reconstruction method, and also a gain in precision obtained by using the DLBP descriptor and the two-stage fusion.