Vérification de la parenté entre deux personnes par aprentissage automatique

Kinship verification between two people by machine learning

• Auteur / Autrice : Oualid Laiadi
• Direction : Abdelmalik Taleb-Ahmed, Abdelhamid Benakcha
• Type : Thèse de doctorat
• Discipline(s) : Electronique, microélectronique, nanoélectronique et micro-ondes
• Date : Soutenance le 13/09/2021
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France en cotutelle avec Université Mohamed Khider (Biskra, Algérie)
• Ecole(s) doctorale(s) : École doctorale polytechnique Hauts-de-France (Valenciennes, Nord ; 2021-....)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national des sciences appliquées Hauts-de-France (Valenciennes, Nord ; 2019-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de recherche des systèmes experts, imagerie et leurs applications dans l'ingénierie (Biskra, Algérie) - Institut d'Electronique, de Microélectronique et de Nanotechnologie
• Jury : Président / Présidente : Malika Mimi
• Jury : Examinateurs / Examinatrices : Abdelmalik Taleb-Ahmed, Abdelhamid Benakcha, Amir Nakib, Kamal Eddine Melkemi, Nacéra Benamrane, Salima Ouadfel, Atika Rivenq, Abdenour Hadid, Abdeldjalil Ouahabi
• Jury : Rapporteurs / Rapporteuses : Amir Nakib, Kamal Eddine Melkemi, Nacéra Benamrane

Mots clés

Mots clés contrôlés

Identification des personnes

Apprentissage profond

Reconnaissance des formes (informatique)

Mots clés libres

Vérification de la parenté faciale

Images faciales

Extraction de caractéris- tiques

Analyse des transformations du sous-espace

Vérification de la parenté basée sur les caractéristiques

Vérification de la parenté basée sur l’apprentissage métrique

Vérification de la parenté basée sur l’apprentissage profond par convolution

Criminalistique

Facial kinship verification

Facial images

Feature extraction

Subspace transformations analysis

Features learning-based kinship verification

Metric learning- based kinship verification

Convolutional deep learning-based kinship verification

Forensics

Résumé

Le domaine de la vérification de la parenté a attiré beaucoup d’attention ces dernières années en raison de sa capacité à améliorer les systèmes biométriques en tant que biométrique souple pour la vérification du visage (traits de parenté) et un rôle important dans de nombreuses applications de la société (vérification de la parenté). Parmi ces applications, citons la création d’arbres généalogiques, l’organisation d’albums de famille, l’annotation d’images, la recherche d’enfants disparus et la criminalistique. Bien qu’un Le test ADN est le moyen le plus fiable pour la vérification de la parenté, il ne peut pas être utilisé dans de nombreuses situations. La vérification automatique de la parenté à partir d’images faciales peut être réalisée à titre d’exemple dans les scènes de vidéosurveillance. Dans cette thèse, la vérification de la parenté faciale sur les images faciales est étudiée. À cette fin, nous commençons avec les approches précédemment proposées telles que les méthodes de vérification de parenté basées sur les fonctionnalités, les méthodes de vérification de parenté basées sur l’apprentissage métrique et les méthodes de vérification de parenté basées sur l’apprentissage profond par convolution. En outre, le système général de vérification de la parenté faciale est présenté, les défis et les mesures des caractéristiques sont mentionnés. De plus, les différents termes d’évaluation sont illustrés. Conclusion avec les approches proposées et les résultats obtenus sur diverses bases de données. Les systèmes proposés comprennent trois phases principales comme suit: 1) extractions de caractéristiques; 2) analyse des transformations du sous-espace; 3) décision de vérification de la parenté. Le but de l’extraction de traits est d’extraire des représentations discriminantes d’images faciales. Cette phase est importante car les traits de parenté sont très sensibles aux environ- nements non contraints (i.e. images capturées dans des environnements non contrôlés sans aucune restriction termes de pose, d’éclairage, d’arrière-plan, d’expression et d’occlusion partielle). En outre, cela peut affecter la performance de décision finale du système. La phase d’analyse des transformations du sous-espace extrait et sélectionne les traits du visage les plus attrayants et discriminants. Par conséquent, la les caractéristiques sont extraites par une projection des données originales (caractéristiques) de la phase précédente pour obtenir une meilleure discrimination et prendre des décisions plus précises. Dans la dernière phase, la similarité cosinus est utilisée comme la meilleure métrique compatible avec les méthodes d’analyse discriminante (méthodes d’analyse des transformations de sous-espace) et la vérification de parenté. La métrique finale entre deux images faciales est comparée à un seuil pour décider si les images faciales de la paire proviennent ou non de la même famille. Enfin, nos résultats montrent une grande amélioration pour la vérification de la parenté faciale sur les bases de données les plus grandes et les plus petites. En outre, les systèmes proposés ont obtenu une performance robuste et bonne et se comparent favorablement l’état de l’art approche. Les systèmes proposés sont également pratiques pour les applications en temps réel.

The kinship verification field attracted much attention in the few past years due to its capacity to improve biometrics systems as a soft biometric for face verification (kinship traits) and an important role in many society applications (kinship verification). Among these applications include the creation of family trees, family album organization, image annotation, finding missing children and forensics. Although, the DNA test is the most trustworthy way for kinship verification, it cannot be used in many situations. Automatic kinship verification from facial images can exemplary be done in video surveillance scenes. In this thesis, facial kinship verification over facial images is studied. At this end, we start with the previously proposed approaches like features learning-based kinship verification methods, metric learning-based kinship verification methods, and convolutional deep learning-based kinship verification methods. Also, the general facial kinship verification system is presented, challenges and measures of characteristics are mentioned. Furthermore, the various evaluation terms are illustrated. Concluding with the proposed approaches and the obtained results on various databases. The proposed frameworks comprise of three main phases as follows: 1) features extractions; 2) subspace transformations analysis; 3) kinship verification decision. The aim of feature extraction is to extract discriminative representations of facial images. This phase is important since the kinship traits are very sensitive to the unconstrained environments (i.e. facial images captured under uncontrolled environments without any restrictions in terms of pose, lighting, background, expression, and partial occlusion). Also, it can affect the final decision performance of the framework. Subspace transformations analysis phase extract and select the more attractive and discriminative facial traits. Therefore, the features are extracted by a projection of the original data (features) of the previous phase to get better discrimination and make more precise decisions. In the last phase, cosine similarity is used as the best metric compatible with discriminant analysis methods (subspace transformations analysis methods) and kinship verification. The final metric between two facial images is compared to a threshold to decide if the pair facial images come from the same family or not. Finally, our results show great improvement for facial kinship verification on the largest and smallest databases. Also, a robust and good performance was achieved by the proposed systems and comparing favorably with the state of the art approaches. The proposed frameworks are also convenient for real-time applications.