Estimation de la pose du visage du conducteur par caméra thermique

Driver head pose estimation thanks to a thermal camera

• Auteur / Autrice : Samuel Bole
• Direction : Thierry Lépine, Corinne Fournier
• Type : Thèse de doctorat
• Discipline(s) : Image, Vision
• Date : Soutenance le 30/06/2017
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Jean Monnet (Saint-Étienne ; 1969-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Adriana Tapus
• Jury : Examinateurs / Examinatrices : Christophe Lavergne, Guillaume Druart
• Jury : Rapporteur / Rapporteuse : Frédéric Chausse, Olivier Gravrand

Mots clés

Mots clés contrôlés

Surveillance

Automobilistes

Imagerie (technique)

Thermographie

Mots clés libres

Vision

Imagerie thermique

Estimation de la pose du visage

Surveillance du conducteur

Correction des non-uniformités

Vision

Thermal imaging

Face pose estimation

Driver monitoring

Correction of non-uniformities

Résumé

Les travaux de recherche présentés dans ce mémoire portent sur l’estimation de la pose du visage d’un conducteur par caméra thermique. Les applications potentielles sont : l’estimation de la direction du regard (pour estimer l’attention à la tâche de conduite), l’optimisation du déclenchement des airbags, l’adaptation des affichages ‘tête haute’ou encore le contrôle de paramètres physiologiques (température, rythme respiratoire)…Des systèmes actuellement commercialisés sont basés sur une caméra et un illuminant proche infrarouge (LEDs à ~ 900 nm). Le confort oculaire, sur le long terme, n’étant pas clairement établi, nous souhaitons développer une alternative à ces systèmes. Les caméras thermiques (bande 8-14 μm) en représentent une puisqu’elles sont particulièrement sensibles au rayonnement propre des objets à 30°C tels que les visages humains. De plus, les avancées technologiques autour de ces imageurs vont dans le sens d’une réduction des coûts pour adresser les marchés de grand volume tels que la domotique et l’automobile.Dans le cadre de cette thèse, nous avons choisi d’utiliser une caméra thermique commerciale à microbolomètres. L’objet de ces travaux est de maîtriser les étapes de correction du Bruit Spatial Fixe (BSF) et le traitement de l’image afin d’estimer la pose du visage d’un conducteur en mettant l’accent sur la robustesse aux conditions d’utilisation typiques d’un véhicule. De l’image brute (c’est-à-dire pas de correction du BSF), jusqu’à l’estimation de la pose, nous avons assemblé et paramétré des méthodes algorithmiques issues de l’imagerie thermique ou visible.Concernant la réduction du bruit de l’image, rappelons que les tables de correction du BSF dépendent de la température du boîtier de la caméra et de la température du plan focal. Nous avons implémenté et évalué des méthodes de l’état de l’art.Concernant l’estimation de la pose, des maillages 3D du visage, sur lesquels nous avons plaqué de la texture, ont été créés. Ils sont ensuite utilisés pour synthétiser des images dans lesquelles la pose du visage est labellisée. Un premier algorithme, qualifié de « global » et un second, qualifié de « local » ont été implémentés, évalués et comparés entre eux.Ce prototype (caméra thermique et algorithmes) nous a permis d’évaluer la précision d’estimation de la pose accessible en imagerie thermique. Il nous a également permis de dimensionner les paramètres clefs d’une caméra thermique qui impactent son coût : sensibilité thermique, résolution spatiale.

This thesis work is about driver head pose estimation thanks to a thermal camera. Head pose estimation covers applications like gaze direction estimation (for driver awareness evaluation), smart airbag (for deployment decision), active head-up display, physiological parameters monitoring (temperature, breathing measurement), etc.The trend is to use a near infrared illumination (around ~ 900 nm) to operate at night and to be robust to environmental lighting variations. Infrared illumination used is obviously invisible for human eye but to our knowledge no study has been done on possible damage or discomfort on the long term. In this thesis dissertation, we propose alternatively to use uncooled thermal imagery (8-14 μm) to estimate head pose without using any illuminant because thermal cameras detect mainly radiations of hot objects like human faces. Moreover, technological progress in infrared detectors allow a cost reduction, and thermal cameras could become affordable for generalist carmakers like Renault in a few years.We choose to use a thermal camera based on microbolometer technology. Our first goal is to understand the state of the art methods of spatial noise correction, and algorithms of image analysis to estimate head pose with a highlight on robustness versus use cases in the domain of automotive. From the raw image to the pose estimation, we have put together and tuned methods coming from visible or infrared imaging.For head pose estimation, virtual 3D shape of the head has been used. Texture has been added to the shape, and the resulting 3D thermal avatar has been used to create synthesized images in which pose is labelled. Two algorithms have been developed to estimate pose, based on the base of synthesized images: the first is called “global”, the second, “local”. Both have been evaluated and compared to each other.This work allows to evaluate precision of pose estimation which can be reached in thermal imaging. It allows also to define technical specifications like thermal sensitivity and spatial resolution.