Algorithmes de vision pour la pluie et les feux tricolores pour les systèmes d'aide à la conduite

Vision Algorithms for Rain and Traffic Lights in Driver Assistance Systems

• Auteur / Autrice : Raoul de Charette
• Direction : Fawzi Nashashibi
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique
• Date : Soutenance le 17/09/2012
• Etablissement(s) : Paris, ENMP
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Jury : Président / Présidente : Abdelaziz Bensrhair
• Jury : Examinateurs / Examinatrices : Fawzi Nashashibi, Srinivas Narasimhan, Davide Manetti
• Jury : Rapporteurs / Rapporteuses : Alain Dufaux, Didier Aubert

Mots clés

Mots clés contrôlés

Automobiles -- Éclairage

Feux de circulation

Mots clés libres

Pluie

Feu tricolore

Adas

Phare intelligent

Illumination

Goutte

Rain

Traffic lights

Adas

Smart headlight

Illumination

Raindrop

Résumé

L'utilisation d'algorithmes de vision permettrait d'élargir le domaine d'application des systèmes d'aide à la conduite à d'autres situations telles que : les scènes urbaines ou les conditions météorologiques dégradées. À cette fin, trois nouvelles applications sont étudiées dans cette thèse pour la pluie et les feux tricolores. La pluie est la condition météorologique dégradée la plus fréquente. Nous comparons les modèles physiques et photométriques existants pour la pluie et les gouttes de pluie. Lors d'une conduite en temps de pluie de jour, les gouttes sur le pare-brise diminuent considérablement la visibilité du conducteur. Lorsqu'elles sont vue par une camera embarquée standard celles-ci apparaissent défocalisées. Ainsi, nous proposons de détecter ces gouttes hors-focus en utilisant soit une approche par manque de gradients soit par l'évaluation locale du flou. Lors d'une conduite de nuit sous la pluie, ce sont les phares qui paradoxalement diminuent la visibilité car leur lumière est réfléchie par les gouttes vers le conducteur. Nous appuyant sur la conception d'un simulateur physique, nous proposons un éclairage adaptatif qui illuminerait la scène sans éclairer les gouttes qui tombent. Les résultats de notre simulateur et le premier prototype construit montre que l'idée avancée pourrait efficacement améliorer la visibilité générale d'une scène. D'autre part, nous étudions la détection et le suivi de gouttes de pluie à grande vitesse. Les feux tricolores ont un rôle crucial dans la compréhension des scènes urbaines. Bien qu'il existe déjà des systèmes de détection de feux tricolores, les algorithmes actuels ne fonctionnent que dans des conditions simples. Ainsi, nous avons développé un algorithme de détection de feux tricolores qui utilise une détection en niveau de gris des spots lumineux et une classification par reconnaissance de modèle. L'approche ainsi conçue est assez flexible pour détecter différents types de feux tricolores même avec une camera à faible dynamique. Notre proposition a été évaluée sur des séquences acquises en France, Chine et Suisse.

Vision algorithms can be used to expand the working range of the assistance systems so as to deal with urban scenes or degraded weathers. To this end, three novel applications are investigated in this thesis for both rain and traffic lights. Rain is the most frequent degraded weather condition. We review the various physics and photometry models for rain and raindrops, and highlight some of the misuses. When driving in daytime the raindrops on the windscreen lower the driver visibility. For standard on-board camera these drops appear as unfocused. Hence, we investigate the detection of unfocused raindrops using blur maps or lack of gradients with photometry. For nightime driving in rain, the headlights paradoxically reduce the visibility due to light reflected off of raindrops back toward the driver. Relying on a physic-based simulator, we propose to build an illumination device that would illuminate the scene without shining the falling particles. The performance of the simulator and a proof-of-concept prototype sustain that our idea can efficiently improve the overall scene visibility. Fast reactive drops detection and tracking is also investigated.To deal with urban scenes, traffic lights play a key role. Though traffic light recognition was attempted in the past, the existing algorithms can't handle complex scenarios. Hence, we have developed a traffic light recognition algorithm that uses a grayscale spot light detection and a template matching classification. Our approach is modular and capable of detecting various kind of traffic lights even when using a low-dynamic camera. We have evaluated our algorithm on sequences from France, China and Switzerland.