Thèse soutenue

Contribution to study and implementation of a bio-inspired perception system based on visual and auditory attention

FR  |  
EN
Auteur / Autrice : Jingyu Wang
Direction : Kurosh Madani
Type : Thèse de doctorat
Discipline(s) : Signal, Image, Automatique
Date : Soutenance le 09/01/2015
Etablissement(s) : Paris Est en cotutelle avec Northwestern Polytechnical University (Chine)
Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-2015)
Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil) - LISSI
Jury : Président / Présidente : Xuelong Li
Examinateurs / Examinatrices : Kurosh Madani, Ke Zhang, Christophe Sabourin
Rapporteurs / Rapporteuses : Lucile Rossi-Tison, Xinbo Gao

Résumé

FR  |  
EN

L'objectif principal de cette thèse porte sur la conception d'un système de perception artificiel permettant d'identifier des scènes ou évènements pertinents dans des environnements complexes. Les travaux réalisés ont permis d'étudier et de mettre en œuvre d'un système de perception bio-inspiré basé sur l'attention visuelle et auditive. Les principales contributions de cette thèse concernent la saillance auditive associée à une identification des sons et bruits environnementaux ainsi que la saillance visuelle associée à une reconnaissance d'objets pertinents. La saillance du signal sonore est calculée en fusionnant des informations extraites des représentations temporelles et spectrales du signal acoustique avec une carte de saillance visuelle du spectrogramme du signal concerné. Le système de perception visuelle est quant à lui composé de deux mécanismes distincts. Le premier se base sur des méthodes de saillance visuelle et le deuxième permet d'identifier l'objet en premier plan. D'autre part, l'originalité de notre approche est qu'elle permet d'évaluer la cohérence des observations en fusionnant les informations extraites des signaux auditifs et visuels perçus. Les résultats expérimentaux ont permis de confirmer l'intérêt des méthodes utilisées dans le cadre de l'identification de scènes pertinentes dans un environnement complexe