Contribution to study and implementation of a bio-inspired perception system based on visual and auditory attention

Contribution à l’étude et à la mise en œuvre d’un système de perception bio-inspiré basé sur l’attention visuelle et auditive

• Auteur / Autrice : Jingyu Wang
• Direction : Kurosh Madani
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Automatique
• Date : Soutenance le 09/01/2015
• Etablissement(s) : Paris Est en cotutelle avec Northwestern Polytechnical University (Chine)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-2015)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil) - LISSI
• Jury : Président / Présidente : Xuelong Li
• Jury : Examinateurs / Examinatrices : Kurosh Madani, Ke Zhang, Christophe Sabourin
• Jury : Rapporteurs / Rapporteuses : Lucile Rossi-Tison, Xinbo Gao

Mots clés

Mots clés contrôlés

Perception auditive

Saillance visuelle

Vision artificielle (robotique)

Intelligence artificielle

Apprentissage supervisé (intelligence artificielle)

Mots clés libres

Perception

Intelligence Artificielle

Fusion

Saillance

Vision artificielle

Extraction de connaissances

Perception

Artificial Intelligence

Fusion

Salience

Artificial Vision

Knowledge Extraction

Résumé

L'objectif principal de cette thèse porte sur la conception d'un système de perception artificiel permettant d'identifier des scènes ou évènements pertinents dans des environnements complexes. Les travaux réalisés ont permis d'étudier et de mettre en œuvre d'un système de perception bio-inspiré basé sur l'attention visuelle et auditive. Les principales contributions de cette thèse concernent la saillance auditive associée à une identification des sons et bruits environnementaux ainsi que la saillance visuelle associée à une reconnaissance d'objets pertinents. La saillance du signal sonore est calculée en fusionnant des informations extraites des représentations temporelles et spectrales du signal acoustique avec une carte de saillance visuelle du spectrogramme du signal concerné. Le système de perception visuelle est quant à lui composé de deux mécanismes distincts. Le premier se base sur des méthodes de saillance visuelle et le deuxième permet d'identifier l'objet en premier plan. D'autre part, l'originalité de notre approche est qu'elle permet d'évaluer la cohérence des observations en fusionnant les informations extraites des signaux auditifs et visuels perçus. Les résultats expérimentaux ont permis de confirmer l'intérêt des méthodes utilisées dans le cadre de l'identification de scènes pertinentes dans un environnement complexe

The main goal of these researches is the design of one artificial perception system allowing to identify events or scenes in a complex environment. The work carried out during this thesis focused on the study and the conception of a bio-inspired perception system based on the both visual and auditory saliency. The main contributions of this thesis are auditory saliency with sound recognition and visual saliency with object recognition. The auditory saliency is computed by merging information from the both temporal and spectral signals with a saliency map of a spectrogram. The visual perception system is based on visual saliency and recognition of foreground object. In addition, the originality of the proposed approach is the possibility to do an evaluation of the coherence between visual and auditory observations using the obtained information from the features extracted from both visual and auditory patters. The experimental results have proven the interest of this method in the framework of scene identification in a complex environment