Apprentissage incrémental de la saillance visuelle par des mécanismes de motivation intrinsèque

Intrinsic motivation mecanisms for incremental learning of visual saliency

• Auteur / Autrice : Céline Craye
• Direction : David Filliat
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/04/2017
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Interfaces : matériaux, systèmes, usages (Palaiseau, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : École nationale supérieure de techniques avancées (Palaiseau). Unité d'Informatique et d'Ingénierie des Systèmes - Unité d'Informatique et d'Ingénierie des Systèmes / ENSTA ParisTech U2IS
• Partenaire(s) de recherche : établissement opérateur d'inscription : École nationale supérieure de techniques avancées (Palaiseau ; 1970 -....)
• Jury : Président / Présidente : Pierre-Yves Oudeyer
• Jury : Examinateurs / Examinatrices : David Filliat, Jean-François Goudou, Sergio Alberto Rodríguez Flórez
• Jury : Rapporteur / Rapporteuse : Olivier Le Meur, Frintrop Simone

Mots clés

Mots clés contrôlés

Algorithmes bio-inspirés (intelligence artificielle)

Vision artificielle (robotique)

Mots clés libres

Saillance visuelle

Robotique mobile

Robotique cognitive

Bio-inspiration

Motivation intrinsèque

Localisation d'objets

Visual saliency

Mobile robotics

Cognitive robotics

Bio-inspiration

Intrinsic motivation

Object localization

Résumé

La conception de systèmes de perception autonomes, tels que des robots capables d’accomplir un ensemble de tâches de manière sûre et sans assistance humaine, est l’un des grands défis de notre siècle. Pour ce faire, la robotique développementale propose de concevoir des robots qui, comme des enfants, auraient la faculté d’apprendre directement par interaction avec leur environnement. Nous avons dans cette thèse exploré de telles possibilités en se limitant à l’apprentissage de la localisation des objets d’intérêt (ou objets saillants) dans l’environnement du robot.Pour ce faire, nous présentons dans ces travaux un mécanisme capable d’apprendre la saillance visuelle directement sur un robot, puis d’utiliser le modèle appris de la sorte pour localiser des objets saillants dans son environnement. Cette méthode a l’avantage de permettre la création de modèles spécialisés pour l’environnement du robot et les tâches qu’il doit accomplir, tout en restant flexible à d’éventuelles nouveautés ou modifications de l’environnement.De plus, afin de permettre un apprentissage efficace et de qualité, nous avons développé des stratégies d’explorations basées sur les motivations intrinsèques, très utilisées en robotique développementale. Nous avons notamment adapté l’algorithme IAC à l’apprentissage de la saillance visuelle, et en avons conçu une extension, RL-IAC, pour permettre une exploration efficace sur un robot mobile. Afin de vérifier et d’analyser les performances de nos algorithmes, nous avons réalisé des évaluations sur plusieurs plateformes robotiques dont une plateforme fovéale et un robot mobile, ainsi que sur des bases de données publiques.

Conceiving autonomous perceptual systems, such as robots able to accomplish a set of tasks in a safe way, without any human assistance, is one of the biggest challenge of the century. To this end, the developmental robotics suggests to conceive robots able to learn by interacting directly with their environment, just like children would. This thesis is exploring such possibility while restricting the problem to the one of localizing objects of interest (or salient objects) within the robot’s environment.For that, we present in this work a mechanism able to learn visual saliency directly on a robot, then to use the learned model so as to localize salient objects within their environment. The advantage of this method is the creation of models dedicated to the robot’s environment and tasks it should be asked to accomplish, while remaining flexible to any change or novelty in the environment.Furthermore, we have developed exploration strategies based on intrinsic motivations, widely used in developmental robotics, to enable efficient learning of good quality. In particular, we adapted the IAC algorithm to visual saliency leanring, and proposed an extension, RL-IAC to allow an efficient exploration on mobile robots.In order to verify and analyze the performance of our algorithms, we have carried out various experiments on several robotics platforms, including a foveated system and a mobile robot, as well as publicly available datasets.