Evénement asynchrone à base de vision 3D

Asynchronous event-based 3d vision

• Auteur / Autrice : Joao Paulo Amaro Da Costa Luz Carneiro
• Direction : Ryad Benosman
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 10/02/2014
• Etablissement(s) : Paris 6
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut de la vision
• Jury : Examinateurs / Examinatrices : Giacomo Indiveri, Patrick Rives, Sio-Hoï Ieng, Stéphane Regnier, Yves Trotter

Mots clés

Mots clés contrôlés

Mode de transfert asynchrone

Vision artificielle (robotique)

Mots clés libres

Asynchrone

Evenementiel

Reconstruction 3D

Stereo vision

Rétines de silicium

Neuromorphique

Silicon retinas

Neuromorphic

Résumé

L’implementation de la vision biologique sur machine est un problème majeur que la recherche actuelle a à peine effleuré la surface. Les organismes vivants sont capables de réaliser des tâches visuelles très complexes et de manière très efficace. La stéréovision fait partie de ces mécanismes complexes que les sci- entifiques tentent de reproduire à l’aide de caméras à haute résolution. Cette thèse aborde le problème de la stéréovision d’une manière neuromorphique par l’intermédiaire d’une nouvelle génération de capteurs de vision appelés ”rétines de silicium”. Ces rétines de silicium imitent les rétines biologiques en capturant l’information visuelle sous forme de flux asynchrones d’événements codant les changements de contraste avec une grande précision temporelle. Ces capteurs sont utilisés pour étudier l’importance de la précision et de la dynamiquetemporelledelascènedansleproblèmedemiseencorrespondance stéréo. Nous proposons une des premières méthodes de reconstruction 3D capable de produire des modèles 3D d’une manière totalement asynchrone, á partir de l’information visuelle. Cette approche, outre son originalité, permet également de préserver la dynamique native de la scène. Cette thèse montre que le temps en tant que medium d’information, joue un rôle primordial dans la stéréovision. Le temps peut compléter, compenser, voire remplacer l’information apportée habituellement par la luminance et la géométrie. Ce travail établit également les fondations solides des futures recherches en vision stéréo á haute vitesse et haute dynamique, basée sur les événements. Il ouvre également de nouvelles perspectives prometteuses pour la résolution de problèmes traditionels de vision artificielle grâce à l’apport du nouveau paradigme de la vision asynchrone.

Reproducing biological vision in a machine is a challenging problem for which scientists have just scratched the surface. Living organisms are able to per- form complex tasks in an awestruckly efficient manner. The stereovision is one of these complex mechanisms that computer scientists try to replicate with high resolution cameras. This thesis takes on the stereovision problem in a neuromorphic way by mean of a new generation of vision sensors also called ”silicon retinas”. These silicon retinas mimic biological retinas by cap- turing the visual information into the form of asynchronous stream of events that encode contrast change at high temporal precision. These sensors are used to study the importance of the precise timing and the scene temporal dynamics in solving the stereo correspondence problem. We propose one of the first 3D reconstruction methods which is able to produce 3Dmodelsinatrulyevent-basedandasynchronousmanner, fromevent-based visual information. Besides the novelty of proposing a truly temporal- based asynchronous event-driven approach of 3D reconstructions, this work is also able to preserve the native dynamic of the scene. Time as information medium is proven to have a critical role in stereovision. Time can supplement, compensate and even replace the usual luminance and spatial information. This work lays strong foundations for future research on high temporal and event-based dynamic stereo vision. It also opens new promisingperspectivesforsolvingtraditionalmachinevisionproblemsthanks to the use of the new asynchronous vision paradigm.