Neurogéométrie de la vision stéréo

Neurogeometry of stereo vision

• Auteur / Autrice : Maria Virginia Bolelli
• Direction : Alessandro Sarti, Giovanna Citti
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 27/03/2023
• Etablissement(s) : Sorbonne université en cotutelle avec Università degli studi (Bologne, Italie)
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Centre d'analyse et de mathématique sociales (Paris ; Marseille)
• Jury : Président / Présidente : Benoît Perthame
• Jury : Examinateurs / Examinatrices : Andrea Pinamonti, Davide Barbieri, Pascal Chossat
• Jury : Rapporteur / Rapporteuse : Remco Duits, Olivier Faugeras

Mots clés

Mots clés contrôlés

Géométrie de Riemann

Modèles mathématiques

Perception visuelle

Biomathématiques

Mots clés libres

Neurogéométrie

Vision stéréoscopique

Géométrie sous-Riemanienne

Neurogeometry

Stereo vision

Sub-Riemannian geometry

Résumé

Ce travail vise à développer un modèle neurogéométrique de la vision stéréo, basé sur les architectures corticales impliquées dans le problème de la perception 3D et les mécanismes neuronaux générés par les disparités rétiniennes. Nous l'appliquons pour reproduire des expériences phénoménologiques ainsi que pour traiter des images 3D, en identifiant des percepts visuels tridimensionnels dans l'espace, en résolvant le problème de correspondance. Tout d'abord, nous proposons une géométrie sub-riemannienne pour la vision stéréo. Cette proposition s'inspire du travail sur le problème de la stéréo effectué par Li et Zucker, et elle utilise les outils sub-riemanniens introduits par Citti et Sarti pour la vision monoculaire. En particulier, nous présentons une interprétation mathématique des mécanismes neuronaux qui sous-tendent le comportement des cellules binoculaires, qui intègrent les entrées monoculaires, en introduisant un espace fibré corticales approprié. La compatibilité naturelle entre la triangulation stéréo et les modèles neurophysiologiques (modèle d'énergie binoculaire) montre que ces cellules binoculaires sont sensibles soit à la position et soit à l'orientation. Nous modélisons donc leur action dans l'espace R^3xS^2 équipé d'une métrique sub-riemannienne. Les courbes intégrales de la structure sub-riemannienne éclairent les calculs qui sous-tendent le problème de correspondance. Elles codent non seulement les variables de l'espace, mais aussi la courbure et la torsion, qui sont nécessaires pour résoudre la correspondance 3D. De plus, un éventail de ces courbes peut modéliser l'analogue 3D des champs d'association psychophysiques de Field, Heyes et Hess. Ceci illustre comment une bonne continuation dans le monde généralise une bonne continuation en 2D. Ensuite, nous étudions la constitution d'unités perceptuelles 3D dans la scène tridimensionnelle générée à partir de la géométrie sub-riemannienne. Ces unités perceptuelles émergent comme une conséquence de la connexion cortico-corticale aléatoire des cellules binoculaires. Nous présentons le processus stochastique à la base de ce phénomène, en considérant une version stochastique opportune des courbes intégrales. Nous générons une famille de solutions fondamentales pour l'opérateur de Kolmogorov associé au processus stochastique généré. Cette famille représente la probabilité d'interaction entre les cellules binoculaires et est mise en oeuvre comme un modèle de facilitation pour définir l'évolution de l'activité de la population neuronale. Cette activité est généralement modélisée par une équation de champ moyen. L'existence et l'unicité d'une solution découlent classiquement du problème de Cauchy dans les espaces de Banach. En revanche, l'analyse de stabilité est effectuée à l'aide de la méthode de Lyapunov, ce qui conduit à la prise en compte du problème des valeurs propres associé. Nous démontrons que les unités perceptuelles tridimensionnelles apparaissent de façon naturelle, à partir de la version discrète du problème des valeurs propres. Enfin, nous mettons en évidence la relation entre les solutions fondamentales des opérateurs géométriques apparaissant dans les espaces impliqués dans notre modèle: l'espace des positions et des orientations R^3xS^2 et le groupe de Lie SE(3). Nous étudions d’abord l'existence d'une isométrie (locale) entre ces deux espaces, avec la métrique induite par la structure corticale et sa contrepartie dans SE(3). Enfin, nous relions le comportement des solutions fondamentales dans les deux espaces en utilisant la notion de soulèvement d'opérateur.

This work aims to develop a neurogeometric model of stereo vision, based on cortical architectures involved in the problem of 3D perception and neural mechanisms generated by retinal disparities. We apply it to reproduce phenomenological experiments as well as to process 3D images, identifying three-dimensional visual percepts in space, solving the correspondence problem. First, we provide a sub-Riemannian geometry for stereo vision. This proposal is inspired by the work on the stereo problem by Li and Zucker, and it uses sub-Riemannian tools introduced by Citti and Sarti for monocular vision. In particular, we present a mathematical interpretation of the neural mechanisms underlying the behavior of binocular cells, that integrate monocular inputs, by introducing a suitable cortical fiber bundle. The natural compatibility between stereo geometry (stereo triangulation) and neurophysiological models (binocular energy model) shows that these binocular cells are sensitive to position and orientation. Therefore, we model their action in the space R^3xS^2 equipped with a sub-Riemannian metric. Integral curves of the sub-Riemannian structure shed light on the computations underlying the correspondence problem. They encode not only the variables of the space, but also curvature and torsion, which are necessary for the 3D matching. Moreover, a fan of these curves can model the 3D analog of the psychophysical association fields of Field, Heyes and Hess, for the 3D process of regular contour formation, studied by psychophysical experiments. This illustrates how good continuation in the world generalizes good continuation in the plane, as conjectured by Li and Zucker. As a second step, we study the constitution of 3D perceptual units in the three-dimensional scene generated from the sub-Riemannian geometry. These perceptual units emerge as a consequence of the random cortico-cortical connection of binocular cells. We present the stochastic process at the basis of this phenomenon, by considering an opportune stochastic version of the integral curves. We generate a family of kernels through the forward Kolmogorov operator associated to the generated stochastic process, and approximate them using a Monte Carlo simulation-based method. These kernels represent the probability of interaction between binocular cells and are implemented as facilitation patterns to define the evolution in time of neural population activity at a point. This activity is usually modeled through a mean field equation. The existence and uniqueness of a solution classically follow from the Cauchy problem in Banach spaces, while the stability analysis is performed using the Lyapunov method, leading to the consideration of the associated eigenvalue problem. We show that three-dimensional perceptual units arise naturally from the discrete version of the eigenvalue problem associated to the integro-differential equation of the population activity. Finally, we highlight the relation between the fundamental solutions of the geometric operators arising in the spaces involved in our model, namely the space of positions and orientations R^3xS^2 and the Lie group of three-dimensional rigid body motions SE(3). We first provide the existence of a (local) isometry between these two spaces, with the metric induced by the cortical structure and its SE(3) counterpart. Finally, we relate the behavior of fundamental solutions in both spaces using the notion of lifting of operator.