Capteur visuel pour l'identification et la communication optique entre objets mobiles : des images aux événements

Visual sensor for identification and optical communication between moving objects : from images to events

• Auteur / Autrice : Axel Von Arnim
• Direction : Benoît Miramond
• Type : Thèse de doctorat
• Discipline(s) : Électronique
• Date : Soutenance le 22/03/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique, antennes et télécommunications (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : François Verdier
• Jury : Examinateurs / Examinatrices : Benoît Miramond, François Verdier, Jacques Ehrlich, Jean-Christophe Prévotet, Nicolas Hautière, Vincent Aguiléra
• Jury : Rapporteur / Rapporteuse : Jacques Ehrlich, Jean-Christophe Prévotet

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement du signal

Traitement d'images

Capteurs (technologie)

Caméras

Mots clés libres

Communication par caméra optique

OCC

Traitement d'image

Traitement du signal

Télécommunications

Vision événementielle

Identification

Suivi

Optical camera communication

OCC

Image processing

Signal processing

Telecommunications

Event-driven vision

Identification

Tracking

Résumé

Nous présentons dans cette thèse de doctorat le résultat de cinq années de travaux de recherche, de conception et de réalisation d'un capteur actif d'identification optique composé d'un émetteur proche infrarouge et d'une caméra réceptrice à haute fréquence. Ce capteur permet de localiser et d'identifier un objet en mouvement dans la scène visuelle par transmission de données optiques. Il est ainsi possible, soit de transmettre des données de façon purement optique entre objets mobiles dans leurs champs de vision respectifs, soit d'associer l'identification optique à des moyens conventionnels de télécommunication, dans le but de localiser précisément les émetteurs de données, sans recours ou en l'absence de GPS ou d'autres techniques de localisation. Cette technique, que nous avons explorée à ses débuts, en 2005, est connue sous le terme de communication optique par caméra (Optical Camera Communication, ou OCC). Nous avons dans un premier temps, entre 2005 et 2008, mis en œuvre le récepteur avec une caméra CCD cadencée à 595Hz, atteignant un débit de communication de 250 bits par seconde et un temps d'identification moyen de 76ms (pour un identifiant de 16 bits) sur une portée maximale de 378m. Dans une deuxième phase d'étude en 2022-2023, nous avons utilisé une caméra événementielle, atteignant un débit de communication de 2500 bits par seconde avec un taux de décodage de 94%, donc un temps de décodage moyen égale au temps théorique de 6,4ms pour 16 bits. Nous avons donc gagné un ordre de grandeur. Notre capteur se différencie de l'état de l'art a deux titres. Sa première version est arrivée très tôt et a contribué à l'émergence du concept de communication optique par caméra. Un brevet français a d'ailleurs protégé l'invention pendant dix ans. Sa seconde version atteint des performances de débit surpassant l'état de l'art et y ajoutant la robustesse dans le suivi d'objets mobiles. Le cas d'utilisation que nous avions choisi était d'abord la localisation d'objets routiers pour la communication inter-véhiculaire et véhicule-infrastructure. Dans nos travaux récents, nous avons choisi la surveillance et le suivi d'objets par drone. Les applications de notre capteur sont nombreuses, notamment là où d'autres moyens de communication ou d'identification sont soit indisponibles, soit non souhaités. Ainsi en va-t-il des sites industriels, militaires, des communications à vue confidentielles, du suivi précis de véhicules d'urgence par drone, etc. Des applications de technologies similaires dans le domaine du sport prouvent l'utilité et la viabilité économique du capteur. Cette thèse présente aussi l'ensemble d'une carrière de recherche, du rôle d'ingénieur de recherche, à celui de chercheur, puis chef de projet de recherche, enfin directeur de recherche en EPIC. Les domaines d'application de la recherche ont beaucoup varié, des assistances à la conduite à l'IA neuromorphique, mais ont toujours suivi le fil rouge de la robotique, sous ses diverses mises en œuvre. Nous espérons convaincre le lecteur de l'innovation scientifique apportée par nos travaux et plus généralement de notre contribution à la recherche, à son management et à sa direction.

In this doctoral thesis, we present the results of five years of research, design and production work on an active optical identification sensor comprising a near-infrared transmitter and a high-frequency receiver camera. This sensor locates and identifies a moving object in the visual scene by transmitting optical data. It is thus possible either to transmit data purely optically between moving objects in their respective fields of view, or to combine optical identification with conventional telecommunication means, with the aim of precisely locating the data transmitters, without recourse to or in the absence of GPS or other localization techniques. This technique, which we first explored in 2005, is known as Optical Camera Communication (OCC). Initially, between 2005 and 2008, we implemented the receiver with a CCD camera clocked at 595Hz, achieving a communication rate of 250 bits per second and an average identification time of 76ms (for a 16-bit identifier) over a maximum range of 378m. In a second study phase in 2022-2023, we used an event-driven camera, achieving a communication rate of 2,500 bits per second with a decoding rate of 94%, i.e. an average decoding time equal to the theoretical time of 6.4ms for 16 bits. So we've gained an order of magnitude. Our sensor differs from the state of the art in two ways. Its first version arrived very early, and contributed to the emergence of the concept of optical camera communication. A French patent protected the invention for ten years. Its second version outperforms the state of the art in terms of throughput, while adding robustness for tracking moving objects.Our initial use case was the localization of road objects for inter-vehicular and vehicle-to-infrastructure communication. In our more recent work, we have chosen drone surveillance and object tracking. Our sensor has many applications, particularly where other means of communication or identification are either unavailable or undesirable. These include industrial and military sites, confidential visual communications, the precise tracking of emergency vehicles by drone, and so on. Applications of similar technologies in the field of sports prove the usefulness and economic viability of the sensor.This thesis also presents my entire research career, from research engineer to researcher, then research project manager, and finally research director in a research institute. The areas of research application have varied widely, from driver assistance to neuromorphic AI, but have always followed the common thread of robotics, in its various implementations. We hope to convince the reader of the scientific innovation brought about by our work, and more generally of our contribution to research, its management and its direction.