Perception collaborative décentralisée et efficace pour le véhicule autonome

Efficient decentralized collaborative perception for autonomous vehicles

• Auteur / Autrice : Maxime Chaveroche
• Direction : Véronique Berge-Cherfaoui, Franck Davoine
• Type : Thèse de doctorat
• Discipline(s) : Sciences et Technologies de l'Information et des Systèmes : Unité de recherche Heudyasic (UMR-7253)
• Date : Soutenance le 29/09/2021
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc

Mots clés

Mots clés contrôlés

Sécurité routière

Algorithmes

Analyse de scènes (informatique)

Temps entre défaillances, Analyse des

Fusion multicapteurs

Apprentissage profond

Möbius, Transformations de

Théorie de Dempster-Shafer

Véhicules autonomes

Mots clés libres

Perception collaborative décentralisée

Efficacité

Réduction de complexité

Communications

Fonctions de croyance

Cooperative perception decentralized

Efficiency

Complexity reduction

Communications

Möbius transform

Dempster-Shafer theory

Deep learning

Autonomous vehicles

Algorithms

Traffic safety

Résumé

Récemment, nous avons été témoins d'accidents impliquant des véhicules autonomes et leur manque momentané d'information pertinente. Une manière d'adresser ce problème est d'avoir recours à la perception collaborative, c'est-à-dire de bénéficier de la perception d'une même scène sous différents points de vue. Nous proposons ici une collaboration décentralisée, i.e. pair-à-pair, dans laquelle les agents sont actifs dans leur quête pour la perception complète en demandant des zones spécifiques dans leur voisinage sur lesquelles ils voudraient en savoir plus. In fine, nous voulons optimiser un compromis entre la maximisation du savoir à propos des usagers de la route et la minimisation du volume total d'information reçu des autres, dans le but de limiter les coûts en communications et le temps de traitement des messages.Dans cette optique, nous avons choisi d'utiliser la Théorie de Dempster-Shafer (DST) afin d'identifier différents types d'incertitude. En particulier, la DST distingue ce qui n'a jamais été perçu (zone hors de vue ou occultée) – ce qui est principalement ce que la perception collaborative essaie de réduire – de ce qui est débattu parmi des sources différentes (conflit provenant de la fusion de capteurs ou de perceptions d'autres véhicules). Plus généralement, la DST prend en compte la spécificité des observations, c'est-à-dire qu'elle fournit des informations sur la fiabilité des croyances d'un agent, ce qui est crucial pour la sécurité routière. La DST a aussi pour avantage, avec sa règle de fusion Cautious, d'éviter facilement la consanguinité des données, un problème inhérent à l'approche décentralisée. Toutefois, la DST vient avec de fortes complexités en temps et en espace, particulièrement dans le calcul de la fusion Cautious, ce qui limite son usage à des expériences aléatoires comportant peu d'événements atomiques.Ainsi, notre première contribution fut de proposer une méthode exacte et efficace pour le calcul des décompositions nécessaires à cette fusion Cautious, en exploitant ce que nous avons appelé points focaux. Nous avons ensuite généralisé cette méthode à toute transformée de Möbius dans tout ensemble partiellement ordonné (incluant toutes les transformations en DST), nous avons trouvé des moyens de calculer efficacement ces points focaux et nous avons proposé une généralisation de la décomposition requise par la fusion Cautious. Cette décomposition généralisée permet d'employer cette fusion Cautious dans plus de cas, en particulier ceux où un agent a reporté des observations très spécifiques. Nous montrons que ceci améliore à la fois la précision et la stabilité calculatoire de fusions successives.Cependant, des algorithmes basés naïvement sur nos formules auraient une plus haute complexité de pire cas que celle des algorithmes généraux optimaux communément utilisés en DST – qui est déjà plus qu’exponentielle. De fait, nous avons proposé plus tard des algorithmes ayant des complexités toujours meilleures que celles de l’état de l’art, et étant plus généraux, tirant partie des propriétés des treillis distributifs. Après ce travail sur le processus de fusion en lui-même, nous nous sommes attaqués aux problèmes de redondance et de non-pertinence dans la perception collaborative décentralisée. Pour cela, nous avons proposé un moyen d'apprendre une politique de communication qui renverse le paradigme usuel de communication en ne demandant des autres véhicules que ce qui est inconnu de l'ego-véhicule, au lieu de filtrer du côté émetteur. Nous avons testé trois modèles différents pour servir de base à un algorithme d'apprentissage profond par renforcement (DRL) et les avons comparés à une politique de broadcast et à une politique aléatoire. Plus précisément, nous avons légèrement modifié un modèle génératif de l'état-de-l'art nommé Temporal Difference VAE (TD-VAE) pour le rendre séquentiel. Nous avons nommé cette variante Sequential TD-VAE (STD-VAE).

Recently, we have been witnesses of accidents involving autonomous vehicles and their lack of sufficient information at the right time. One way to tackle this issue is to benefit from the perception of different view points, namely collaborative perception. We propose here a decentralized collaboration, i.e. peer-to-peer, in which the agents are active in their quest for full perception by asking for specific areas in their surroundings on which they would like to know more. Ultimately, we want to optimize a trade-off between the maximization of knowledge about moving objects and the minimization of the total information received from others, to limit communication costs and message processing time. To this end, we chose to use Dempster-Shafer Theory (DST) in order to identify different types of uncertainties. In particular, DST allows us to distinguish what has never been perceived (out of range or occluded area) — which is mainly what collaborative perception tries to reduce — from what is debated among different sources (conflict arising from fusion of sensors or other vehicles perceptions). More generally, DST takes into account the specificity of evidence, meaning that it provides information about the reliability of an agent’s belief, which is crucial for safety. DST also features the advantage of easily dealing with data incest with its Cautious fusion rule, which is a problem inherent to the decentralized approach. However, DST comes with high spatial and computational complexities, especially for dealing with data incest in fusion, which limits its usage to random experiments with few possible outcomes. Thus, we first proposed an efficient exact method to compute the decompositions needed for this Cautious fusion, exploiting what we called focal points. Then, we generalized this method to any Möbius transform in any partially ordered set (including all transformations in DST), we found ways to efficiently compute these focal points and we proposed a generalization of the decomposition required by the Cautious fusion. This generalized decomposition allows one to use this Cautious fusion in more cases, in particular cases where an agent has gathered very specific evidence. This enhances both accuracy and computational stability in consecutive fusions. However, algorithms naively based on our formulas would have a higher worst-case complexity than the complexity of the optimal general algorithms commonly employed in DST — which is already more than exponential. Therefore, we later proposed algorithms with complexities always better than the state of the art, and more general, leveraging properties of distributive lattices. After this work on the fusion process itself, we tackled the issue of redundancy and irrelevance in decentralized collaborative perception. For this, we proposed a way to learn a communication policy that reverses the usual communication paradigm by only requesting from other vehicles what is unknown to the ego-vehicle, instead of filtering on the sender side. We tested three different models to be taken as base for a Deep Reinforcement Learning (DRL) algorithm and compared them to a broadcasting policy and a random policy. More precisely, we slightly modified a state-of-the-art generative model named Temporal Difference VAE (TD-VAE) to make it sequential. We named this variant Sequential TD-VAE (STD-VAE). We also proposed Locally Predictable VAE (LP-VAE), inspired by STD-VAE, designed to enhance its prediction capabilities. We showed that LP-VAE produced better belief states for prediction than STDVAE, both as a standalone model and in the context of DRL. The last model we tested was a simple state-less model (Convolutional VAE). Experiments were conducted in the driving simulator CARLA, with vehicles exchanging parts of semantic grid maps. Policies learned based on LP-VAE featured the best trade-off, as long as future rewards were taken into account.