Acquisition et exploitation des connaissances antérieures pour prédire le comportement des piétons autour des véhicules autonomes en environnement urbain

Building and Leveraging Prior Knowledge for Predicting Pedestrian Behaviour Around Autonomous Vehicles in Urban Environments

• Auteur / Autrice : Pavan Vasishta
• Direction : Anne-Marie Spalanzani, Dominique Vaufreydaz
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 30/09/2019
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche de l'université Grenoble Alpes
• Partenaire(s) de recherche : : Agence nationale de la recherche (France)
• Jury : Président / Présidente : Didier Donsez
• Jury : Examinateurs / Examinatrices : Anne-Marie Spalanzani, Dominique Vaufreydaz, Thierry Chateau, Luis Merino, François Charpillet
• Jury : Rapporteurs / Rapporteuses : Thierry Chateau, Luis Merino

Mots clés

Mots clés contrôlés

Modèles de Markov cachés

Comportement spatial

Piétons

Mots clés libres

Comportement des piétons

Modèle de Markov Caché Croissant (GHMM)

Modélisation de l'environnement

Graphical Models

Pedestrian Prediction

Environmental Modelling

Résumé

Les véhicules autonomes qui naviguent dans les zones urbaines interagissent avec les piétons et les autres utilisateurs de l'espace partagé, comme les bicyclettes, tout au long de leur trajet, soit dans des zones ouvertes, comme les centres urbains, soit dans des zones fermées, comme les parcs de stationnement. Alors que de plus en plus de véhicules autonomes sillonnent les rues de la ville, leur capacité à comprendre et à prévoir le comportement des piétons devient primordiale. Ceci est possible grâce à l'apprentissage par l'observation continue de la zone à conduire. D'autre part, les conducteurs humains peuvent instinctivement déduire le mouvement des piétons sur une rue urbaine, même dans des zones auparavant invisibles. Ce besoin d'accroître la conscience de la situation d'un véhicule pour atteindre la parité avec les conducteurs humains alimente le besoin de données plus vastes et plus approfondies sur le mouvement des piétons dans une myriade de situations et d'environnements variés.Cette thèse porte sur le problème de la réduction de cette dépendance à l'égard de grandes quantités de données pour prédire avec précision les mouvements des piétons sur un horizon prolongé. Ce travail s'appuie plutôt sur la connaissance préalable, elle-même dérivée des principes sociologiques de "Vision naturelle" et de "Mouvement naturel" du JJ Gibson. Il suppose que le comportement des piétons est fonction de l'environnement bâti et que tous les mouvements sont orientés vers l'atteinte d'un but. Connaissant ce principe sous-jacent, le coût de la traversée d'une scène du point de vue d'un piéton peut être deviné. Sachant cela, on peut en déduire leur comportement. Cet ouvrage apporte une contribution au cadre de compréhension du comportement piétonnier en tant que confluent de modèles graphiques probabilistes et de principes sociologiques de trois façons : modélisation de l'environnement, apprentissage et prévision.En ce qui concerne la modélisation, le travail suppose que certaines parties de la scène observée sont plus attrayantes pour les piétons et que d'autres sont répugnantes. En quantifiant ces " affordances " en fonction de certains Points d'Intérêt (POI) et des différents éléments de la scène, il est possible de modéliser cette scène sous observation avec différents coûts comme base des caractéristiques qu'elle contient.En ce qui concerne l'apprentissage, ce travail étend principalement la méthode du Modèle de Markov Caché Croissant (GHMM) - une variante du modèle probabiliste du Modèle de Markov Caché (HMM) - avec l'application des connaissances préalables pour initialiser une topologie capable de déduire avec précision les " mouvements types " dans la scène. Deuxièmement, le modèle généré se comporte comme une carte auto-organisatrice, apprenant progressivement un comportement piétonnier atypique et le codant dans la topologie tout en mettant à jour les paramètres du HMM sous-jacent.Sur la prédiction, ce travail effectue une inférence bayésienne sur le modèle généré et peut, grâce aux connaissances préalables, réussir à mieux prédire les positions futures des piétons sans disposer de trajectoires de formation, ce qui permet de l'utiliser dans un environnement urbain avec uniquement des données environnementales, que la méthode GHMM actuellement en application.Les contributions de cette thèse sont validées par des résultats expérimentaux sur des données réelles capturées à partir d'une caméra aérienne surplombant une rue urbaine très fréquentée, représentant un environnement bâti structuré et du point de vue de la voiture dans un parking, représentant un environnement semi-structuré et testé sur des trajectoires typiques et atypiques dans chaque cas.

Autonomous Vehicles navigating in urban areas interact with pedestrians and other shared space users like bicycles throughout their journey either in open areas, like urban city centers, or closed areas, like parking lots. As more and more autonomous vehicles take to the city streets, their ability to understand and predict pedestrian behaviour becomes paramount. This is achieved by learning through continuous observation of the area to drive in. On the other hand, human drivers can instinctively infer pedestrian motion on an urban street even in previously unseen areas. This need for increasing a vehicle's situational awareness to reach parity with human drivers fuels the need for larger and deeper data on pedestrian motion in myriad situations and varying environments.This thesis focuses on the problem of reducing this dependency on large amounts of data to predict pedestrian motion accurately over an extended horizon. Instead, this work relies on Prior Knowledge, itself derived from the JJ Gibson's sociological principles of ``Natural Vision'' and ``Natural Movement''. It assumes that pedestrian behaviour is a function of the built environment and that all motion is directed towards reaching a goal. Knowing this underlying principle, the cost for traversing a scene from a pedestrian's perspective can be divined. Knowing this, inference on their behaviour can be performed. This work presents a contribution to the framework of understanding pedestrian behaviour as a confluence of probabilistic graphical models and sociological principles in three ways: modelling the environment, learning and predicting.Concerning modelling, the work assumes that there are some parts of the observed scene which are more attractive to pedestrians and some areas, repulsive. By quantifying these ``affordances'' as a consequence of certain Points of Interest (POIs) and the different elements in the scene, it is possible to model this scene under observation with different costs as a basis of the features contained within.Concerning learning, this work primarily extends the Growing Hidden Markov Model (GHMM) method - a variant of the Hidden Markov Model (HMM) probabilistic model- with the application of Prior Knowledge to initialise a topology able to infer accurately on ``typical motions'' in the scene. Secondly, the model that is generated behaves as a Self-Organising map, incrementally learning non-typical pedestrian behaviour and encoding this within the topology while updating the parameters of the underlying HMM.On prediction, this work carries out Bayesian inference on the generated model and can, as a result of Prior Knowledge, manage to perform better than the existing implementation of the GHMM method in predicting future pedestrian positions without the availability of training trajectories, thereby allowing for its utilisation in an urban scene with only environmental data.The contributions of this thesis are validated through experimental results on real data captured from an overhead camera overlooking a busy urban street, depicting a structured built environment and from the car's perspective in a parking lot, depicting a semi-structured environment and tested on typical and non-typical trajectories in each case.