Navigation of a quad-rotor to access the interior of a building

par Shuting Zhou

Thèse de doctorat en Automatique, Systèmes Embarqués et Robotique : Unité de recherche Heudyasic (UMR-7253)

Sous la direction de Rogelio Lozano-Leal et de Hugo Romero-Trejo.

Soutenue le 02-12-2015

à Compiègne , dans le cadre de École doctorale 71, Sciences pour l'ingénieur (Compiègne) .

mots clés

• Quadri-rotor
• Stéréo vision
• Fusion de données
• Navigation autonome
• Caméra RGB-D
• Systèmes anticollision
• Rotors
• Rotors (hélicoptères)
• Drones
• Vision par ordinateur
• Vision artificielle (robotique)
• Commande automatique
• Commande en temps réel
• Systèmes de commande (vol)
• Systèmes de guidage (vol)
• Commande prédictive
• Capteurs (technologie)
• Capteurs optiques
• Reconnaissance d'objets (informatique)
• Fusion multicapteurs
• Kalman, Filtrage de
• Odométrie visuelle

Titre traduit

Navigation d’un quadri-rotor pour accéder à l’intérieur d’un bâtiment

Résumé

Ce travail de recherche est dédié à l’élaboration d’une stratégie de navigation autonome qui comprend la génération d’une trajectoire optimale en évitant des obstacles, la détection de l’objet d’intérêt spécifique (i.e. une fenêtre) et puis l’exécution de la manoeuvre postérieure à approcher la fenêtre et enfin accéder à l’intérieur du bâtiment. Le véhicule est navigué par un système de vision et une combinaison de capteurs inertiels et d’altitude, ce qui réalise une localisation relative du quadri-rotor par rapport à son environment. Une méthode de planification de trajectoire basée sur Model Predictive Control (MPC), qui utilise les informations fournies par le GPS et le capteur visuel, a été conçue pour générer une trajectoire optimale en temps réel avec des capacités d’évitement de collision, qui commence à partir d’un point initial donné par l’utilisateur et guide le véhicule pour atteindre le point final à l’extérieur du bâtiment de la cible. Dans le but de détecter et de localiser l’objet d’intérêt, deux stratégies de détection d’objet basées sur la vision sont proposées et sont respectivement appliquées dans le système de stéréo vision et le système de vision en utilisant la Kinect. Après l’estimation du modèle de la fenêtre cible, un cadre d’estimation de mouvement est conçu pour estimer ego-mouvement du véhicule à partir des images fournies par le capteur visuel. Il y a eu deux versions des cadres d’estimation de mouvement pour les deux systèmes de vision. Une plate-forme expérimentale de quad-rotor est développée. Pour l’estimation de la dynamique de translation du véhicule, un filtre de Kalman est mis en œuvre pour combiner les capteurs d’imagerie, inertiels et d’altitude. Un système de détection et de contrôle hiérarchique est conçu pour effectuer la navigation et le contrôle de l’hélicoptère quadri-rotor, ce qui permet au véhicule d’estimer l’état sans marques artificielles ou d’autres systèmes de positionnement externes.

mots clés

• Stereo vision
• Object detection and tracking
• Quad-rotor
• Distributed control
• RGB-D camera
• Visual odometry
• Optimal trajectory planning
• Data fusion
• Kalman filtering
• Automatic control
• Real-time control
• Model predictive control (MPC)
• Collision avoidance systems

Résumé

This research work is dedicated to the development of an autonomous navigation strategy which includes generating an optimal trajectory with obstacles avoiding capabilities, detecting specific object of interest (i.e. a window) and then conducting the subsequent maneuver to approach the window and finally access into the building. The vehicle is navigated by a vision system and a combination of inertial and altitude sensors, which achieve a relative localization of the quad-rotor with respect to its surrounding environment. A MPC-based path planning method using the information provided by the GPS and the visual sensor has been developed to generate an optimal real-time trajectory with collision avoidance capabilities, which starts from an initial point given by the user and guides the vehicle to achieve the final point outside the target building. With the aim of detecting and locating the object of interest, two different vision-based object detection strategies are proposed and are applied respectively in the stereo vision system and the vision system using the Kinect. After estimating the target window model, a motion estimation framework is developed to estimate the vehicle’s ego-motion from the images provided by the visual sensor. There have been two versions of the motion estimation frameworks for both vision systems. A quad-rotor experimental platform is developed. For estimating the translational dynamic of the vehicle, a Kalman filter is implemented to combine the imaging, inertial and altitude sensors. A hierarchical sensing and control system is designed to perform the navigation and control of the quad-rotor helicopter, which allows the vehicle to estimate the state without artificial marks or other external positioning systems.