Apports de la Réalité Virtuelle à la simulation de vol pour l’apprentissage du pilotage

Virtual reality for pilots training : a complementary method to increase benefits of flight simulation ?

• Auteur / Autrice : Patrice Labedan
• Direction : Frédéric Dehais, Vsevolod Peysakhovich
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/09/2023
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe d'accueil doctoral DECIsion, Supervision et Interaction pour l'Opération de systèmes complexes (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département conception et conduite des véhicules aéronautiques et spatiaux
• Jury : Président / Présidente : Jean-Pierre Jessel
• Jury : Examinateurs / Examinatrices : Frédéric Dehais, Vsevolod Peysakhovich, Benoît Le Blanc, Jean-Christophe Sarrazin, Sophie Lemonnier, Francis Jambon
• Jury : Rapporteur / Rapporteuse : Benoît Le Blanc, Jean-Christophe Sarrazin

Mots clés

Mots clés contrôlés

Vol -- Simulateurs

Réalité virtuelle

Avions -- Pilotage

Perception

Mots clés libres

Pilotage

Perception

Simulation de vol

Interaction

Apprentissage

Interaction

Flight simulation

Piloting

Perception

Training

Résumé

Dans le domaine aéronautique, l’apprentissage au pilotage est réalisé sur avion réel ainsi que sur simulateur de vol. La simulation présente l’avantage de réaliser des exercices poussés sans mettre en péril l’humain ou la machine, ainsi que des coûts moindres par rapport au vol réel. De plus, le réalisme des simulateurs permet désormais d’améliorer le ressenti à travers une immersion importante. L’utilisation de la réalité virtuelle (RV) ne cessant de croître ces dernières années, elle représente désormais un moyen à très fort potentiel, notamment dans le domaine de la formation professionnelle. Les cockpits en RV émergent, essentiellement pour des jeux, et il est maintenant possible d’imaginer la RV dans le cadre de l’apprentissage du pilotage. Mais si ces technologies de casque de RV à faible coût se révèlent à priori prometteuses, il est nécessaire d’évaluer leur efficacité en comparaison des moyens traditionnels d’apprentissage au pilotage. Par exemple, la perception des instruments de bord en RV est-elle différente par rapport aux simulateurs de vols classiques ou par rapport à l’avion réel ? De même, l’interaction avec le système “avion” sera différente, mais comment l’évaluer ou la mesurer ?Afin de répondre à ces interrogations, cette thèse a entrepris des travaux de recherche comparant trois environnements de vol différents : la réalité virtuelle, le simulateur de vol et l'avion réel. Ces comparaisons ont été réalisées à l'aide de mesures subjectives et objectives. La première partie de la thèse a consisté à reproduire un environnement virtuel le plus proche possible du monde réel, tant en termes de graphismes que d’interactions et de sensations (plateforme mobile). Trois groupes de pilotes ont participé au même scénario de vol dans les trois environnements (simulateur, virtuel, réel), avec une analyse spécifique des phases de vol telles que le décollage, le vol en vent arrière et l'atterrissage.Les mesures subjectives comme la charge mentale, le sentiment de présence, ainsi que l’aisance à piloter les avions virtuels, ont tout d’abord montré que la réalité virtuelle obtenait de meilleures évaluations que la simulation de vol. De plus, indépendamment de l’environnement de vol, les différents paramètres subjectifs semblaient évoluer de la même manière selon les phases de vol.Les mesures du rythme cardiaque et de sa variabilité suivaient des variations similaires lors des différentes phases de vol, et ce quel que soit aussi l’environnement de vol. Il est néanmoins observé que ces réponses sont atténuées pour le rythme cardiaque et plus élevées pour sa variabilité pour les vols virtuels et en simulateur, en comparaison du vol réel. De manière similaire, les résultats sur les fixations du regard (durée et nombre) montrent des dynamiques cohérentes entre les trois environnements. Les pilotes avaient toutefois des fixations plus longues pendant le vol réel en comparaison des vols virtuels et en simulateur. Ces résultats démontrent que la RV et le simulateur de vol amènent à des changements de comportements conformes aux vols réels. Néanmoins, ces deux environnements n’induiraient pas un engagement et un stress aussi intense que les pilotes rencontrent en vol réel.De plus, ces éléments de réponse, comportementaux, physiologiques, et subjectifs, permettent d’avancer que malgré certaines limites, la simulation en réalité virtuelle est souvent très bien notée, et parfois même mieux notée que l’expérience en simulateur de vol. Elle peut donc amener des bénéfices dans la formation réelle des pilotes en avion léger.En conclusion, cette thèse fournit un cadre méthodologique pour accompagner l’évolution incessante des technologies de RV. Elle montre en particulier l’importance de considérer les différentes dimensions comportementales, physiologiques, et subjectives pour s’assurer d’un transfert d’apprentissage efficace vers le monde réel.

In the aeronautic field, pilot training is conducted on real aircraft as well as flight simulators. Simulation offers the advantage of conducting advanced exercises without endangering human lives or the aircraft, while also being more cost-effective compared to real flights. Moreover, the realism of simulators now allows for enhanced immersion and improved user experience. With the growing popularity of virtual reality (VR) in recent years, it has become a highly promising tool, especially in professional training. VR cockpits have emerged primarily for gaming purposes, and it is now conceivable to envision VR being used for pilot training. However, while these low-cost VR headset technologies appear promising at first glance, it is necessary to evaluate their effectiveness in comparison to traditional pilot training methods. For instance, is the perception of the instrument panel different in VR compared to traditional flight simulators or real aircraft? Similarly, the interaction with the ''aircraft'' system would be different, but how can it be evaluated or measured?To address these questions, this thesis has undertaken research comparing three different flight environments: virtual reality, flight simulators, and real aircraft. These comparisons have been made using both subjective and objective measures. The first part of the thesis focused on creating a virtual environment that closely reproduces the real world in terms of graphics, interactions, and sensations (mobile platform). Three groups of pilots participated in the same flight scenario in all three environments (simulator, virtual, real), with a specific analysis of flight phases such as takeoff, downwind, and landing.Subjective measures such as mental workload, sense of presence, and ease of piloting virtual aircraft initially showed that virtual reality received better evaluations than flight simulation. Additionally, regardless of the flight environment, the various subjective parameters seemed to evolve in the same manner during the different flight phases.Measurements of heart rate and its variability followed similar patterns during different flight phases, regardless of the flight environment. However, it was observed that these responses were attenuated for heart rate and higher for its variability during virtual and simulator flights compared to real flights. Similarly, results regarding eye fixations (duration and number) demonstrated consistent dynamics among the three environments. However, pilots had longer fixations during real flights compared to virtual and simulator flights. These results demonstrate that both VR and flight simulators lead to behavior changes consistent with real flights. Nevertheless, these two environments do not induce the same level of engagement and stress as pilots experience in real flights.Furthermore, these findings, including behavioral, physiological, and subjective aspects, suggest that despite some limitations, virtual reality simulation is often highly evaluated and sometimes even better evaluated than the experience in flight simulators. Thus, it can provide benefits in the actual training of pilots for light aircraft.In conclusion, this thesis provides a methodological framework to support the ongoing development of VR technologies. It particularly emphasizes the importance of considering various behavioral, physiological, and subjective dimensions to ensure effective transfer of learning to the real world.