Machine Learning et Interfaces 2D/3D pour automatiser, interagir avec et visualiser la configuration d'un Microscope Électronique en Transmission.

Machine Learning and 2D/3D Interfaces to automate, interact with and visualize the configuration of a Transmission Electron Microscope.

• Auteur / Autrice : Loïc Grossetête
• Direction : Martin Hytch, Sylvain Pauchet
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 15/10/2021
• Etablissement(s) : Toulouse, École nationale de l’aviation civile
• Ecole(s) doctorale(s) : École doctorale Systèmes
• Partenaire(s) de recherche : Laboratoire : ENAC-LAB - Laboratoire de Recherche ENAC
• Partenaire(s) de recherche : Equipe de recherche : LII - Laboratoire d'Informatique Interactive

Mots clés

Mots clés libres

Machine Learning

Réalité Augmentée

Intéractions Immersives

Réalité Mixte

Réalité Virtuelle

Simulation de Trajectoires

Trajectory Simulation

Mixed Reality

Immersive Interactions

Machine Learning

Augmented Reality

Virtual Reality

Résumé

L'objectif de cette thèse est de répondre au besoin d'automatisation et de compréhension du microscope électronique par son opérateur. En effet, un microscope électronique à transmission est un instrument complexe à utiliser, dont il est également difficile d'avoir une représentation mentale cohérente, en particulier pour un microscopiste novice. Pour répondre à ce problème d'accessibilité du microscope électronique, cette thèse se concentre sur l'automatisation de l'alignement des microscopes en utilisant de nouvelles techniques d'apprentissage automatique telles que CNN ou RL. D'autre part, nous nous intéressons à l'utilisation d'interfaces de visualisation interactives et immersives pour permettre à l'opérateur de visualiser l'impact des modifications de la configuration du TEM sur le faisceau d'électrons qui s'y trouve, et ainsi faciliter la construction d'un modèle mental du microscope. La construction d'un modèle mental de l'outil cohérent avec la réalité et plus direct que les changements visibles sur l'image. Pour ce faire, nous avons développé une simulation modulaire du MET et deux interfaces de visualisation, l'une 2D et l'autre 3D pour (Meta Quest, Android et Microscoft Hololens)

The aim of this thesis is to respond to the need for automation and understanding of the electron microscope by its operator. Indeed, a transmission electron microscope is a complex instrument to operate, which is also difficult to get a coherent mental representation of, especially for a novice microscopist. To address this issue of electron microscope accessibility, this thesis focuses on automating microscope alignment using new machine learning techniques such as CNN or RL. On the other hand, we are interested in the use of interactive and immersive visualization interfaces to enable the operator to visualize how modifications to the TEM configuration impact the electron beam within it, and thus facilitate the construction of a mental model of the microscope. the construction of a mental model of the tool that is consistent with reality and more direct than the changes visible on the image. To this end, we have developed a modular TEM simulation and two visualization interfaces, one 2D and one 3D for (Meta Quest, Android and Microscoft Hololens).