Machine learning pour l'analyse d'échographies fœtales avec l'utilisation d'information privilégiée

Machine learning for fetal ultrasound image analysis using privileged information

• Auteur / Autrice : Jules Bonnard
• Direction : Kevin Bailly, Ferdinand Dhombres
• Type : Thèse de doctorat
• Discipline(s) : Automatique et robotique
• Date : Soutenance le 07/05/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Isabelle Bloch
• Jury : Examinateurs / Examinatrices : Bastien Rance, David Picard, Bruno Gas
• Jury : Rapporteurs / Rapporteuses : Céline Hudelot, Stefan Duffner

Mots clés

Mots clés contrôlés

Imagerie médicale

Diagnostic prénatal

Apprentissage profond

Mots clés libres

Apprentissage profond

Imagerie médicale

Information privilégiée

Deep Learning

Medical Imaging

Privileged Information

Résumé

L'obstétrique et la gynécologie (OB/GYN) sont des domaines de la médecine qui se spécialisent dans les soins aux femmes pendant la grossesse et l'accouchement, ainsi que dans le diagnostic des maladies du système reproducteur féminin. La numérisation par ultrasons est devenue cruciale en obstétrique et gynécologie afin de mieux traiter les anomalies congénitales et les grossesses ectopiques, par exemple. Cependant, cette tâche est complexe en raison de nombreuses maladies rares et d'un nombre encore plus important de signes. Ma thèse fait partie du projet européen SUOG (Smart Ultrasound for Obstetrics and Gynecology), qui vise à construire un appareil à ultrasons intelligent pour aider l'échographiste en temps réel à identifier la prochaine acquisition échographique pertinente ou à poser le bon diagnostic. Dans ce sens, deux tâches ont été identifiées : la reconnaissance du plan de coupe et la similarité d'image. Pour traiter ces tâches, l'ontologie SUOG a été établie par des experts de 9 centres de médecine fœtale en Europe, avec des milliers de nœuds. Quelques milliers d'images ont été richement annotées avec des étiquettes extraites de l'ontologie susmentionnée, et 294 images ont été segmentées en 10 zones qui ne se chevauchent pas. Des tâches telles que la reconnaissance du plan de coupe ou la similarité d'image pour l'imagerie médicale ont déjà été traitées avec des techniques de vision par ordinateur avec un succès relatif. Nous décidons donc de résoudre ces problèmes en utilisant des approches basées sur l'apprentissage profond. Cependant, la plupart de ces méthodes reposent sur de grands ensembles de données annotées. Nous avons donc l'intention d'intégrer les données supplémentaires (cartes de segmentation et annotations structurées riches) pour améliorer les capacités prédictives du réseau. Tout d'abord, nous introduisons la Prior-Guided Attribution (PGA), une méthode qui exploite les informations spatiales pour guider le réseau vers les zones les plus importantes de l'image d'entrée. Pour ce faire, nous contraignons l'attribution du réseau vers des cartes de chaleur d'informations spatiales soigneusement choisies. Nous démontrons que cette méthode fonctionne bien sur plusieurs tâches OB/GYN et une tâche d'analyse faciale. Deuxièmement, nous intégrons les annotations hiérarchiques structurées pour améliorer la disposition du modèle à coder des relations sémantiques riches. Nous introduisons la Semantic Abstraction Loss (SAL), conçue pour pousser les méta-représentations à encoder les informations des annotations de niveau supérieur. Nous proposons également d'intégrer les informations sémantiques extraites des annotations hiérarchiques sous forme de langage naturel. Pour ce faire, nous utilisons un guidage par le langage avec des légendes riches, et introduisons par ailleurs un Ontology Language Guidance (OLG), visant à guider les méta-représentations susmentionnées pour mieux représenter les distances inter-classes. Les expériences sur un jeu de données de classification d'oiseaux et le jeu de données de reconnaissance du plan de coupe SUOG ont montré que les méthodes proposées présentent donc un intérêt pour les tâches d'imagerie OB/GYN afin d'intégrer des informations sémantiques fortes grâce à des annotations hiérarchiques. Cependant, elles n'offrent une amélioration conséquente que lorsque le modèle de langage est capable de fournir un contexte sémantique dans le domaine d'entrée spécifique.

Obstetrics and Gynecology (OB/GYN) are areas of medicine that specialize in the care of women during pregnancy and childbirth and in the diagnosis of diseases of the female reproductive system. Ultrasound scanning has become crucial in OB/GYN in order to better deal with congenital anomalies and or ectopic pregnancies for instance. However, this task is complex because of numerous rare illnesses and even larger number of findings. My thesis is a part of the SUOG European project (Smart Ultrasound for Obstetrics and Gynecology), that aims to build a smart ultrasound assistant to help the sonographer in real time and identify the next relevant ultrasound acquisition or make the correct diagnosis. In this sense, two tasks have been identified : scan plane recognition and image retrieval. To deal with those tasks, the SUOG ontology was established by experts from 9 fetal medicine centers in Europe, with thousands of nodes. A couple of thousands of images were richly annotated with labels extracted from the aforementioned ontology, and 294 images were segmented into 10 zones that don't overlap. Tasks such as scan plane recognition or image retrieval for medical imaging have already been dealt with using computer vision techniques with relative success. We thus decide to tackle these problems using deep learning based approaches. However, most of these methods rely on large annotated datasets. We therefore intend to integrate the additional data (segmentation maps and rich structured annotations) to improve the predictive capacities of the network. First, we introduce Prior-Guided Attribution (PGA), a method that leverages spatial prior information to guide the network towards the most important areas of the input image. To do so, we constrain the network's attribution towards carefully-chosen prior information heatmaps. We demonstrate that this method performs well on multiple OB/GYN tasks and a face analysis task. Second, we integrate the structured hierarchical annotations to improve the model's capacity to encode rich semantic relations. We introduce the Semantic Abstraction Loss (SAL), built to push meta-embeddings to encode the information from higher-level annotations. We also propose to integrate the semantic information extracted from the higher-level annotations as natural language. To do so, we use language guidance with rich captions, and also introduce Ontology Language Guidance (OLG), aimed at guiding the aforementioned meta-embeddings to better separate the increment given by multiple levels of annotations. The experiments on a bird classification dataset and the SUOG scan plane recognition dataset showed that the proposed methods therefore hold interest for OB/GYN imaging tasks to integrate strong semantic information through hierarchical annotations. However, they only offer consequent improvement when the language model is able to provide semantic context in the specific input domain.