Caractérisation de l'inclusivité des systèmes de vision par ordinateur basés sur l'apprentissage profond pour les pays du Sud

Characterising inclusivity of deep learning-based computer vision systems for developing countries

• Auteur / Autrice : Théophile Bayet
• Direction : Christophe Denis, Alassane Bah, Jean-Daniel Zucker
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 19/06/2024
• Etablissement(s) : Sorbonne université en cotutelle avec Université Cheikh Anta Diop (Dakar, Sénégal ; 1957-....)
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Nicolas Maudet
• Jury : Examinateurs / Examinatrices : Mandicou Ba
• Jury : Rapporteurs / Rapporteuses : Céline Hudelot, Dro Désiré Sidibé

Mots clés

Mots clés contrôlés

Technologie -- Pays en voie de développement

Apprentissage profond

Vision par ordinateur

Mots clés libres

Apprentissage machine

Biais

Vision par ordinateur

Contexte Sud

Glissement géographique

Glissement de contexte

Machine learning

Bias

Computer vision

Southern countries

Geographic shift

Context shift

Résumé

Les changements mondiaux modernes, tels que le changement climatique et la sixième extinction de masse, perturbent profondément nos sociétés et nos écosystèmes. Les nouvelles technologies, notamment l'apprentissage machine, sont à la fois facteurs aggravants et moyens potentiels d'atténuation des défis que posent ces changements. En 2015, les Nations Unies ont établi les Objectifs de Développement Durable pour évaluer l'impact écologique et les risques pour les populations, révélant que les pays du Sud sont les plus éloignés des objectifs de ce cadre. Les pays avec des infrastructures numériques limitées déploient moins les modèles d'apprentissage machine, rencontrant un problème de glissement de contexte dû à l'incohérence entre les données d'entraînement et de déploiement. En vision par ordinateur, ce glissement est exacerbé par l'absence de données des pays du Sud dans les ensembles d'entraînement, conduisant à une performance réduite des modèles dans ces contextes. Dans cette thèse, nous faisons le pont entre l'intelligence artificielle au service de la science soutenable et l'inclusivité des systèmes de vision par ordinateur. Nous montrons comment les approches qui ont précédé à la notre pour démontrer le manque d'inclusivité des systèmes de vision actuels ont fait l'impasse sur des points importants de la problématique, comme la formalisation du biais géographique et des métriques qui témoignent de son impact. Cela nous amène à proposer un protocole pour la formalisation des biais, qui se base sur l'identification d'une source, d'un type et d'un impact pour la caractérisation de ce dernier. Ce protocole est implémenté pour le biais géographique, en premier lieu sur des données synthétiques. Les bases de données synthétiques connues ne possédant pas de biais géographique, nous nous inspirons des modifications de la base de données MNIST pour créer des bases de données synthétiques comportant des biais géographiques. Nous utilisons ces derniers pour tester l'implémentation de notre protocole et démontrer son utilité. Nous expérimentons ensuite le protocole sur des données réelles pour la caractérisation du biais occidental dans les systèmes de vision, et constatons que les résultats obtenus sont différents de ceux attendus, allant à l'encontre des observations dans les précédents travaux académiques. Nous procédons à une analyse visuelle à différents niveaux de granularité de ces résultats pour tenter de les comprendre et proposer des théories les expliquant. Au final, nous mettons en avant la présence de biais concomitants, des éléments composant le biais géographique mais ayant des impacts différenciés avec l'entité principale. Ces biais concomitants empêchent la caractérisation du biais géographique en influençant les prédictions des modèles. Nous montrons donc comment la problématique de la caractérisation du biais géographique se révèle plus complexe qu'elle ne peut le paraître au premier abord, quels sont les écueils actuels et quelles pistes sont privilégiées pour remédier aux problèmes rencontrés. Globalement, nous proposons à la communauté scientifique des outils pour mieux appréhender les problématiques de déploiement de modèles dans les pays du Sud, afin de mieux comprendre les enjeux de ces déploiements pour des applications en science soutenable.

Modern global changes, such as climate change and the sixth mass extinction, are profoundly disrupting our societies and ecosystems. New technologies, including machine learning, are both aggravating factors and potential means of mitigating the challenges posed by these changes. In 2015, the United Nations established the Sustainable Development Goals to assess the ecological impact and the risks for populations, revealing that the countries of the South are the furthest from achieving the objectives of this framework. Countries with limited digital infrastructures deploy less machine learning models, encountering a problem of context shift due to inconsistency between training and deployment data. In computer vision, this shift is exacerbated by the absence of data from southern countries in the training sets, leading to reduced model performance.In this thesis, we bridge the gap between artificial intelligence for sustainable science and the inclusivity of computer vision systems. We show how previous approaches to demonstrating the lack of inclusivity of current vision systems have overlooked important aspects of the problem, such as the formalisation of geographical bias and the metrics that reflect its impact. This has led us to propose a protocol for formalising bias, based on the identification of a source, a type and an impact in order to characterise it. This protocol has been implemented for geographical bias, initially on synthetic data. As known synthetic databases do not have a geographical bias, we create synthetic datasets with geographical biases, inspired by previous synthetic modifications of the MNIST database. We use these to test the implementation of our protocol and demonstrate its usefulness. We then experiment with the protocol on real data for characterising western bias in vision systems, and find that the results obtained are different from those expected, going against observations in previous academic work. We carry out a visual analysis of these results at different levels of granularity in an attempt to understand them and to propose possible themes for future research. In the end, we highlight the presence of concomitant biases, elements that make up the geographical bias but have different impacts that the main entity. These concomitant biases prevent the characterisation of the geographical bias by influencing the predictions of the models.We therefore show how the problem of characterising geographical bias is more complex than it might at first appear, what the current pitfalls are and what avenues are being pursued to remedy the problems encountered. Overall, we offer the scientific community tools to better understand the problems of deploying models in developing countries, in order to better understand the challenges of these deployments for applications in sustainable science.