Interprétabilité multimodale des modèles d'apprentissage profond

Multimodal Interpretability of Deep Learning Models

• Auteur / Autrice : Belén Alastruey lasheras
• Direction : Jamal Atif
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 31/10/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)

Mots clés

Mots clés libres

Interprétabilité

Multimodalité

Apprentissage profond

Interpretability

Multimodality

Deep Learning

Résumé

Ces dernières années, l'intelligence artificielle (IA) et l'apprentissage machine (ML) ont révolutionné de nombreux domaines, notamment le traitement du langage naturel (NLP), le traitement de la parole et la vision par ordinateur (CV). La qualité des modèles ne cesse d'augmenter à une vitesse fulgurante, et les progrès ont déjà un impact sur la société dans de nombreux aspects : marchés de l'emploi, éducation, santé, politique, etc. Cependant, la complexité et la sophistication croissantes des modèles d'apprentissage profond font que ces modèles sont souvent considérés comme des boîtes noires, ce qui signifie que leurs processus de prise de décision ne sont pas transparents et que leur fonctionnement interne n'est pas facilement interprétable. Par conséquent, malgré leurs performances exceptionnelles, il est difficile de justifier les décisions prises par ces modèles, ce qui pose un problème pour leur déploiement dans des applications réelles. Dans cette optique, l'IA responsable a récemment gagné en intérêt. Elle met l'accent sur la nécessité d'un développement et d'un déploiement éthiques, transparents et responsables des systèmes d'IA. L'IA responsable cherche à minimiser les impacts négatifs de l'IA, tels que les préjugés, la discrimination et d'autres conséquences involontaires qui peuvent avoir des implications sociales significatives. L'une des principales exigences de l'IA responsable est l'interprétabilité des modèles, qui permet aux chercheurs de comprendre comment un modèle fait ses prédictions, et donc d'analyser la source de problèmes tels que la toxicité ou la génération de biais. Dans cette proposition de doctorat, nous visons à utiliser l'interprétabilité pour analyser différents modèles d'apprentissage profond. La recherche comprendra une revue de la littérature existante sur l'interprétabilité des modèles de Deep Learning, la conception et le développement d'expériences pour évaluer l'efficacité des différentes techniques dans la compréhension des processus de prise de décision des modèles, et l'extension de leur utilisation à différentes modalités (parole, langage, image...). Nous visons également à proposer de nouvelles méthodes d'interprétabilité et à étudier comment l'interprétabilité peut être utilisée pour améliorer les performances et réduire la toxicité. Les résultats de cette recherche contribueront au développement de modèles plus transparents et interprétables, ce qui aura un impact significatif sur les applications du monde réel, où la fiabilité et la clarté des modèles d'IA sont cruciales.

In recent years, Artificial Intelligence (AI) and Machine Learning (ML) have revolutionized many fields, including natural language processing (NLP), speech processing, and computer vision (CV). Models' quality keeps increasing at running speed, and advancements are already impacting society in many different aspects: job markets, education, health, politics, etc. However, the increasing complexity and sophistication of deep learning models, make these models often considered black boxes, meaning that their decision-making processes are not transparent and their internal workings are not easily interpretable. As a result, despite their outstanding performance, it is challenging to justify the decisions made by these models, which poses a challenge in deploying them in real-world applications. In this direction, responsible AI has been gaining interest recently. It emphasizes the need for ethical, transparent, and accountable development and deployment of AI systems. Responsible AI seeks to minimize the negative impacts of AI, such as bias, discrimination, and other unintended consequences that can have significant social implications. One of the key requirements for responsible AI is models' interpretability, as this allows researchers to understand how a model is making its predictions, therefore being able to analyse what is the source of issues such as toxicity or biases generation. In this proposed Ph.D., we aim to use interpretability to analyse different Deep Learning models. The research will include reviewing the existing literature on interpretability of Deep Learning models, designing and developing experiments to evaluate the effectiveness of various techniques in understanding the decision-making processes of models, and extending their usage to different modalities (speech, language, image...). We also aim to propose new interpretability methods and investigate how interpretability can be used to improve performance and reduce toxicity. The findings of this research will contribute to the development of more transparent and interpretable models, which will have a significant impact on real-world applications, where the reliability and clarity of AI models are crucial.