Développement d'un framework pour Ia qualification / certification de systèmes basés sur I'lA

Framework for qualification/certification of AI-based systems

• Auteur / Autrice : Guillaume Ollier
• Direction : Chokri Mraidha
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 30/11/2020
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Partenaire(s) de recherche : référent : Ecole Normale Supérieure Paris-Saclay

Mots clés

Mots clés libres

Sureté de Fonctionnement

Ia

Apprentissage Machine

Safety

Ai

Machine Learning

Résumé

Le sujet de thèse ouvert est lié à la qualification / certification de systèmes autonomes qui utilisaient des composants d'Intelligence Artificielle(IA) au moment de l'exploitation. Actuellement, pour les systèmes non autonomes, la sécurité est évaluée avant le déploiement du système et les résultats de l'évaluation sont compilés dans un dossier de sécurité (assurance case) qui reste valable toute la vie du système. Pour les systèmes basés sur l'IA, de tels régimes réglementaires ne sont pas adéquats car le système peut afficher un nouveau comportement face à des situations inconnues pendant le fonctionnement. L'objectif de la thèse est de développer des stratégies de définition incrémentielle (dynamiques) de dossier de sécurité et une approche de certification continue, dans le but de démontrer qu'un système utilisant des composants d'IA peut encore être en sécurité quand il adapte son comportement en cours de fonctionnement. Les résultats de la thèse seront évalués sur un certain nombre d'applications et de scénarios basés sur l'IA et pertinents pour l'industrie.

The open PhD position is related to qualification/certification of autonomous systems that use Artificial Intelligent (AI) components at operation time. To certify critical systems, one has to define an assurance case, i.e. a “reasoned and compelling argument, supported by a body of evidence, that a system, service or organization will operate as intended for a defined application in a defined environment.”. The assurance case must have a particular focus on a system property (safety, security, etc.) and the evidence is compiled from resulting artefacts of the [safety or security or etc.] activities performed during development of the system. The assurance case is also built for a specific defined context. Hence, whenever the environmental context changes, these changes may have potentially global effects on the system behavior and hence, on its developed evidence, which can undermine the validity of the assurance case.