Embarquablité des Modèles d'IA pour la Reconnaissance et la Détection à Base de Caméras Basse Consommation 

Embedded AI Models for Recognition and Detection Based on Low Power Cameras

• Auteur / Autrice : Younes Kebour
• Direction : Smail Niar
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France
• Ecole(s) doctorale(s) : Ecole Doctorale Polytechnique Hauts-de-France
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Automatique, de Mécanique et d'informatique Industrielles et Humaines

Mots clés

Mots clés libres

Intelligence artificielle

Vision par ordinateur

Détection et reconnaissance d'objets

Artificial intelligence

Computer vision

Object detection and recognition

Résumé

La détection de situations exceptionnelles, anormales, rares ou dangereuses est une tâche importante en intelligence artificielle. Elle trouve ses applications en sécurité (privée ou publique), en industrie ou en santé. Les modèles d'IA sont déployés et embarqués sur des robots, des objets autonomes ou des drones (aériens, terrestres, maritimes, domestiques ou industriels), pour des traitements en modes « Edge » et/ou « Cloud ». Ces périphériques contraints (Caméras, robots, objets connectés, ...), ont des ressources considérablement réduites. De plus, les contextes applicatifs critiques sont très exigeants en ce qui concerne les problématiques éthiques et le respect de la vie privée. Nous nous intéressons au travers de ce sujet de thèse au développement de modèles embarqués d'IA, déployables sur périphériques autonomes, exploitant les données issues de caméras basse consommation pour des applications relatives à la sécurité des biens et des personnes. Notamment : - La proposition d'approches pour le traitement de vidéos issues des caméras basse consommation. Ces approches se focaliseront sur l'optimisation d'architectures de transformeurs orientés vision vidéo pour déploiement sur périphériques contraints. - L'étude de l'embarquabilité sur des drones et véhicules autonomes (ressources limitées, économie d'énergie, …) dans le contexte des scénarios applicatifs. Une approche hybride edge computing / apprentissage fédéré sera proposée pour être expérimentée sur une flotte de drones.  - Les scénarios étudiés souffrent d'absence de données d'entrainement et d'apprentissage, le projet permettra de faire la synthèse des données publiques exploitables et de créer de nouveaux ensembles de données réelles, augmentées, synthétiques ou à base d'IA génératives. Ce projet de thèse sera porté par l'équipe Informatique et Technologies de l'Information (JUNIA), le laboratoire LAMIH (UPHF), et le cluster IoT CITC.

Subject: Detecting exceptional, abnormal, rare, or dangerous situations is an important task in artificial intelligence. It finds its applications in security (private or public), industry or health. AI models are deployed and embedded on robots, autonomous objects, or drones (aerial, terrestrial, maritime, domestic or industrial), for processing in 'Edge' and/or 'Cloud' modes. These constrained devices (cameras, robots, connected objects, etc.) have considerably reduced resources. Moreover, critical application contexts are also very constrained in terms of ethical issues and privacy. In this thesis, we are interested in the development of embedded AI models, deployable on autonomous devices, exploiting data from low-power cameras for applications related to the security of goods and people. In particular: - The proposal of approaches for the processing of videos from low-power cameras. These approaches will focus on the optimisation of video vision-oriented transformers for deployment on constrained devices. - The study of embeddability autonomous drones and vehicles (limited resources, energy saving, ...) in the context of application scenarios. A hybrid edge computing / federated learning approach will be proposed to be experimented on a fleet of drones. - The scenarios studied suffer from a lack of training and validation data, the project will summarize available datasets and create new real, augmented, synthetic or AI-generated datasets. This thesis project will be supported by the Computer Science and Information Technology team (JUNIA), the LAMIH laboratory (UPHF), and the CITC IoT cluster.