Thèse soutenue

Reconnaissance d’activité de la main d’un point de vue egocentrique : Les principaux composants d'un système de reconnaissance d'activité de la main, exploitable pour l'assistance aux utilisateurs en réalité augmentée

FR  |  
EN
Auteur / Autrice : Mohamed Yasser Boutaleb
Direction : Renaud Séguier
Type : Thèse de doctorat
Discipline(s) : Signal, Image, Vision
Date : Soutenance le 06/12/2022
Etablissement(s) : CentraleSupélec
Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
Jury : Président / Présidente : Nicolas Courty
Examinateurs / Examinatrices : Catherine Achard, Mohamed Daoudi, Monique Thonnat, Jérôme Royan, Catherine Soladié
Rapporteurs / Rapporteuses : Catherine Achard, Mohamed Daoudi

Résumé

FR  |  
EN

Les êtres humains utilisent leurs mains pour diverses tâches dans la vie quotidienne et professionnelle, ce qui fait que la recherche dans ce domaine a récemment suscitée un grand intérêt. De plus, l'analyse et l'interprétation du comportement humain à l'aide de signaux visuels est l'un des domaines les plus actifs et les plus explorés de la vision par ordinateur. Avec l'arrivée des nouvelles technologies de réalité augmentée, les chercheurs s'intéressent de plus en plus à la compréhension de l'activité de la main d'un point de vue de la première personne, en explorant la pertinence de son utilisation pour le guidage et l'assistance humaine.L'objectif principal de cette thèse est de proposer un système de reconnaissance de l'activité de l'utilisateur incluant quatre composants essentiels, qui peut être utilisé pour assister les utilisateurs lors d'activités orientées vers des objectifs spécifiques : industrie 4.0 (par exemple, assemblage assisté, maintenance) et enseignement. Ainsi, le système observe les mains de l'utilisateur et les objets manipulés depuis le point de vue de l'utilisateur afin de reconnaître et comprendre ses activités manuelles réalisées. Le système de réalité augmenté souhaité doit reconnaître de manière robuste les activités habituelles de l'utilisateur. Néanmoins, il doit détecter les activités inhabituelles afin d'informer l'utilisateur et l'empêcher d'effectuer de mauvaises manœuvres, une exigence fondamentale pour l'assistance à l'utilisateur. Cette thèse combine donc des techniques issues des domaines de recherche de la vision par ordinateur et de l'apprentissage automatique afin de proposer des composants de reconnaissance de l'activité de l'utilisateur nécessaires à un outil d'assistance complet.