Reconnaissance en-ligne d'actions 3D par l'analyse des trajectoires du squelette humain

Online 3D actions recognition by analyzing the trajectories of human's skeleton

• Auteur / Autrice : Said Yacine Boulahia
• Direction : Éric Anquetil
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/07/2018
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique) - intuitive user interaction for document - Analysis-Synthesis Approach for Virtual Human Simulation
• Partenaire(s) de recherche : Comue : Université Bretagne Loire (2016-2019)
• Jury : Président / Présidente : Pierre-François Marteau
• Jury : Examinateurs / Examinatrices : Éric Anquetil, Pierre-François Marteau, Catherine Achard, Thierry Paquet, Indira Thouvenin, Richard, James, Guy Kulpa
• Jury : Rapporteur / Rapporteuse : Catherine Achard, Thierry Paquet

Mots clés

Mots clés contrôlés

Interaction humain-machine

Reconnaissance de l'activité humaine (informatique)

Reconnaissance gestuelle

Reconnaissance des formes (informatique)

Mots clés libres

Trajectoires squeletiques

Gestes 3D

Reconnaissance en-ligne

Pattern recognition systems

Human activity recognition

Human-computer interaction

Résumé

L'objectif de cette thèse est de concevoir une approche transparente originale apte à détecter en temps-réel l'occurrence d'une action, dans un flot non segmenté et idéalement le plus tôt possible. Ces travaux s'inscrivent dans une collaboration entre deux équipes de l'IRISA-lnria de Rennes, à savoir lntuidoc et MimeTIC. En profitant de la complémentarité des savoir-faire des deux équipes de recherche, nous proposons de reconsidérer les besoins et les difficultés rencontrées pour modéliser, reconnaître et détecter une action 30 en proposant de nouvelles solutions à la lumière des avancées réalisées en termes de modélisation de gestes manuscrits 20. Les contributions de cette thèse sont regroupées en trois parties principales. Dans la première partie, nous proposons une nouvelle approche pour modéliser et reconnaître une action pré­segmentée. Dans la deuxième partie, nous introduisons une approche permettant de reconnaître une action dans un flot non segmenté. Enfin, dans la troisième partie, nous étendons cette dernière approche pour la caractérisation précoce d'une action avec très peu de d'information. Pour chacune de ces trois problématiques, nous avons identifié explicitement les difficultés à considérer afin d'en effectuer une description complète pour permettre de concevoir des solutions ciblées pour chacune d'elles. Les résultats expérimentaux obtenus sur différents benchmarks d'actions attestent de la validité de notre démarche. En outre, à travers des coopérations ayant eu lieu au cours de la thèse, les approches développées ont été déployées dans trois applications, dont des applications en animation et en reconnaissance de gestes dynamiques de la main.

The objective of this thesis is to design an original transparent approach able to detect in real time the occurrence of an action, in an unsegmented flow and ideally as early as possible. This work is part of a collaboration between two IRISA-lnria teams in Rennes, namely lntuidoc and Mime TIC. By taking advantage of the complementary expertise of the two research teams, we propose to reconsider the needs and difficulties encountered to model, recognize and detect a 30 action by proposing new solutions in the light of the advances made in terms of 20 handwriting modeling. The contributions of this thesis are grouped into three main parts. In the first part, we propose a new approach to model and recognize a pre-segmented action. Indeed, it is first necessary to develop a representation able to characterize as finely as possible a given action to facilitate recognition. In the second part, we introduce an approach to recognize an action in an unsegmented flow. Finally, in the third part, we extend this last approach for the early characterization of an action with very little information. For each of these three issues, we have explicitly identified the difficulties to be considered in order to make a complete description of them so that we can design targeted solutions for each of them. The experimental results obtained on different benchmarks of actions attest to the validity of our approach. In addition, through collaborations that took place during the thesis, the developed approaches were deployed in three applications, including applications in animation and in dynamic hand gestures recognition.