Compréhension de l'activité humaine dans des vidéos

Human activity recognition in videos

• Auteur / Autrice : Mohammed Guermal
• Direction : François Brémond
• Type : Thèse de doctorat
• Discipline(s) : Automatique traitement du signal et des images
• Date : Soutenance le 28/05/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Ezio Malis
• Jury : Examinateurs / Examinatrices : François Brémond, Ezio Malis, Bertrand Luvison, Thierry Chateau
• Jury : Rapporteurs / Rapporteuses : Bertrand Luvison, Thierry Chateau

Mots clés

Mots clés contrôlés

Intelligence artificielle

Robotique

Apprentissage profond

Reconnaissance de l'activité humaine (informatique)

Mots clés libres

Reconnaissance d’activités humaines

Apprentissage profond

Robotique

Intelligence artificielle

Action understanding

Deep learning

Robot vision

CNNs

Transformers

Résumé

La compréhension des actions dans les vidéos est un aspect crucial de la vision par ordinateur avec des implications profondes dans divers domaines. Alors que notre dépendance aux données visuelles continue de croître, la capacité à com-prendre et interpréter les actions humaines dans les vidéos est essentielle pour faire progresser les technologies dans la surveillance, les soins de santé, les systèmes auto-nomes et l'interaction homme-machine. La vision par ordinateur a connu d'énormes progrès avec l'avènement de méthodes d'apprentissage profond telles que les ré-seaux neuronaux convolutionnels (CNN) et plus récemment les transformers. Ces méthodes ont permis à la communauté de la vision par ordinateur d'évoluer dans de nombreux domaines tels que la segmentation d'image, la détection d'objets, la compréhension de scènes, etc. Cependant, en ce qui concerne le traitement vidéo, il reste encore limité par rapport aux images statiques. La reconnaissance des activités humaines repose sur une analyse vidéo approfondie. Dans cette analyse, il est essentiel de prendre en considération différents aspects de la vidéo, tels que les informations spatiales (comme la couleur RGB, la pose, la détection d'objets, etc.) ainsi que les informations temporelles. Il est ensuite nécessaire de combiner ces deux types d'entrées pour prédire avec précision l'activité humaine qui se déroule dans la vidéo. Dans cette thèse, nous nous concentrons sur la compréhension des actions que nous divisons en deux parties principales : la reconnaissance des actions et la détection des actions. Principalement, les algorithmes de compréhension des actions font face aux défis suivants : 1) l'analyse temporelle et spatiale, 2) les actions détaillées,et 3) la modélisation temporelle.Cette thèse, introduis les différents défis liés à la reconnaissance des activités humaines. Nous présenterons également les méthodes et solutions existantes, en met-tant en évidence leurs limites. Ensuite, nous exposerons notre propre travail et nos contributions dans ce domaine spécifique. En conclusion, nous discuterons des perspectives futures et des extensions envisageables pour nos solutions.

Understanding actions in videos is a pivotal aspect of computer vision with profound implications across various domains. As our reliance on visual data continues to surge, the ability to comprehend and interpret human actions in videos is necessary for advancing technologies in surveillance, healthcare, autonomous systems,and human-computer interaction. Moreover, There is an unprecedented economical and societal demand for robots that can assist humans in their industrial workand daily life activities. Hence, understanding human behaviour and its activities would be very helpful and would facilitate development of such robots. The accurate interpretation of actions in videos serves as a cornerstone for the developmentof intelligent systems that can navigate and respond effectively to the complexities of the real world. In this context, advancements in action understanding not only push the boundaries of computer vision but also play a crucial role in shaping thelandscape of cutting-edge applications that impact our daily lives. Computer Vision has known huge progress with the rise of deep learning methods such as convolutional neural networks (CNNs) and more lately transformers. Such methods allowed computer vision community to evolve in many domains such image segmentation, object detection, scene understanding and so on. However, when it comes to video processing it is still limited compared to static images. In this thesis, we focus on action understanding and we divide it into two main parts: action recognition and action detection. Mainly, action understanding algorithms faces following challenges : 1) temporal and spacial analysis, 2) fine grained actions, and 3) temporal modeling. In this thesis we introduce with more details the different aspects and key challenges of action understanding. After that we are going to introduce our contributions and solution on how to deal with these challenges. We are going to focus mainly on recognising fine-grained action using spatio-temporal objects semantics and their dependencies in space and time, we are going also to tackle action detection in real-time and anticipation by introducing a new joint model of action anticipation and online action detection for a real life scenarios applications of action detection. We are going also to introduce a new method of efficiently training networks, specifically transformers and also a more efficient use of multi-modalities (RGB, Optical-Flow, Audio...). Finally, we will discuss some ongoing and future works. All our contributions where extensively evaluated on challenging bench-marks and outperformed previous works.