Du repérage sémantique robuste d’actions vers leur détection dans les vidéos

From robust semantic action spotting to detection in videos

• Auteur / Autrice : Guillaume Vaudaux-Ruth
• Direction : Catherine Achard, Adrien Chan-Hon-Tong
• Type : Thèse de doctorat
• Discipline(s) : Génie informatique, automatique et traitement du signal
• Date : Soutenance le 08/12/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Stéphane Doncieux
• Jury : Examinateurs / Examinatrices : Alexandre Boulch
• Jury : Rapporteurs / Rapporteuses : Quoc Cuong Pham, Jean-Philippe Vandeborre

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Apprentissage par renforcement (intelligence artificielle)

Apprentissage profond

Reconnaissance de l'activité humaine (informatique)

Mots clés libres

Apprentissage profond

Traitement vidéo

Repérage d’actions

Détection d’actions

Apprentissage par renforcement

Deep learning

Video processing

Action spotting

Action detection

Reinforcement learning

Résumé

La compréhension de vidéos nécessite une caractérisation à la fois spatiale et temporelle de leur contenu. Ainsi, face au succès des méthodes d’apprentissage statistique par réseaux de neurones pour l’analyse automatique d’images, ces méthodes ont rapidement été étendues au contexte spatio-temporel. La dimension temporelle introduit de nouvelles problématiques algorithmiques, que ce soit pour la caractérisation des vidéos ou pour l’extraction d’informations sémantiques. Dans cette thèse, nous nous intéressons à la détection temporelle d’actions qui vise, non seulement à reconnaître les actions présentes dans une vidéo, mais aussi à en connaître les limites temporelles. Plus précisément, nous étudions l’impact que peut avoir la recherche d’une localisation temporelle fine sur la robustesse de l’extraction sémantique. Ainsi, dans la première partie de ce manuscrit, nous abordons le problème du repérage d’actions, qui vise une extraction sémantique robuste sans contrainte forte de localisation temporelle. Pour cela, nous introduisons un algorithme basé sur une technique d’apprentissage par renforcement, permettant de réduire la sensibilité aux annotations lors de l’apprentissage et ainsi d’améliorer la qualité de l’extraction sémantique. Dans une seconde partie, nous étendons cette méthode de manière à obtenir également des indications sur la localisation temporelle des actions. Nous introduisons aussi la notion de confiance temporelle qui permet de focaliser le processus d’extraction de contenu d’intérêt sur les zones ayant une forte probabilité de contenir une action. Enfin, nous proposons d’étudier les limites de ces approches et proposons des pistes pour arriver à une localisation temporelle précise des actions.

Video understanding requires both spatial and temporal characterization of their content. Thus, given the success of statistical learning methods using neural networks for automatic image analysis, these methods were quickly extended to the spatio-temporal context. The temporal dimension introduces new algorithmic issues, whether for video characterization or for semantic information extraction. In this thesis, we are interested in temporal action detection, which aims not only at recognizing the actions present in a video, but also at knowing their temporal limits. More precisely, we study the impact that the search for a fine temporal localization can have on the robustness of semantic extraction. Thus, in the first part of this manuscript, we address the problem of action spotting, which aims at robust semantic extraction without strong temporal localization constraints. For this purpose, we introduce an algorithm based on a reinforcement learning technique, allowing to reduce the sensitivity to annotations during the learning process and thus to improve the quality of the semantic extraction. In a second part, we extend this method in order to also obtain indications on the temporal location of actions. We also introduce the notion of self-assessment which allows us to focus the process of extracting content of interest on areas with a high probability of containing an action. Finally, we propose to study the limitations of these approaches and suggest ways to achieve a precise temporal localization of actions.