Localisation temporelle et suivi de l'action dans les vidéos de sport amateur

Action temporal localization and tracking in amateur sport videos

• Auteur / Autrice : Axel Baldanza
• Direction : Jean-François Aujol, Yann Traonmilin
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 04/10/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Bordeaux
• Jury : Président / Présidente : Nelly Pustelnik
• Jury : Examinateurs / Examinatrices : Nicolas Papadakis
• Jury : Rapporteur / Rapporteuse : Yann Gousseau, Loïc Denis

Mots clés

Mots clés contrôlés

Apprentissage profond

Vidéos

Sports

Mots clés libres

Apprentissage profond

Analyse vidéo

Sport

Localisation temporelle d'action

Suivi vidéo

Apprentissage automatique

Deep learning

Video analysis

Sport

Action temporal localization

Video tracking

Machine learning

Résumé

L'analyse des vidéos sportives est un domaine qui a récemment connu un attrait particulier en vision par ordinateur. Les objectifs sont multiples : améliorer les performances des athlètes, améliorer l'expérience visuelle des spectateurs, analyser les parties, faciliter l'acquisition ...Cependant, la majorité des travaux du domaine concernent le sport professionnel. Le sport amateur, qui concentre beaucoup moins de moyens, est largement moins étudié. Pourtant, ce contexte suscite de nombreuses nouvelles problématiques. Dans cette thèse, nous nous concentrons sur l'analyse de vidéos sportives capturées dans le contexte amateur. Plus précisément, nous traitons dans ce manuscrit deux problématiques précises : la localisation temporelle de l'action pour la découpe automatique des vidéos et le suivi vidéo pour la conception de caméras autonomes. Ainsi, la première partie de la thèse traite de la problématique de la localisation temporelle de l'action, aussi appelée proposition temporelle d'actions. Cette partie présente une méthode qui vise à la conception d'un algorithme de découpage automatique des vidéos en fonction de leur contenu. Ainsi, chaque vidéo traitée ne contient plus que l'action de jeu. Pour cela, nous traitons la problématique de proposition temporelle d'actions en proposant une méthode basée sur l'utilisation d'un réseau de neurones convolutif, qui permet de réduire le nombre de faux négatifs afin de limiter la possibilité d'endommager une séquence qui contient l'action de jeu. Dans les deux parties suivantes, nous traitons de la problématique de suivi vidéo. Il s'agit là de présenter une méthode qui vise à être embarquée dans une solution d'acquisition autonome et qui permet, à partir de l'image capturée par une caméra, de calculer ses déplacements nécessaires afin qu'elle suive l'action de jeu pour pouvoir la capter de manière autonome. Le contexte amateur suscitant des complexités spécifiques, nous présentons dans ces parties une nouvelle approche basée sur l'apprentissage automatique et l'apprentissage profond pour calculer ce suivi.

The analysis of sport videos is a domain that has recently come under particular interest in computer vision. The objectives are multiple: improving the performances of athletes, enhancing the visual experience of spectators, analyzing games, facilitating acquisition, ...However, the majority of work in this area concerns professional sport. Amateur sport, where resources are much more limited, is less studied. Hence, this context gives rise to many new issues. In this thesis, we focus on the analysis of sport videos captured in the amateur context. More precisely, we address two specific problems in this manuscript: temporal localization of action for automatic video trimming, and video tracking for autonomous camera design. Thus, the first part of the thesis deals with the problem of temporal localization of action, also known as action temporal proposals. This part presents a method that aims to design an algorithm for automatically trimming videos according to their content. As a result, each processed video contains only the game action. To achieve this, we address the problem of temporal action proposals by proposing a method based on the use of a convolutional neural network, which reduces the number of false negatives in order to limit the possibility of damaging a sequence that contains the game action. In the next two sections, we address the problem of video tracking. This involves presenting a method that aims to be embedded in an autonomous acquisition solution and which, based on the image captured by a camera, calculates its necessary displacements so that it follows the game action in order to be able to capture it autonomously. As the amateur context gives rise to specific complexities, we present in these sections a new approach based on automatic learning and deep learning to calculate this tracking.