Analyse vidéo pour la détection, le suivi et la reconnaissance du comportement pour l'animal en situation d'élevage

Video analysis for detection, tracking and recognition of animal behavior in breeding situations

• Auteur / Autrice : Djahlin Nikue Amassah
• Direction : Bruno Emile, Xavier Desquesnes
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/03/2024
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Pluridisciplinaire de recherche en ingénierie des systèmes, mécanique et énergétique (Orléans ; 2008-....)
• Jury : Président / Présidente : Thierry Chateau
• Jury : Examinateurs / Examinatrices : Sylvie Treuillet
• Jury : Rapporteurs / Rapporteuses : Alice Caplier, Catherine Achard

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement d'images -- Techniques numériques

Comportement animal

Élevage

Caprinés

Reconnaissance d'objets (informatique)

Apprentissage profond

Reconnaissance gestuelle

Mots clés libres

Suivi d'objets

YOLOX

ANIMOV

Object tracking

YOLOX

ANIMOV

Résumé

La reconnaissance d'activités, également connue sous le nom de reconnaissance d'actions, est un domaine de recherche en vision par ordinateur et en apprentissage automatique, avec diverses applications. L'application la plus courante est l'identification et la compréhension des activités humaines à partir de données visuelles, telles que des images ou des vidéos. Les techniques de reconnaissance d'actions peuvent être appliquées également à la surveillance du bétail, où elles contribuent à améliorer le bien-être des animaux, la productivité et les pratiques de gestion agricole. Ainsi, les travaux réalisés dans ce document se situent dans le cadre de l'analyse vidéo pour la détection, le suivi et la reconnaissance du comportement animal en situation d'élevage. Ces travaux sont réalisés au sein de ANIMOV « Animal Movements Observation from Videos », un projet de recherche pluridisciplinaire mis en œuvre sur la période 2019-2023 par un consortium régional en Centre-Val-de-Loire. Ce projet porte principalement sur deux espèces animales : les éléphants et les chèvres. Dans ce mémoire, nos recherches portent sur l'analyse des activités chez les chèvres. Afin de construire notre système d'analyse du comportement, nous avons mis en place un système de détection et de suivi d'objets. Pour la détection nous avons testé et comparé deux méthodes populaires de la littérature : YOLOv4 et Faster R-CNN, sur des bases de données créées par nos soins. Parmi les deux méthodes de détection, YOLOv4 présente de meilleures performances en terme de précision moyenne et est 2.5 fois plus rapide que le Faster R-CNN. Pour le suivi des chèvres, nous avons testé et comparé également deux méthodes populaires de la littérature : SORT et Deep SORT. L'évaluation des deux méthodes de suivi sur les vidéos de test montre une légère amélioration de Deep SORT par rapport à SORT en terme d'association des données. Cependant, SORT reste plus rapide et plus adapté à un système temps réel. Le système de détection et de suivi mis en place, nous permet de réaliser, en temps réel, l'analyse de l'activité générale du troupeau, avec des indicateurs assez proches de la réalité. La principale faiblesse dans notre système est la perte de détection sur certaines images de la vidéo, qui entraîne des échecs dans le suivi. Ainsi, pour améliorer les performances, nous avons proposé une approche qui fusionne les informations des détections précédentes et de l'image courante, dans une nouvelle architecture de détection (YOLOX), afin de mieux détecter tous les objets sans perdre les anciens.

Activity recognition, also known as action recognition, is a field of research in computer vision and machine learning, with a variety of applications. One of the most common applications is the identification and understanding of human activities from visual data, such as images or videos. Action recognition techniques can also be applied to livestock monitoring, where they can help improve animal welfare, productivity, and farm management practices. Thus, the work conducted in this document falls within the context of video analysis for the detection, monitoring, and recognition of animal behavior in livestock situations. This work is being achieved within ANIMOV "Animal Movements Observation from Videos", a multidisciplinary research project being implemented over the period 2019-2023 by a regional consortium in Centre-Val-de-Loire. This project concerns two main animal species: elephants and goats. In this thesis, our research focuses on activity analysis for goats. We have built an object detection and tracking system to implement our behavior analysis system. For detection, we tested and compared two popular methods from the literature: YOLOv4 and Faster R-CNN, on self-created datasets. Of the two detection methods, YOLOv4 performs better in average accuracy and is 2.5 times faster than Faster R-CNN. For goat tracking, we also tested and compared two popular methods from the literature: SORT and Deep SORT. Evaluation of both tracking methods on test videos shows a slight improvement of Deep SORT over SORT regarding data association. However, SORT is faster and better suited to a real-time system. The detection and tracking system we have set up enables us to analyze the general activity of the livestock in real-time, with indicators that are fairly close to reality. The main limitation of our system is the loss of detection on certain video images, which leads to tracking failures. So, to improve the performance, we proposed an approach that merges information from previous detections and the current image, in a new detection architecture (YOLOX), to better detect all objects without losing the old ones.