Évaluation de la synchronisation entre mouvement et musique : une approche rentable

Scoring Synchronization Between Movement and Music : A Cost-Effective Approach

• Auteur / Autrice : Hamza Bayd
• Direction : Pierre Slangen, Benoît Bardy
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/12/2024
• Etablissement(s) : IMT Mines Alès
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : EuroMov Digital Health in Motion - EuroMov - Digital Health in Motion / Euromov DHM
• Jury : Président / Présidente : Slim Ouni
• Jury : Examinateurs / Examinatrices : Pierre Slangen, Benoît Bardy, Jenny Benois Pineau, Ghilès Mostafaoui, Baptiste Caramiaux, Patrice Guyot
• Jury : Rapporteurs / Rapporteuses : Jenny Benois Pineau, Ghilès Mostafaoui
• DOI : 10.70675/a6c91832zb1fcz49a9z8e12ze3dd044cb12b

Mots clés

Mots clés libres

Estimation de pose humain

Traitement de signal

Synchronisation sensori-Motrice

Recherche d'information musicale

Vision par ordinateur

Scoring synchronization

Estimated human pose

Signal processing

Sensorimotor synchronization

Music information retrieval

Computer vision

Scoring synchronization

Résumé

Cette thèse explore la synchronisation entre le rythme musical et les mouvements humains, en se concentrant sur la synchronisation sensorimotrice (SMS). L’étude analyse la relation entre les stimuli auditifs rythmiques et les mouvements humains, tels que le tapotement des doigts, les balancements des bras et la marche. Elle examine l’impact de la complexité rythmique, des types de mouvements et des facteurs individuels comme l’expertise musicale et la morphologie physique sur la précision de la synchronisation. En outre, un cadre rentable pour l’analyse de la synchronisation est proposé, basé sur des outils d’extraction de rhythm musical et de capture vidéo et de mouvement utilisant l’IA. La méthodologie intègre des techniques avancées de traitement du signal pour analyser le rythme et les mouvements, soutenues par des systèmes d’acquisition de données en temps réel et d’évaluation de la synchronisation. Les résultats de cette recherche apportent des contributions dans divers domaines, y compris l’éducation musicale, la rééducation et le développement de technologies interactives, en fournissant des aperçus sur l’influence du rythme sur le mouvement humain. De plus, cette étude explore les effets des perturbations externes, telles que les décalages de métronome, sur la performance de synchronisation dans différentes tâches de mouvement, offrant des perspectives précieuses pour des recherches futures à la fois académiques et appliquées.

This thesis investigates the synchronization between musical rhythm and human motion, focusing on sensorimotor synchronization (SMS). The research explores the relationship between rhythmic auditory stimuli and human movements, such as finger tapping, arm swings, and walking. It examines the impact of rhythmic complexity, movement types, and individual factors like musical expertise and physical morphology on synchronization accuracy. Additionally, it presents a cost-effective framework for synchronization analysis using AI-based rhythm extraction, and video motion capture tools. The proposed methodology integrates advanced signal processing techniques to analyze rhythm and movement, supported by real-time data acquisition and synchronization scoring systems. The study’s findings contribute to various fields, including music education, rehabilitation, and interactive technology development, by providing insights into how rhythm influences human movement. Furthermore, this work explores the effects of external perturbations, such as metronome shifts, on synchronization performance in different movement tasks, offering valuable perspectives for future research in both academic and applied contexts.