Perception et reproduction des invariants cinématiques et acoustiques au travers de gestes sonifiés

Perception and reproduction of kinematic and acoustic invariants through sonificated gestures

• Auteur / Autrice : Manuel Dias Alves
• Direction : Jean Vion-Dury, Mitsuko Aramaki
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences
• Date : Soutenance le 10/12/2021
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : École Doctorale Sciences de la Vie et de la Santé (Marseille)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Perception, Représentations, Image, Son, Musique (PRISM, UMR 7061) (Marseille)
• Jury : Président / Présidente : Jean-Louis Vercher
• Jury : Examinateurs / Examinatrices : Camille Jeunet, Daniele Schön
• Jury : Rapporteur / Rapporteuse : Brice Bathellier, Jean-Arthur Micoulaud-Franchi

Mots clés

Mots clés contrôlés

Imagerie (psychologie)

Synthèse sonore

Perception

Imitation

Mots clés libres

Imitation

Perception

Mouvement biologique

Synthèse sonore par friction

Imagerie mentale

Imitation

Perception

Biological movement

Sound synthesis by friction

Mental imagery

Résumé

Les mouvements humains ou biologiques sont régis par une cinématique spécifique qui peut être reconnue par des modalités visuelles et auditives. Nous nous sommes intéressés à la perception de ces mouvements au travers des sons pour savoir si le son d’un mouvement respectant une cinématique biologique était mieux perçu que le son d’un mouvement ne la respectant pas et si certaines caractéristiques spécifiques du son influençaient cette perception. Nous avons réalisé une expérience où les participants devaient écouter un son synthétisé évoquant un mouvement de dessin sur un objet et reproduire le geste perçu sur une tablette graphique. Les mouvements de référence suivaient ou non un mouvement biologique et correspondaient au dessin de différentes formes (ellipse/lemniscate/arche/pseudo-aléatoire) sur des objets évoquant certaines textures (bois/métal/liquide). Le modèle de synthèse sonore utilisé était un modèle intuitif basé sur l’approche écologique de la perception et sur le paradigme action-objet. Les profils de vitesse reproduits par les participants ont été comparés aux profils de vitesse utilisés pour la création des sons. Les participants avaient tendance à reproduire fidèlement le rythme de ces mouvements. Les profils de vitesse d'une ellipse qui suivaient un mouvement biologique étaient mieux reproduits que ceux qui étaient déformés. Les participants avaient des gestes plus lents pour les sons qui évoquent le métal. Nos résultats suggèrent une meilleure reproduction des mouvements qui suivent un mouvement biologique et une influence des propriétés de l'objet évoqué sur le mouvement évoqué.

Human or biological movements are governed by specific kinematics that can be recognized by visual and auditory modalities. We were interested in the perception of these movements through sounds to know if the sound of a movement respecting a biological kinematics was better perceived than the sound of a movement not respecting it. We also study if certain specific characteristics of the sound influenced this perception. We conducted an experiment in which participants had to listen to a synthesized sound evoking a drawing movement on an object and reproduce the perceived gesture on a graphic tablet. The reference movements followed or not a biological movement and corresponded to the drawing of different shapes (ellipse/lemniscate/arch/pseudo-random) on objects evoking certain textures (wood/metal/liquid). The sound synthesis model used was an intuitive synthesis model based on the ecological approach to perception and on the action-object paradigm. We compared the velocity profiles reproduced by participants to the velocity profile used for sound creation. The results reveal that participants tend to reproduce the rhythm of these movements faithfully, even when the velocity profile is distorted. Velocity profiles of an ellipse that followed a biological motion were better reproduced than those that were distorted. Participants also modified their gestures depending on the object evoked, with slower gestures for sounds evoking metal than for those evoking wood and liquid. Our results suggest a better reproduction of movements that follow biological motion and an influence of the properties of the evoked object on the evoked movement.