Contrôle intuitif de la synthèse sonore d’interactions solidiennes : vers les métaphores sonores

Intuitive control of solid-interaction sound synthesis : toward sonic metaphors

• Auteur / Autrice : Simon Conan
• Direction : Richard Kronland-Martinet, Mitsuko Aramaki
• Type : Thèse de doctorat
• Discipline(s) : Acoustique
• Date : Soutenance le 03/12/2014
• Etablissement(s) : Ecole centrale de Marseille
• Ecole(s) doctorale(s) : Ecole doctorale Sciences pour l'Ingénieur : Mécanique, Physique, Micro et Nanoélectronique (Marseille ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : LMA, Laboratoire de Mécanique et d'Acoustique (UMR 7031 ; CNRS, Ecole Centrale de Marseille, Aix-en-Provence) - Laboratoire de Mécanique et d'Acoustique [Marseille]

Mots clés

Mots clés contrôlés

Synthèse sonore

Mots clés libres

Sons d'interaction

Perception des sons

Controle intuitif de la synthèse sonore

Interaction sounds

Sound perception

Intuitive control of sound synthesis

Résumé

Un des enjeux actuels de la synthèse sonore est le contrôle perceptif (i.e. à partir d’évocations) des processus de synthèse. En effet, les modèles de synthèse sonore dépendent généralement d’un grand nombre de paramètres de bas niveau dont la manipulation nécessite une expertise des processus génératifs. Disposer de contrôles perceptifs sur un synthétiseur offre cependant beaucoup d’avantages en permettant de générer les sons à partir d’une description du ressenti et en offrant à des utilisateurs non-experts la possibilité de créer et de contrôler des sons intuitivement. Un tel contrôle n’est pas immédiat et se base sur des hypothèses fortes liées à notre perception, notamment la présence de morphologies acoustiques, dénommées ``invariants'', responsables de l’identification d’un évènement sonore.Cette thèse aborde cette problématique en se focalisant sur les invariants liés à l’action responsable de la génération des sons. Elle s’articule suivant deux parties. La première a pour but d’identifier des invariants responsables de la reconnaissance de certaines interactions continues : le frottement, le grattement et le roulement. Le but est de mettre en œuvre un modèle de synthèse temps-réel contrôlable intuitivement et permettant d’effectuer des transitions perceptives continues entre ces différents types d’interactions (e.g. transformer progressivement un son de frottement en un son de roulement). Ce modèle s'inscrira dans le cadre du paradigme ``action-objet'' qui stipule que chaque son résulte d’une action (e.g. gratter) sur un objet (e.g. une plaque en bois). Ce paradigme s’adapte naturellement à une approche de la synthèse par modèle source-filtre, où l’information sur l’objet est contenue dans le ``filtre'', et l’information sur l’action dans la ``source''. Pour ce faire, diverses approches sont abordées : études de modèles physiques, approches phénoménologiques et tests perceptifs sur des sons enregistrés et synthétisés.La seconde partie de la thèse concerne le concept de ``métaphores sonores'' en élargissant la notion d’objet à des textures sonores variées. La question posée est la suivante : étant donnée une texture sonore quelconque, est-il possible de modifier ses propriétés intrinsèques pour qu’elle évoque une interaction particulière comme un frottement ou un roulement par exemple ? Pour créer ces métaphores, un processus de synthèse croisée est utilisé dans lequel la partie ``source'' est basée sur les morphologies sonores des actions précédemment identifiées et la partie ``filtre'' restitue les propriétés de la texture. L’ensemble de ces travaux ainsi que le paradigme choisi offre dès lors de nouvelles perspectives pour la constitution d’un véritable langage des sons.

Perceptual control (i.e. from evocations) of sound synthesis processes is a current challenge. Indeed, sound synthesis models generally involve a lot of low-level control parameters, whose manipulation requires a certain expertise with respect to the sound generation process. Thus, intuitive control of sound generation is interesting for users, and especially non-experts, because they can create and control sounds from evocations. Such a control is not immediate and is based on strong assumptions linked to our perception, and especially the existence of acoustic morphologies, so-called ``invariants'', responsible for the recognition of specific sound events.This thesis tackles the problem by focusing on invariants linked to specific sound generating actions. If follows two main parts. The first is to identify invariants responsible for the recognition of three categories of continuous interactions: rubbing, scratching and rolling. The aim is to develop a real-time sound synthesizer with intuitive controls that enables users to morph continuously between the different interactions (e.g. progressively transform a rubbing sound into a rolling one). The synthesis model will be developed in the framework of the ``action-object'' paradigm which states that sounds can be described as the result of an action (e.g. scratching) on an object (e.g. a wood plate). This paradigm naturally fits the well-known source-filter approach for sound synthesis, where the perceptually relevant information linked to the object is described in the ``filter'' part, and the action-related information is described in the ``source'' part. To derive our generic synthesis model, several approaches are treated: physical models, phenomenological approaches and listening tests with recorded and synthesized sounds.The second part of the thesis deals with the concept of ``sonic metaphors'' by expanding the object notion to various sound textures. The question raised is the following: given any sound texture, is it possible to modify its intrinsic properties such that it evokes a particular interaction, like rolling or rubbing for instance? To create these sonic metaphors, a cross-synthesis process is used where the ``source'' part is based on the sound morphologies linked to the actions previously identified, and the ``filter'' part renders the sound texture properties. This work, together with the chosen paradigm offers new perspectives to build a sound language.