Analyse de l'attention auditive lors de l'écoute musicale : établir le lien entre machine learning, électrophysiologie et cognition

Auditory attention analysis during music listening : making the link between machine learning, electrophysiology and cognition

• Auteur / Autrice : Joan Belo
• Direction : Maureen Clerc, Daniele Schön
• Type : Thèse de doctorat
• Discipline(s) : Automatique et traitement du signal et des images
• Date : Soutenance le 05/12/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Rémi Flamary
• Jury : Examinateurs / Examinatrices : Maureen Clerc, Daniele Schön, Rémi Flamary, Anne Caclin, Diane Lazard, Michel Hoën
• Jury : Rapporteurs / Rapporteuses : Anne Caclin, Diane Lazard

Mots clés

Mots clés contrôlés

Sciences cognitives

Électroencéphalographie

Analyse de scènes auditives computationnelle

Écoute musicale (pratique)

Perception auditive

Mots clés libres

Détection de l'attention auditive

Fonctions exécutives

Écoute musicale

EEG

Sciences cognitives

Auditory attention detection

Executive functions

Music listening

EEG

Cognitive sciences

Résumé

La capacité à analyser des scènes sonores complexes est mise à mal chez les personnes porteuses d'implants cochléaires (IC), notamment dans les environnements bruyants ou en présence de plusieurs sources. Ceci est principalement dû à la faible résolution spectrale de l'IC et au fait qu'il n'amplifie pas uniquement la source d'intérêt.Une solution possible serait d'utiliser une technique récente, appelée Détection de l'Attention Auditive (AAD), qui permet de détecter, grâce à l'activité neuronale, quelle source, parmi un ensemble de sources, un individu est en train d'écouter. Cette technique s'appuie sur le fait que 1) le cerveau suit l'enveloppe d'amplitude des stimuli auditifs au niveau cortical et que 2) dans les environnements multi-sources, le suivi cortical de la source d'intérêt est amélioré par rapport à celui de la source qui ne l'est pas. Grâce à cette approche, il devient possible d'imaginer une nouvelle génération d'appareils auditifs qui serait capable de détecter la source d'intérêt et de l'amplifier.Cependant, l'AAD souffre d'une importante variabilité interindividuelle de ses performances de reconstruction et de classification. Cette variabilité peut s'expliquer en partie par des facteurs physiologiques mais aussi potentiellement par des facteurs comportementaux et cognitifs tels, les fonctions exécutives.Outre le problème de la variabilité, la plupart des études exploitant l'AAD ont utilisé des stimuli de parole. Ici, nous proposons que la musique naturelle polyphonique pourrait permettre de manipuler la complexité de la scène sonore et d'obtenir des informations sur son traitement neuronal.Nous avons utilisé une approche AAD basée sur la reconstruction de stimulus pour explorer s'il était possible de reconstruire et classifier des extraits musicaux naturels polyphoniques monodiques et dichotiques à partir d'enregistrements EEG. Nous avons aussi mesuré l'attention soutenue, l'inhibition attentionnelle et la mémoire de travail par le biais de tests cognitifs. De plus, nous avons collecté des informations relatives à la familiarité des stimuli ainsi que sur le temps d'errance mentale des participants durant la tâche. Ensuite, nous avons utilisé des modèles de régression linéaire pour voir si les fonctions cognitives, la familiarité et l'errance mentale expliquent les performances du système AAD. De surcroît, nous avons cherché à savoir si l'expertise musicale affecte les fonctions exécutives et le suivi neuronal des stimuli musicaux en comparant les musiciens et les non musiciens.Nos résultats ont montré que 1) il était possible de reconstruire et de classifier des stimuli musicaux polyphoniques monodiques et dichotiques, sur la base d'enregistrements EEG, 2) l'inhibition attentionnelle explique environ 10 % des performances dans la condition dichotique, 3) l'expertise musicale ainsi que la mémoire de travail et l'attention soutenue ne sont pas des prédicteurs significatifs de la performance dans les deux conditions, 4) l'expertise musicale n'influence pas les fonctions cognitives et 5) Il existe un effet de la familiarité sur la performance dans la condition monodique et que celui-ci est modulé par le niveau d'errance mentale.Dans l'ensemble, ces résultats ont montré la faisabilité de l'utilisation de l'approche AAD basée sur la reconstruction de stimulus avec des stimuli musicaux polyphoniques et indiquent que des mécanismes cognitifs spécifiques sont à l'œuvre pendant l'écoute musicale dichotique chez des auditeurs normo-entendants. Ils suggèrent également que l'entraînement de fonctions cognitives particulières pourrait être utile pour améliorer les systèmes AAD et, par extension, les appareils auditifs de prochaine génération.

The ability to analyze complex auditory scenes is challenged in cochlear implant (CI) users, especially in noisy environments or in presence of simultaneous auditory sources. This is mainly due to the poor spectral resolution of the CI and to the fact it does not selectively amplify the source of interest.One possible solution is to capitalize on a recent technique, called Auditory Attention Detection (AAD), that allows to detect, on the basis of neural signals, which auditory source within a set of multiple concurrent sources an individual is attending to. This approach is supported by recent findings showing that 1) the brain tracks the amplitude envelope of auditory stimuli at the cortical level and 2) in multi-sources environments, the cortical tracking of the attended source is enhanced compared to the unattended one. With this approach it becomes possible to imagine a new generation of hearing aids that would be able to detect the source of interest and selectively amplify it.However, AAD suffers from a high inter-individual variability in the reconstruction and classification performance. This variability can be partly explained by physiological factors but it could also be explained by behavioral and cognitive factors such as executive functions.Beside the problem of variability, most of the studies exploiting AAD, used only speech stimuli. Here we propose that natural polyphonic music can provide a way to manipulate the complexity of the auditory scene and to gain insights about its neural processing.We used a reconstruction stimulus-based AAD approach to explore whether it was possible to reconstruct and classify both monodic and dichotic natural polyphonic musical excerpts based on EEG recordings. We also measured sustained attention, attentional inhibition and working memory via cognitive tests. In addition, we gathered information on stimulus familiarity as well as participants' mind wandering during the task. Then, we used linear regression models to see whether cognitive functions, familiarity and mind wandering explain the performance of neural data. Additionally, we explored whether musical expertise affects executive functions as well as neural tracking of musical stimuli by comparing non-musical and musical experts.Our results show that 1) it was possible to reconstruct and classify ecological polyphonic monodic and, although with lower accuracy, dichotic music stimuli based on single-trial EEG recordings, 2) attentional inhibition explained around 10% of the performance in the dichotic condition, 3) musical expertise as well working memory and sustained attention were not significant predictors of performance in both conditions, 4) musical expertise does not influence cognitive functions and 5) the effect of familiarity on performance was significant in the monodic condition and was modulated by the level of mind wandering of the participants.Overall, these results showed the feasibility of using the reconstruction stimulus-based AAD approach with ecological polyphonic musical stimuli and point to specific cognitive mechanisms being at work during dichotic musical listening in normal hearing listeners. They further suggest that training specific cognitive functions could be useful to improve AAD systems and by extension, a next-generation of hearing aids.