Traitement du signal en temps continu piloté par les événements dans la technologie 28nm FD-SOI CMOS pour les applications de détection de mots clés à très faible consommation

Event-driven continuous-time signal processing in 28nm FD-SOI CMOS technology for ultra-low power keyword spotting application

• Auteur / Autrice : Soufiane Mourrane
• Direction : Antoine Frappé, Andreia Cathelin
• Type : Thèse de doctorat
• Discipline(s) : Electronique, microélectronique, nanoélectronique et micro-ondes
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : École graduée Sciences de l’ingénierie et des systèmes (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Institut d'Electronique, de Microélectronique et de Nanotechnologie
• Jury : Président / Présidente : Laurent Clavier
• Jury : Examinateurs / Examinatrices : Christoph Studer, Pascal Vivet, Andreas Kaiser, Benoît Larras
• Jury : Rapporteurs / Rapporteuses : Marian Verhelst, Joachim Rodrigues

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Interaction humain-machine

Technologie silicium sur isolant

Reconnaissance automatique de la parole

Convertisseurs analogique-numérique

Réseaux de capteurs (technologie)

Traitement du signal -- Techniques numériques

Mots clés libres

Event-Driven

Capteurs

Conversion analogique numérique

Analyse audio

Pilotage par les événements

Continuous-Time signal processing

Sensors

Event-Driven

Analog digital conversion

Keyword spotting

Résumé

De nos jours, le cloud connecte un réseau de plusieurs capteurs collectant plusieurs informations environnementales clés telles que le son, la température et l'humidité... Ces données collectées sont ensuite traitées via les interfaces de plusieurs capteurs et communiquées à l'humain pour faciliter la compréhension de l'environnement. Ces interfaces analysent en permanence les données mesurées par les capteurs sans considérer la pertinence des informations collectées. Ce traitement aveugle génère une quantité massive de données sans importance et nécessite que les interfaces soient toujours actives. Cela aura principalement un impact sur l'efficacité énergétique et dégradera la durée de vie de la batterie.Le son représente l'un des signaux environnementaux clés permettant la communication entre l'humain et la machine. Les unités de traitement proches du microphone analysent le son détecté pour traduire les informations transmises. Ces informations peuvent prendre plusieurs formes telles que l'identification du locuteur, la détection de mots clés ou uniquement la détection d'activité vocale. La complexité du traitement proche du microphone évoluera avec la complexité des informations extraites. Dans notre cas, nous nous intéressons au repérage de mots clés. Cette tâche permet la détection de mots-clés à voix unique dans différents environnements d'arrière-plan.Dans ce contexte, cette thèse présente une unité de détection de mots clés agissant comme une unité de réveil analysant la pertinence des signaux vocaux d'entrée. Le travail présenté dans cette thèse décrit le développement d'une unité de détection de mots-clés événementielle à très faible consommation. Cette unité est composée d'une unité d'extraction de caractéristiques en temps continu pilotée par événements pour générer des spectrogrammes basés sur le spectre et d'un réseau neuronal convolutif pour générer des résultats de classification. L'architecture du repérage de mots-clés est modélisée sous MATLAB pour valider son fonctionnement. Ensuite, l'unité d'extraction de fonctionnalités est implémentée dans la technologie CMOS FD-SOI 28 nm de STMicroelectronics pour prouver sa mise en œuvre matérielle, extraire les performances et la comparer aux différents systèmes de détection de mots clés de pointe.

Nowadays, the cloud connects a network of several sensors collecting multiple key environmental information such as sound, temperature, and humidity... These collected data are further processed through multiple sensors' interfaces and communicated to the human for easy understanding of the surrounding environment. These interfaces are continuously analyzing the sensors' measured data without considering the relevance of collected information. This blind processing generates a massive amount of unimportant data and requires the interfaces to be always on. This will principally impact the power efficiency and degrade the battery lifetime.The sound represents one of the key environmental signals allowing communication between the human and machine. Near-microphone processing units analyze the detected sound to translate its transmitted information. This information can take multiple forms such as speaker identification, keyword spotting, or only voice activity detection. The near-microphone processing complexity will scale with the complexity of the extracted information. In our case, we are interested in keyword spotting. This task allows the detection of single-spoken keywords in different background environments.In this context, this dissertation presents a keyword spotting unit acting as a wake-up unit analyzing the relevance of input speech signals. The work, presented in this thesis, describes the development of an ultra-low power event-driven keyword spotting unit. This unit is composed of an event-driven continuous-time feature extraction unit to generate spectral-based spectrograms and a convolutional neural network to generate classification results. The architecture of the keyword spotting is modeled using MATLAB to validate its operation. Then, The feature extraction unit is implemented in STMicroelectronics 28nm FD-SOI CMOS technology to prove its hardware implementation, extract the performances, and compare it to the different state-of-the-art keyword spotting systems.