Ecoute automatique pour la réalité étendue

Machine listening for extended reality

• Auteur / Autrice : Haocheng Liu
• Direction : Gaël Richard
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/11/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : S2A - Statistique et Apprentissage

Mots clés

Mots clés libres

L'écoute automatique

Réalité étendue

Apprentissage profond

Apprentissage fédéré

Machine Listening

Extended Reality

Deep learning

Federated Learning

Résumé

L'écoute automatique, un domaine en plein essor au sein de l'intelligence artificielle, englobe une série d'applications, notamment la surveillance des machines dans l'industrie 4.0, l'écoute augmentée et l'analyse des scènes auditives, qui jouent un rôle central dans l'avancement des technologies de pointe. S'étendant aux domaines de la réalité étendue (RE), qui englobe la réalité augmentée, mixte et virtuelle, ce domaine améliore encore les expériences immersives en créant des environnements sonores riches et réalistes. Ces technologies sont essentielles pour développer des sons spatiaux qui réagissent aux mouvements et aux interactions de l'utilisateur dans les espaces virtuels, rendant ainsi les expériences de réalité étendue plus attrayantes et plus réalistes. De telles applications nécessitent souvent des techniques sophistiquées d'apprentissage automatique et d'apprentissage profond qui peuvent être soit entièrement 'blackbox', soit pilotées par des connaissances interprétables telles que l'acoustique ou le traitement du signal. Cette recherche doctorale vise à explorer de nouvelles approches pour améliorer la robustesse de l'écoute automatique, spécifiquement conçue pour les environnements de réalité étendue, afin d'améliorer la compréhension et l'engagement du système avec son environnement, élevant ainsi l'expérience immersive. En outre, l'accent sera mis sur les systèmes personnalisés de protection de la vie privée dans lesquels l'apprentissage automatique décentralisé sera mis en œuvre.

Machine Listening, a burgeoning field within artificial intelligence, encompasses a range of applications including machine monitoring in Industry 4.0, augmented listening, and auditory scene analysis, which are pivotal in advancing cutting-edge technologies. Expanding into the realms of Extended Reality (ER) that encompasses Augmented, Mixed and Virtual Reality, this field further enhances immersive experiences by creating rich, realistic sound environments. These technologies are crucial for developing spatial audio that reacts to user movements and interactions in virtual spaces, making ER experiences more engaging and lifelike. These applications often necessitate sophisticated machine and deep learning techniques that can be either fully black box or driven by interpretable knowledge such as acoustics or signal processing. This PhD research endeavours to explore novel approaches aimed at enhancing the robustness of machine listening, specifically designed for ER environments, to enhance the system's comprehension and engagement with its surroundings, thereby elevating the immersive experience. Additionally, emphasis will be placed on personalized & privacy systems where decentralized machine learning will take place.