Thèse soutenue

Rendu audio et visuel avec des fondations perceptives

FR  |  
EN
Auteur / Autrice : Nicolas Bonneel
Direction : George Drettakis
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance en 2009
Etablissement(s) : Nice
Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes)

Mots clés

FR

Mots clés contrôlés

Résumé

FR  |  
EN

Le rendu audio-visuel réaliste demeure un challenge technique. En effet, les ordinateurs courants ne supportent pas la complexité croissante des environnements virtuels rencontrés de nos jours, à la fois pour l'audio et le visuel, et la création de ces environnements virtuels requiert de talentueux artistes. Dans la première partie de cette thèse, nous nous concentrerons sur les algorithmes de rendu audio-visuels pour les environnements virtuels complexes, que nous avons améliorés en utilisant les limitations de la perception humaine des indices visuels et sonores combinés. En particulier, nous avons développé un moteur de rendu audiovisuel entièrement perceptif, intégrant une synthèse efficace des bruits d'impact améliorée grâce à notre perception de la simultanéité audiovisuelle; une manière de regrouper les sources sonores basée sur notre tolérance spatiale entre un son et sa représentation visuelle; et un mécanisme de sélection de niveaux de détails de matériaux pour le rendu audio et visuel lorsqu'on varie la qualité des sons d'impact et la qualité visuelle du matériau. Tous nos effets crossmodaux sont supportés par l'état de l'art en neuroscience, et démontrés par nos propres expériences dans des environnements virtuels. Dans une seconde partie, nous utilisons les informations présentes dans des photographies afin de guider le rendu visuel. Nous fournissons deux outils pour assister les "artistes occasionnels" tels que les joueurs ou les ingénieurs. Le premier extrait l'apparence visuelle des cheveux à partir d'une photographie, permettant ainsi la personnalisation d'avatars dans les environnements virtuels. Le second permet une prévisualisation rapide de scènes tridimensionnelles en reproduisant l'apparence d'une photographie donnée, tout en suivant un croquis 3D de l'utilisateur. Nous proposons ainsi un premier pas vers des algorithmes de rendu audiovisuel crossmodal, et avons développé des outils pratiques pour des utilisateurs non experts afin de créer des mondes virtuels basés sur l'apparence de photographies.