Générations Artistiques et Éditions Conditionnelles par Intelligence Artificielle

Artistic Conditional Generation and Editing with AI

• Auteur / Autrice : Mathis Koroglu
• Direction : Matthieu Cord
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 17/03/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique

Mots clés

Mots clés libres

Modèles génératifs

Éditions vidéo

IA créatif

Apprentissage profond

Édition d'image

Generative models

Video editing

Creative AI

Deep learning

Image editing

Résumé

La synthèse de médias désigne l'utilisation de l'intelligence artificielle (IA) pour générer et manipuler des données, principalement afin d'automatiser la création de contenus (images, vidéos, audio). Les progrès technologiques dans ce domaine encouragent l'adoption des algorithmes d'IA dans l'industrie créative, révolutionnant ainsi les processus de création. Récemment, les algorithmes de conversion de texte en image ont connu des avancées spectaculaires et ont été rendus accessibles au grand public. Il est désormais possible de générer en quelques secondes une image correspondant précisément à une description textuelle, avec des implications considérables pour l'industrie créative. La vidéo constitue le support le plus polyvalent et efficace pour transmettre des informations. Par conséquent, la possibilité de créer une vidéo à partir d'un texte représenterait une étape supplémentaire dans la révolution créative portée par l'IA. Dans le cadre de cette thèse, nous travaillerons à développer des algorithmes de conversion de texte en vidéo destinés à des applications créatives. Notre consortium est composé d'Obvious, un trio d'artistes de renommée mondiale utilisant l'intelligence artificielle pour créer des œuvres artistiques fondées sur une solide recherche, ainsi que du MLIA, une équipe de l'Institut des Systèmes Intelligents et de Robotique (ISIR), acteur majeur en France dans le développement de l'apprentissage profond appliqué à la vision par ordinateur et au traitement du langage naturel. Cette combinaison unique d'un collectif artistique et d'un laboratoire académique est particulièrement adaptée à la recherche en vue d'applications créatives. Notre travail se concentrera sur quatre axes importants. Premièrement, nous visons à créer ou améliorer des bases de données qualitatives texte-vidéo. Actuellement, de telles bases n'existent pas, ce qui empêche la génération de vidéos haute définition cohérentes. Ensuite, nous aborderons la problématique complexe de la génération de vidéos impliquant des mouvements sophistiqués, tout en conservant une cohérence spatiale et temporelle à partir de textes. Cela constitue une hiérarchie de défis de difficulté croissante, allant de la création de vidéos simples (comme une voiture roulant en ligne droite) à celle de tutoriels vidéo présentant, par exemple, une recette de cuisine complexe. Pour cela, nous tirerons parti des progrès récents réalisés dans le domaine de la conversion texte-image, notamment grâce à l'émergence des modèles de diffusion et des architectures de type transformeur pour le traitement et la génération d'images et de vidéos. Nous travaillerons également à la mise à disposition de nos modèles à travers des interfaces spécifiquement conçues pour un usage créatif, en tenant soigneusement compte des besoins des artistes. Obvious s'appuiera sur son réseau d'artistes et d'acteurs de l'industrie créative pour tester ces interfaces et les fonctionnalités associées sur de réels projets. Enfin, pour que les algorithmes de conversion texte-vidéo soient réellement utiles à l'industrie créative, nous mettrons l'accent sur les besoins concrets des artistes et des créatifs. Nous envisageons notamment le développement de fonctionnalités telles que l'édition sans masque (modification directe d'un objet ou d'un sujet dans la vidéo générée par simple entrée textuelle), la personnalisation (intégration de soi-même ou d'un objet personnel aux concepts connus du modèle), ou encore la gestion de scénarios (division automatique d'un scénario complet en scènes distinctes).

Media synthesis refers to the use of artificial intelligence (AI) to generate and manipulate data, primarily to automate the creation of content such as images, videos, and audio. Technological advances in this field encourage the adoption of AI algorithms in the creative industry, thus revolutionizing the creative process. Recently, text-to-image algorithms have experienced spectacular progress and have become widely accessible. It is now possible to generate, within seconds, an image that accurately corresponds to a textual description, carrying significant implications for the creative industry. Video represents the most versatile and effective medium for conveying information. Consequently, the capability of creating a video directly from text would represent a further step in the creative revolution driven by AI. In the context of this thesis, we will develop text-to-video algorithms aimed at creative applications. Our consortium consists of Obvious, a world-renowned trio of artists who employ artificial intelligence to produce artistic works based on rigorous research, and MLIA, a team within the Institute of Intelligent Systems and Robotics (ISIR), a leading French research group in deep learning applied to computer vision and natural language processing. This unique combination of an artistic collective and an academic laboratory is particularly well-suited to research intended for creative applications. Our research will focus on four key areas: Firstly, we aim to create or enhance high-quality text-video databases. Currently, such databases do not exist, hindering the generation of coherent, high-definition videos. Next, we will address the complex problem of generating videos involving sophisticated movements while maintaining spatial and temporal coherence from textual inputs. This task represents a hierarchy of challenges with increasing difficulty, ranging from generating simple videos (such as a car moving in a straight line) to producing complex tutorial videos, such as those depicting detailed cooking recipes. To achieve this, we will leverage recent advances in text-to-image conversion, particularly diffusion models and transformer-based architectures specialized in image and video processing and generation. Additionally, we will work to make our models available through interfaces specifically designed for creative use, carefully considering artists' needs. Obvious will leverage its network of artists and creative industry professionals to test these interfaces and associated functionalities on real-world projects. Finally, to ensure that text-to-video algorithms are genuinely useful to the creative industry, we will emphasize the concrete needs of artists and creatives. In particular, we plan to develop functionalities such as mask-free editing (direct modification of an object or subject in a generated video through simple textual input), personalization (integration of oneself or a personal object into concepts known to the model), and scenario management (automatic division of a complete scenario into distinct scenes).