Didier Muanza n’en est plus à son coup d’essai avec plus de vingt-sept films et quatre séries dans les trois dernières années. Le projet de série Kayowa, qu’il dirige en 2025 est une adaptation d’un roman écrit par Chitala Nyota. L’histoire, bien connue au Congo, relate la vie tragique de Kayowa, une princesse convoitée dont la beauté a déclenché un conflit destructeur au sein de l’empire Luba. La production de ce récit de type fantaisie héroïque de six à huit épisodes pour le coût d’un seul épisode, comparable à Game of Thrones, utilise un mélange de techniques dernier cri, incluant l’intelligence artificielle.
Pour reproduire les costumes et les décors de l’époque, la série utilise des techniques avancées de production virtuelle et volumétrique, notamment avec l’intelligence artificielle, pour recréer des personnages et des décors réalistes. Ces techniques permettent de réduire le temps d’animation des personnages et de scènes en 3D. « Nous utilisons des logiciels tels que Houdini, Unreal Engine, ainsi que des modèles d’IA pour automatiser et optimiser le processus de production », explique Didier Muanza, nominé Artiste VFX de l’année par la Fondation Dynastie. « Ils m’ont demandé un projet personnel, ce sera Kayowa dont le trailer sera diffusé en février 2025 à la remise des prix. »
Didier, qui habite aujourd’hui à Montréal, a démarré sa carrière en France dans les années 90 et s’est retrouvé mêlé à de grands projets hollywoodiens depuis plus de vingt ans. « Aujourd’hui, avec les séries Netflix et autres, mon boulot relève plus de l’industrie que de l’artisanat », déplore-t-il.
« En tant qu’“environnement et 3D généraliste superviseur”, je supervise tout, du concept au décor, avec le “production designer” et le distributeur (Netflix, Apple, etc.), jusqu’au produit minimum viable [une version d’une séquence rassemblant les looks élémentaires, ndlr] que je fais moi-même, pour montrer à quoi vont ressembler le décor et les personnages. Puis je dispatche ça à mon équipe d’“environnement artist”, “matte painter”, modeleur (sculpteur numérique), “texture artist”, “lighter” (directeur photo virtuel). Pour les dernières séries chez Scanline powered by Netflix, j’avais une équipe de soixante personnes sur trois continents. C’est vraiment du process industriel, en trois ans et demi chez Netflix, j’ai fait vingt-sept films et quatre séries… ».
Kayowa vise une qualité de rendu 4K optimale et avec des acteurs numériquement habillés en costumes traditionnels africains. Le projet explore également de nouveaux types de narration, intégrant des techniques de capture de mouvement et de light painting. La production est en phase de financement et de développement avec l’objectif de créer un pilote.
Trois coproducteurs s’investissent déjà depuis 2024, Olivier Lemaitre d’Absynthe Productions à Paris, coordonne la production, l’écriture des scénarios et leur formatage, ainsi que les dossiers de production ; Linda Manouan de Ladonik Studio à Abidjan s’occupe de la recherche de bailleurs de fonds et Miyabi Wood, à Calgary, est producteur délégué. Philippe Kalin Hajdu de Media Ranch au Canada va entrer dans la production, ainsi que les studios Wildcapture (motion capture et foules numériques), Evercoast et X-angle en apports techniques, ainsi que Saint Georges Studio qui assure le compositing et toute la 2D, et Framefocus qui pour la 3D.
« Le scénario de Kayowa m’a particulièrement intéressé, raconte Olivier Lemaitre, coproducteur. Mon travail initial a été de structurer les premiers synopsis en un scénario adapté au format série télévisée, avec un rythme et une division en épisodes qui respectent les normes du genre. Cette histoire puise dans l’une des cultures les plus riches de l’Afrique centrale, celle des Lubas du Kasaï, avec une esthétique artistique unique, que ce soit dans le domaine graphique ou musical. La beauté des tissages et des masques luba, qui ont rayonné à travers l’Afrique, est un aspect fascinant mis en valeur dans cette série. Ce projet impose aussi de sortir des méthodes de production classique et cela ajoute de l’intérêt.
« En utilisant des technologies modernes et l’intelligence artificielle, on peut réduire l’équipe nécessaire de cent personnes à une dizaine seulement, ce qui révolutionne le processus de production. Cette innovation technologique permet d’immerger le spectateur dans une reconstitution fidèle de l’Afrique médiévale, un univers historiquement difficile et coûteux à représenter et cela permet d’adapter tout au long de la postproduction le processus de narration. »
Technologies de pointe utilisées
Pour la production de la série Kayowa, Didier Muanza et son équipe exploitent des technologies de pointe en matière de production virtuelle et d’intelligence artificielle pour créer un univers immersif et authentique. Voici les principales techniques et outils logiciels utilisés :
- Production volumétrique
La série utilise la capture volumétrique, où les performances des acteurs sont enregistrées à l’aide de nombreuses caméras (entre 80 et 200), enregistrant ainsi des données en trois dimensions. Les acteurs portent des vêtements neutres (des habits de yoga) et leurs mouvements sont captés sous tous les angles. Ces enregistrements sont ensuite habillés numériquement avec des costumes traditionnels africains, ce qui permet de modifier l’apparence des personnages, tout en conservant l’authenticité de leurs performances.
- Logiciels principaux
– Houdini : utilisé pour la création de simulations 3D avancées et la génération d’effets visuels, Houdini permet de gérer des processus complexes dans la création des environnements et des personnages.
– Unreal Engine : ce moteur de rendu en temps réel est employé pour la production virtuelle. Il permet de visualiser instantanément les scènes et de faire des ajustements rapides, offrant un rendu de haute qualité.
– Nerf Studio et Instant NGP (de Nvidia) : utilisés pour la photogrammétrie, ces outils permettent de créer des modèles 3D d’objets et de personnages à partir de quelques images. Cela accélère grandement le processus de modélisation en 3D.
– Meshescape de MovAI et ARCore (Apple) / ARKit (Unreal) : utilisés pour l’animation des personnages capturés, ces logiciels combinent la capture de mouvement (motion capture) avec des technologies de réalité augmentée pour un rendu fluide et réaliste.
- Photogrammétrie et IA
L’équipe utilise des outils d’intelligence artificielle pour compléter les modèles 3D à partir de données limitées. Par exemple, avec une à deux photos d’un objet ou personnage, la photogrammétrie IA permet de recréer une vue complète à 360°. La photogrammétrie aide à assembler des rendus 360°, offrant des points de vue multiples qui peuvent être manipulés librement. Elle concerne surtout les objets inanimés et les décors, mais crée également des avatars humains animés par IA.
« On a développé un outil pour faire des gens en 3D à partir d’une photo, de plusieurs photos, de plusieurs vidéos. On peut séparer la propriété des matériaux, de la peau, des habits, des tissus. », continue Didier. « On refait pratiquement à l’identique des clones d’humains. Et donc, on se sert de l’IA à chaque étape, mais sur une base de postproduction traditionnelle (montage et trucage). Ici, on dit production virtuelle et département art virtuel. Dans les prochains six mois, un an, on va arriver sur un nouveau type de narration que je trouve assez intéressant, bien qu’encore expérimental, mais je pense que ça va être la prochaine façon de produire les choses. »
- Technologies d’IA pour la production
Les outils d’IA utilisés incluent une combinaison de IA Générative, qui exploite des algorithmes d’image to image, prompt to image, image to video, inpaint et image to 3D, pour créer des séquences rapidement. L’équipe utilise des routines de segmentation automatisée (keying) pour détourer les personnages filmés sur fond vert, optimisant ainsi le processus en préproduction. D’autres applications IA servent à capturer les silhouettes des personnages, permettant leur manipulation en 3D sans recourir à une capture de mouvement traditionnelle par adjonction de repères sur le corps.
- Capture de mouvement artistique
Didier Muanza collabore avec des artistes pour capturer le mouvement humain en utilisant la technique du Gaussian Splatting. Cette approche, inspirée du light painting, fait appel à un artiste plasticien pour créer des effets de flou de mouvement avec une chorégraphie de danse africaine et contemporaine, capturée en multicaméras. Ces mouvements sont ensuite utilisés pour animer les personnages 3D, reproduisant des effets uniques jamais vus auparavant à l’écran, alliant la capture de danse réelle et l’animation virtuelle.
« Dans l’histoire, on est à douze jours avant que les Portugais arrivent sur les côtes africaines et on a admis, un peu comme dans Princesse Mononoke de Miyazaki, que dans le royaume Luba à l’époque, les animaux et les hommes se parlent, et les esprits et les hommes se côtoient, explique Didier. Donc, pour personnifier les esprits et les ancêtres des humains, là, je travaille avec une artiste plasticienne qui s’appelle Kim Saint-Henri et son compagnon Éric Paré, un couple d’artistes québécois qui font du light painting. Pour symboliser ces esprits, on utilise des chorégraphies pour générer du flou de mouvement en exposition longue durée, un peu comme un bullet time, via une batterie d’appareils, quatre-vingts caméras pour cadrer depuis n’importe quel point de vue. Au lieu de faire des gros monstres en 3D, là, on fait du vrai tournage multicaméras où on utilise la technique du Gaussian Splatting. Ça te permet de tourner avec plein de points de vue et d’assembler ça comme une image stéréo 360 autour de laquelle tu peux faire ce que tu veux. »
- Processus d’automatisation par machine learning
Didier utilise plusieurs modèles d’IA locaux compilés avec un CPU GEN3 Alpha Turbo et un GPU Minimax AI pour des tâches de machine learning, permettant à l’IA de répéter des tâches d’automatisation, comme la segmentation ou la création de personnages en 3D, autrefois effectuées manuellement. Une fois l’apprentissage du modèle terminé, l’IA peut appliquer automatiquement des effets de segmentation et de traitement de personnages en temps réel, réduisant ainsi les délais de production.
« J’utilise les mêmes process qu’il y a dix ans, que je faisais manuellement mais je remplace beaucoup de choses par de l’IA comme un assistant d’automatisation de tâches, explique Didier. En fait, quand tu as fabriqué ton modèle de machine learning, l’IA peut répéter à l’infini des tâches que normalement tu ferais manuellement. C’est le premier avantage et ça, tu peux le mettre en place très rapidement dans une chaîne de production. Par exemple, si tu as tourné quarante minutes sur fond vert, tu sais que tu vas en avoir pour deux jours de préparation avant de passer en montage. Pour cela, tu peux envoyer une routine de segmentation (keying) qui va te détourer ton personnage de façon semi-automatique pendant que toi, tu es parti dormir. Et puis le matin, c’est fait. Et l’IA a appris de la silhouette. Donc, à chaque fois que cette personne jouera, tu auras une segmentation automatisée en temps réel. »
- Rendu et gestion des données
En raison des lourdes exigences en termes de stockage et de puissance de calcul, Didier Muanza prévoit de migrer vers des datacenters comme Amazon Web Services (AWS). Chaque capture volumétrique peut générer environ 200 Go par prise, et un épisode entier, avec ses 12 To de données, nécessite une gestion minutieuse via un cloud pour le stockage et le traitement. Les rendus 3D statiques sont d’abord générés, puis animés avec des outils IA pour atteindre un réalisme élevé, compatible avec la résolution requise pour des plates-formes de diffusion telles que 4K et IMAX.
« La production nécessite également une réflexion sur le processus de postproduction, notamment pour des aspects comme la synchronisation labiale, ajoute Olivier Lemaitre. Les comédiens enregistrent une gamme d’expressions faciales de base (joie, colère, tristesse, etc.), ensuite intégrées dans un modèle d’IA pour pouvoir adapter leurs expressions au texte. Contrairement aux méthodes classiques, la postproduction de Kayowa se fait presque en temps réel, nécessitant une coordination simultanée du son et de l’image. Ce flux continu marque un changement majeur par rapport aux étapes séquentielles de la postproduction traditionnelle ».
Les innovations utilisées dans Kayowa associent des techniques traditionnelles de postproduction, montage et trucage par keying, avec les dernières avancées en intelligence artificielle et en capture volumétrique. Ce processus hybride de production virtuelle et de narration expérimentale permet de créer des images et des histoires uniques, tout en optimisant les temps de production et en offrant une flexibilité créative exceptionnelle.
« Enfin, Kayowa se distingue aussi par son budget de dix millions d’euros pour toute la série, un investissement relativement faible pour six épisodes de trente minutes. Cela nous permet d’explorer un univers de fantaisie héroïque fantastique, riche en décors et costumes, proche en qualité de production de Game of Thrones, qui revient à dix millions par épisode… La technologie de l’IA permet également de produire des versions adaptées aux différentes langues sans doublage visible, tout en maintenant la qualité d’interprétation », conclut Olivier Lemaitre, d’Absynthe Productions.
En résumé, ce projet représente un défi créatif et technique unique. Kayowa explore une histoire fascinante, tout en repoussant les limites de la production audiovisuelle grâce à l’IA et à une approche de production décentralisée.
Deux techniques de capture à différencier
La capture volumétrique et la capture photogrammétrique sont deux techniques utilisées pour créer des représentations 3D à partir d’objets ou de scènes réels, mais elles diffèrent par leurs approches et leurs applications.
1/CAPTURE VOLUMETRIQUE
La capture volumétrique est une technique utilisée pour enregistrer des objets, des personnes ou des scènes en 3D en temps réel ou à travers une séquence.
- Comment ça fonctionne ?
– Des caméras placées tout autour du sujet capturent simultanément des vidéos sous différents angles.
– Les données sont combinées pour créer un modèle 3D complet, souvent animé.
– Utilise souvent des technologies comme les capteurs de profondeur (LIDAR ou caméras 3D), pour capturer à la fois la texture et la géométrie en mouvement.
- Applications
– Création d’avatars 3D animés (jeux vidéo, cinéma, VR/AR).
– Capture de performances humaines pour des projets immersifs.
– Médias interactifs, comme les expériences pour casques VR.
- Avantage
– Permet de capturer non seulement la forme d’un sujet, mais aussi ses mouvements, souvent en temps réel.
- Limitation
– Nécessite un équipement complexe et coûteux (plusieurs caméras synchronisées, logiciels spécialisés).
2/CAPTURE PHOTOGRAMMETRIQUE
La photogrammétrie est une technique qui transforme des photos 2D en un modèle 3D en utilisant des algorithmes de correspondance visuelle et de triangulation.
- Comment ça fonctionne ?
– On prend plusieurs photos d’un objet ou d’une scène sous différents angles.
– Un logiciel analyse les images pour trouver les points communs entre elles, calculer les distances et reconstruire un modèle 3D.
- Applications
– Restauration d’œuvres d’art ou d’artefacts historiques.
– Création d’environnements 3D réalistes pour les jeux ou le cinéma.
– Cartographie 3D, urbanisme et exploration scientifique.
- Avantages
– Ne nécessite qu’un appareil photo (ou un drone) et un logiciel spécialisé.
– Très précis pour les objets statiques.
- Limitations
– Moins adapté aux objets en mouvement ou aux captures en temps réel.
– Peut nécessiter beaucoup de calculs pour traiter un grand nombre d’images.
En résumé : la capture volumétrique est idéale pour enregistrer des sujets en mouvement en temps réel avec des animations complètes, la capture photogrammétrique est, elle, plus adaptée à la modélisation d’objets ou de scènes statiques avec une précision élevée.
Derniers projets de Didier Muanza
En tant qu’environnement 3D généraliste superviseur, ils sont pléthore. Citons : Atlas ; 3 Body Problem ; NYAD ;DC : The Flash ; Marvel : The Eternals ; The Gray Man ; Moonfall ; Don’t look up ; Shangai Blossom ; Starwars : Andor saison 2 ; Rebel Moon ; Back in Action 2 ; King Kong x Godzilla ; Joker 2 ; One Piece ; Ju Ju Hasoka ; Axel F : Beverly Hills Cop ; Senna ; Black Adam ; Avatar : Last Airbender ; The Crow ; DC : Justice League ; Marvel : Shang Shi – 10 rings ; The Nevers ; Slumberland et The Batman.
Article paru pour la première fois dans Mediakwest #60, p.90-95
