Avant même que le programme ne soit officiellement annoncé, les organisateurs des RADI-RAF (22 au 24 novembre) avaient déjà reçu 200 inscriptions. Pas de surprise donc si, pour leur neuvième et quinzième édition, les RADI (Rencontres Animation Développement Innovation) et les RAF (Rencontres Animation Formation) affichaient complet avec plus de 400 professionnels de l’animation et une soixantaine de conférenciers (pour 17 heures de débats en tout).
Échanger sur les nouvelles générations d’outils et de services ainsi que partager les expériences et expertises sont devenus en effet cruciaux pour un secteur en forte croissance qui pourrait néanmoins connaître une baisse d’activité. Si l’« irruption » de l’IA générative a bien évidemment ouvert les Rencontres et questionne la filière, l’Open Source, dont sa plate-forme phare, Blender, fête ses trente ans, n’a pas manqué d’être mise à l’honneur. Remettant également en question les pratiques et les stratégies des studios d’animation, les enjeux d’ordre environnementaux, pédagogiques et sociaux ont été plus spécialement abordés lors des RAF.
Arrêt sur IA générative : trop tôt pour un état des lieux ?
« Les RADI ne cherchent pas à entrer dans la polémique de l’IA générative », annonce d’emblée Stéphane Singier, concepteur éditorialiste des Rencontres (avec Véronique Dumont et Patrick Eveno). « Mais à entrevoir les défis et les opportunités de co-construction posés par cette mutation en cours. » Aussi les Rencontres ont-elles choisi pour leur conférence d’ouverture, de donner la parole à Dada ! Animation, un studio d’animation très investi dans la recherche d’outils innovants puis à un éminent chercheur issu de l’Adobe Research Center (Paris), Tamy Boubekeur. À charge pour eux de dresser l’état de l’art en solutions existantes voire en cours d’évaluation parmi l’offre pléthorique de plug-ins et d’outils à base d’IA, et d’introduire les approches et pistes de recherche au sein de leurs entreprises.
Depuis le lancement de Dall.e par OpenAI en 2021 (puis de ChatGPT4 en 2023) et de la pénétration de l’IA dans les entreprises comme Microsoft, Nvdia ou Adobe, des nouvelles annonces de produits ont lieu presque tous les jours. « Il est tout à fait légitime de se poser la question de leur pérennité », souligne Quentin Auger, cofondateur et directeur de l’innovation de Dada ! Animation. Pour sa part, le studio d’animation, qui s’interdit d’utiliser l’IA générative dans ses projets (pour des raisons éthiques et juridiques), vient de s’engager, dans le cadre d’un dossier ANR, dans une voie de recherche prometteuse avec le laboratoire de l’Irisa (Inria) et le Laboratoire d’Informatique de l’X (LIX).
Intitulé « Animation Conductor », ce projet vise à développer des outils permettant de modifier une animation 3D existante au moyen de contrôles naturels (parole, geste…) à la manière d’un chorégraphe ou d’un chef d’orchestre. « Faire en sorte qu’en variant par exemple le rythme d’une animation, le système puisse comprendre la variation d’amplitude et la retranscrire sur le modèle », explique Quentin Auger. « Nous avons en effet constaté qu’il manquait des outils pour que les artistes puissent faire des contrôles lors des retakes. Notre prototype sera open sourcé. »
Né de la fusion d’Allegorithmic et d’Adobe, l’Adobe Research Center (Paris) est très impliqué dans le domaine de l’IA à la fois dans ses travaux de recherche autour de l’apprentissage de modèles génératifs mais aussi dans la mise à disposition d’outils exploitant l’IA et le machine learning dans ses logiciels Photoshop (avec Firefly depuis 2023) et la suite Substance 3D (Modeler, Sampler, Designer, Painter et Stager).
« Chez Allegorithmic déjà, nous menions une activité très soutenue en machine learning concernant les matériaux numériques pour habiller des surfaces 3D », rappelle Tamy Boubekeur. Disponible d’ores et déjà dans Substance, l’outil Materia (d’autres outils sont en cours d’évaluation), qui s’appuie sur un modèle d’apprentissage neuronal, s’inscrit dans la continuité de ces recherches en permettant, à partir d’une photographie, d’obtenir un modèle paramétrique contenant la géométrie des matériaux qui le composent ainsi que leurs propriétés.
« Nos diverses recherches (matériaux, géométrie ou lumière) à l’Adobe Research Center vont dans le sens d’un continuum entre les matériaux et les formes », avance Tamy Boubekeur. « Cela peut amener à la création de nouveaux outils interactifs qui permettraient entre autres de beaucoup alléger les pipelines de production 3D. »
Cette cession « en mode exploration et prospective » ne pouvait pas échapper aux questionnements sur les problématiques liées à l’emploi, la transparence et la protection des données. Si tous les métiers de l’animation semblent concernés par l’IA (de la préproduction à la postproduction), reste à en mesurer l’impact, métier par métier, pour que les dispositifs publics puissent se mettre en place.
Devant la difficulté de la tâche (comment mesurer la portée d’une technologie quand l’horizon est à peine d’une semaine ou deux ?), Quentin Auger rappelait l’initiative de l’école Creative Seeds (Cesson-Sévigné) qui mène une réflexion pédagogique sur le futur des métiers de l’animation (Creative Machine). « L’éducation peut, comme les chercheurs, travailler en permanence en Open Source et créer une sorte d’intelligence collective. » Un appel aux écoles on ne peut plus à propos dans le cadre des RAF (Rencontres Animation Formation).
Génération Blender
« L’histoire hexagonale de Blender commence de fait ici, à Angoulême, il y a une quinzaine d’années… », rappelle Flavio Perez, directeur Recherche et Développement chez les Fées Spéciales (Montpellier). Celui-ci a tenté de dresser, sur le site tinyurl.com/blenderprods, une liste des productions marquantes recourant à Blender. Depuis la série TV désopilante Babioles de Mathieu Auvray produite par Autour de Minuit (intégration 3D dans des prises de vues réelles), le long-métrage Dilili à Paris (Michel Ocelot) ou les films full Blender comme J’ai perdu mon corps (recourant à Grease Pencil), Unicorn Wars, La Sirène, Mars Express, Sirocco et le Royaume des courants d’air. À venir les films La plus précieuse des marchandises de Michel Azanavicius, In Waves de Phuong Mai-Nguyen, Flow de Gints Zilbalodis (Sacrebleu Productions)…
Depuis plusieurs années, les Rencontres de l’animation se font régulièrement l’écho de ce logiciel révolutionnaire de création 3D Open Source pour lequel les studios d’animation n’hésitent pas à remettre à plat leurs méthodes de fabrication. Lors des RADI, Blender, qui est parvenu à s’imposer dans de nombreux pipelines de studios hexagonaux (Cube, Normaal, ADV Studios, TNZPV, Malil’Art, Andarta…), fêtait ses trente ans en même temps que la sortie de sa version 4.0 (en novembre 2023). Laquelle ne manque pas d’apporter tout son lot de nouveautés en modélisation (avec la fonction intuitive de positionnement Snap Base), dans les nœuds de géométrie (fonction Repeat Zone), la gestion différenciée de la lumière dans une même scène, le rendu (nœud de filtre Kuwahara)…
En invitant Fiona Cohen, productrice au Blender Studio (Paris), les RADI tenaient également à rappeler les grandes lignes de l’histoire de ce logiciel créé en 1994 par Ton Roosendaal pour son propre studio d’animation, puis abandonné par manque de financement. Huit ans plus tard, son fondateur, qui a pu racheter les codes sources, pose les grands principes de l’Open Source et de la gratuité en créant la Blender Fondation très investie dans la formation : le logiciel nécessitant toujours des ressources techniques et de former des équipes. Deux autres entités ont suivi : l’Institut Blender et le Studio Blender qui testent au fur et à mesure les nouvelles fonctionnalités du logiciel et ses limites dans la production d’animation 2D/3D. Grâce aux souscriptions, le Studio réalise chaque année depuis 2006 un Open Movie permettant aux artistes d’avoir un usage direct du logiciel. Actuellement en développement, le prometteur Gold réalisé avec des rendus dans le style de la peinture à l’huile.
Entre aides à l’innovation et appels à mutualisation
Le dynamisme de la filière animation (entreprises et écoles) qui a connu une croissance record ces deux dernières années, s’illustre dans leur réponse à l’appel à projets France 2030-La Grande Fabrique de l’image sur les enjeux industriels et de formation. En témoigne le premier bilan établi par le CNC, qui a annoncé les lauréats en mai 2023 : « Les dossiers Animation représentent un tiers des 170 projets déposés », rappelle Arnaud Roland, chef de projet CNC.
« En nombre de projets sélectionnés (68 lauréats en tout), la filière animation est celle qui a le mieux répondu. Pour répondre à la hausse de capacité de production, les studios avancent des solutions innovantes (pour la 3D temps réel et l’IA), se démarquent dans la création de plug-in sur moteurs Unreal, Unity et Blender. Les projets retenus ciblent également des marchés de niche comme la stop motion. Enfin, la décarbonation correspond aussi à une tendance importante. »
La convergence des outils et des métiers faisait partie également des intentions de l’appel à projets. Parmi les organismes de formation retenus, l’École des nouvelles images (Avignon) cible la polyvalence et la qualité (plus que le nombre d’étudiants inscrits), l’écoresponsabilité et l’innovation pédagogique. Casser les effets de « silos » entre la 2D et la 3D d’une part, l’animation et le jeu vidéo d’autre part fait partie aussi de ses objectifs. Parmi les studios porteurs de projets, TAT Production (Toulouse) envisage pour sa part d’investir dans de nouvelles méthodes de production basées sur le temps réel et plus écoresponsables afin d’aborder la prestation et la production de séries TV en parallèle à son activité historique en longs-métrages (Les As de la Jungle, Pil).
Pour renforcer encore plus la compétitivité, l’attractivité et l’indépendance de la filière, le CNC a tenu à faire le point sur la nouvelle Aide aux Moyens Techniques (AMT) apparue au printemps 2023. Résultant de la fusion des dispositifs CIT et RIAM, cette aide purement technique à la faisabilité, la réalisation et aux opérations à caractère collectif – d’un montant maximum de 250 000 euros par projet – s’adresse aux entreprises engagées dans des projets incluant des technologies TPN, IA, Open Source, moteur temps réel (etc.). « Les experts de ce guichet sont sensibles à une approche pragmatique, itérative, en adéquation avec le marché ou qui se concentre sur un enjeu de fabrication interne », prévient Thomas Grosperrin, chargé de mission au CNC. « Les entreprises possédant dans leur capital des sociétés extra européennes ne sont pas éligibles à ce guichet. »
Retenus dans le cadre des aides précédentes (CIT/RIAM) du CNC, les studios Unit Image (Paris) et Big Company (Lyon) ont partagé, avec le public des Rencontres, l’évaluation des outils qu’ils ont développés pour leurs besoins internes et qui font depuis partie de leur chaîne de production. Le studio parisien Unit Image (série Love, Death and Robots) est ainsi parvenu à optimiser la sécurisation TPN (gestion des risques et des accès, sécurité des systèmes et réseaux, mise en place de bonnes pratiques) : « Nous avons mis en place de très nombreuses procédures – à partir des guidelines de nos clients US (Disney, Netflix ou Paramount) – pour la gestion de paquets par Chocolatey, le monitoring centralisé, la centralisation des scripts IT & appels API, etc. », détaille Léon Bérelle, CTO de Unit Image. « Il faudrait aujourd’hui mutualiser, avec d’autres studios d’animation, ces chantiers Tech et IT qui demeurent onéreux mais sont indispensables pour travailler à l’international. »
Face à la montée en puissance du studio (150 personnes) et au nombre élevé d’outils développés en interne, Unit Image a recours à la solution Bernard afin d’assurer le suivi de production et la visualisation (sous forme nodale simple) de plannings et de workflow complexes. Développé par Bernard Production Engine, ce logiciel conçu comme un « orchestrateur » de production, gère en temps réel la totalité de l’entreprise : de la gestion du planning à celle des fichiers lors d’une synchronisation multisites par exemple. « Comme tout le monde, nous prenons le train de l’IA avec plusieurs modules en cours de développement dont l’un porte sur l’empreinte carbone », ajoute Guillaume Ruegg (Bernard Production Engine).
De son côté, Big Company est revenu sur l’engagement écoresponsable du studio d’animation et sa recherche d’un pipeline visant la durabilité et pérennité du matériel informatique (voire son recyclage D3E) dans un environnement toujours sécurisé. L’utilisation de l’outil Open Source Eco-Infrastructure qui gère, grâce à une interface unique de connexion à distance, l’allumage et l’extinction des ordinateurs (via Big Remote) et permet d’obtenir des données en temps réel sur l’activité globale (à travers Big Power Management), a déjà un impact réel sur la consommation électrique du studio (réduction de près de la moitié).
Revue d’outils innovants
Moment toujours intense et incontournable des Rencontres, la cession « Démo » a retenu, cette année, pas moins de sept outils logiciels particulièrement innovants (souvent en Open Source), déjà opérationnels ou encore en recherche de financement.
Très attendue (à la fin janvier 2024), la nouvelle version V9 de Golaem, le logiciel de peuplement et d’animation de foule édité par Golaem (Rennes), autorise la construction de scènes encore plus complexes. Une refonte du moteur a été apportée qui permet cette fois-ci de gérer des animations aux formats MPX, USD (etc.), en translation et scale (et non plus uniquement en rotation). L’autre grande nouveauté de cette version 9 réside dans l’intégration d’un module de deep learning capable de proposer de nouvelles règles de comportement et de déplacement à partir d’analyse de séquences d’animation précédentes.
« Les outils que nous fournissons permettent aux studios d’apprendre à partir de leurs propres données, et d’automatiser ainsi des tâches », résume Stéphane Donikian, CEO de Golaem. « Notre objectif demeure toujours le même : donner le contrôle final aux animateurs. »
L’outil de deep learning comporte pour l’instant un Advanced Geometry Deformer qui fait de l’approximation de rigs en utilisant des rigs modulaires (avec plusieurs niveaux de contrôles hiérarchiques), un Audio2Rig (Audio Based Facial Rig Animation) contrôlable avec le lipsynch, un Rig Inversion qui permet de repasser sur les contrôleurs… Deux autres chantiers sont en cours chez Golaem : la prédiction d’animation qui consiste à faire des propositions à l’animateur à partir d’animations déjà réalisées dans le studio, et le transfert de style d’animation.
Annoncé et attendu également par la communauté, le logiciel d’animation Odyssey édité par Praxinos (Metz). Alimenté par Unreal Engine, celui-ci combine l’animation 2D traditionnelle dans un environnement 3D temps réel. Issu de deux modules précédents (proposés gratuitement par Praxinos sur la market place d’Unreal Engine), Iliad (pour le dessin) et Epos (pour le storyboard et layout), Odyssey repose sur une version compilée d’Unreal Engine.
Le logiciel, qui dispose de sa propre interface en surcouche, a été pensé pour que les animateurs 2D retrouvent leurs outils bitmap (258 brosses combinables) et vectoriels, la table lumineuse, le lissage des lignes, les mises en couleurs (etc.) tout en bénéficiant d’un environnement qui leur permet de gérer des assets 3D, des caméras et le compositing. « Le gros avantage d’être basé sur Unreal Engine réside bien sûr dans le mélange de l’animation 2D et 3D, mais surtout dans la gestion en temps réel de la lumière, des caméras, des effets de post process ou dans l’utilisation du langage de script nodal Blueprint pour la création de brosses, etc. », remarque Elodie Moog, cofondatrice de Praxinos, qui annonce l’ajout d’outils comme l’aide aux intervalles.
Parmi les outils qui ont pour but d’assister et d’aider les artistes, la Démo Cession avait retenu également le logiciel de photogrammétrie Open Source Meshroom développé par Technicolor Creative Studios (MPC, The Mill, Mikros Animation et Technicolor Games). Téléchargé plus d’un million de fois depuis sa mise en ligne, ce logiciel, doté d’une interface nodale, permet la reconstruction 3D photoréaliste d’environnements (texture comprise) à partir de photos prises sous différents angles. « Meshroom est une sorte de boîte à outils, ouverte aux utilisateurs, développeurs et chercheurs, autorisant la numérisation du monde qui nous entoure », observe Benoît Maujean, directeur de recherche chez Technicolor Creative Studios. Parmi les évolutions prévues de Meshroom, la combinaison entre la photogrammétrie et la stéréophotométrie, qui permettra d’obtenir des textures de matériaux encore plus fines ainsi que l’albedo. Autre chantier « historique » de Technicolor, le panorama HDR (en mode Fisheye ou Randshot) pour générer des maps 360 de très haute définition.
RX Laboratory a choisi également le libre et l’Open Source pour ses développements comme l’outil de rigging et d’animation Duik ou DuBlast (playbast rapide pour Blender). Nouveau venu dans l’offre de RX Laboratory, l’encodeur de media DuME : « Il n’existe pas sur le marché d’outils pouvant encoder rapidement et simplement n’importe quel media et source », remarque Nicolas « Duduf » Dufresne. « Comme tous les autres outils que nous développons, DuME (une beta est disponible depuis la fin 2023) répond d’abord à nos besoins en production de films. »
Pour la communauté des animateurs réunis aux RADI, The Beast Makers a choisi pour sa part de soumettre un prototype encore en recherche de financement. Constatant le manque de finesse des reviews recourant à des animations 2D, le studio à l’origine du plug-in Maya TBM2D propose un outil 3D de partage, baptisé Reality Bob, permettant d’effectuer des reviews de cache d’animation sur Alembic dans un premier temps puis sur USD si intérêt de la communauté et financement à la clef. Parmi les avantages de l’outil, un accès immédiat aux caches d’animation 3D (sans avoir à lancer Maya ou Blender) ainsi qu’une facilité de visionnage et d’échange de fichiers.
En direct des studios
Comment les studios d’animation ou les artistes mettent-ils en pratique ces nouvelles techniques et outils ? Quels en sont leurs évaluations voire détournements ? Cette année, les RADI ont invité à leur table La Cabane Productions à l’origine de la célèbre série Mush Mush ainsi que Simon Rouby, le réalisateur du long-métrage Adama (César 2015), afin de partager leurs expériences et travaux en cours.
Avant d’aborder la saison 2 de sa série diffusée dans le monde entier, La Cabane Productions a décidé de recourir à un nouveau pipeline : « Ce changement aurait pu être risqué si nous avions en interne un studio d’animation », expliquait la productrice Perrine Gauthier. « Depuis le début, nous préférons en fait collaborer avec des studios partenaires. Cette manière de procéder nous garantit une très grande liberté créative et stratégique. »
Si le premier pipeline 3D de Mush Mush est réalisé sur Blender (chez Cube), le second associe Blender au moteur Unreal Engine 5 (avec Autour du Volcan et Borderline). « Nous voulions pousser les curseurs en termes d’éclairage, de colorimétrie et surtout éliminer les problèmes de bruit rencontrés lors de la première saison. »
Outre apporter des gains en efficacité, Unreal utilisé dès le layout a permis un plus grand contrôle artistique et technique. Et engendre également un plus grand confort de travail : « Le temps de rendu passe de 50 minutes par image pour la saison 1 à quelques secondes pour la saison 2 », se félicite la productrice qui précise que le studio a entrepris dans la foulée d’évaluer l’impact d’Unreal sur son empreinte carbone.
Pour son long-métrage Adama qui mêle animation en volume et image de synthèse (Naïa Production et Pipangaï Production), Simon Rouby avait fait appel à la photogrammétrie pour le traitement des visages (des scans 3D de sculptures en terre crue). Devant l’abondance des données fournies par les scans de photogrammétrie, le réalisateur, qui signe par ailleurs des installations vidéo immersives, envisage dès lors d’aborder son travail cette fois-ci sous le prisme de la photogrammétrie comme outil artistique.
Pour son prochain long-métrage Pangea produit par Miyu Productions, ce sont ainsi des collages de scans 3D des paysages qu’il a traversés (au Népal, île Kerguelen…), rassemblés dans Unreal, qui vont constituer à la fois le décor et le sujet de sa nouvelle fiction : une métaphore inattendue et poétique de l’anthropocène.
Dans leur utilisation des nouveaux outils logiciels, les studios d’animation ne sont pas en reste et se montrent souvent moteurs. Pour sa part, Superprod revient sur son expérimentation sur un pipeline USD de Kirpi, un logiciel de programmation visuelle. Développé et commercialisé par Caleido-Scop, Kirpi, basé sur le code C++ et la compilation Just in Time (pour coder et tester en même temps), est né d’un constat : « Pour satisfaire la demande en images de plus en plus complexes, les studios d’animation doivent recourir à des logiciels et des technologies très différents voire se lancer dans des développements importants de plug-ins », remarque Thierry Lauthelier (Caleido-scop). « Pérenniser ces solutions tout en préservant le savoir-faire du studio de même que faciliter leur utilisation à la fois par les TD et les animateurs devient donc une nécessité. »
Chez Superprod, Kirpi, qui permet de construire et d’exécuter des graphes de tâches connectées où chaque nœud représente une fonction, a été utilisé pour une application de construction de rig avec plusieurs niveaux de déformation faciale et sur le corps. « Nous avons réussi à simplifier nos rigs en réduisant le nombre de nœuds (ce qui a des répercussions sur le poids des scènes), optimiser les chaînes de déformation et stabiliser les scènes d’animation », constate Enrico Ferraris, directeur du rig chez Superprod. « Nous avons constaté un gain de performance sur chaque système isolé, et un gain élevé sur des rigs complets. »
Extrait de l’article paru pour la première fois dans Mediakwest #55, p. 122-128
