Dans un contexte de difficulté économique touchant tout le milieu de l’animation, le studio japonais Toei Animation (Dragon Ball, One Piece…) annonce le développement d’outils de production à base d’IA, soulevant de nombreuses interrogations et inquiétudes en particulier pour les animateurs qui ont signé une lettre ouverte anti IA générative lors du dernier Festival international du film d’animation d’Annecy.
Comment avez-vous découvert l’IA générative ?
Marc Aguesse : En 2021, à travers l’outil d’upscale d’image Real-Esrgan et ses dérivés, avec des tests sur des animations 320 x 240px comme les intros de jeux Playstation, Saturn. C’était intéressant mais j’ai tout de suite vu leurs limites, les aberrations que ça pouvait générer. En parallèle, j’ai observé ce qui se faisait sur la scène professionnelle, qui commençait à l’utiliser pour l’édition vidéo, Blu-ray ou AVOD pour générer des versions HD sans passer par une coûteuse restauration. Mais tout cela se faisait un peu en sous-marin. Il manque une transparence au niveau du traitement IA de ces vidéos, rien en description YouTube, jaquettes ou en making-of afin que le public s’éduque. Ce qui est dommage car les cas d’usages et de choix artistiques peuvent varier. Par exemple, la restauration UHD du film animé japonais Macross, do you remember love ? : un scan 5K du 35 mm + traitement IA (avec certaines aberrations) est un choix du réalisateur. Il peut poser question mais on ne peut pas juste dire : « Le nouveau master du film Macross est fait à l’IA donc non merci. »
Justement, la lettre ouverte des animateurs à Annecy est radicalement contre l’IA, est-ce qu’il n’y aurait pas un peu plus de pédagogie à faire à ce sujet ?
Il y a eu plusieurs films IA projetés à Annecy, mais je n’ai pas vu de conférences publiques sur ces films. J’avais parlé en 2023 sur mon site de Who Said Death Was Beautiful? car c’était pour moi un marqueur, un long-métrage utilisant l’IA qui sortait en salles au Japon. Le Festival d’Annecy l’a ensuite sélectionné, et j’avais remarqué leur absence de communication spécifique alors qu’ils ont une responsabilité vis-à-vis du public et de sa sensibilisation. Ils avaient d’ailleurs publié un communiqué en réponse à ma publication.
Ce film aurait mérité quelques explications car sa description se limitait à : « Motion capture + IA » alors que ça ressemble à un processus de type ControlNet combinant animation 3D et IA qui ajoute un style graphique sur l’image, comme un moteur graphique intelligent. Ce qui n’a rien à voir avec un simple prompt où l’IA se charge de tout ensuite…
Le détail technique est intéressant, mais sur Catsuka je dois rester intelligible pour un large public. Motion capture + IA, ça évoque tout de suite « peu d’animateurs ». Utiliser l’IA partiellement me choque moins qu’une animation 100 % IA, mais cela m’interroge toujours car il faut accompagner le public à travers cette nouvelle version de l’Uncanny Valley, le sensibiliser pour éviter, par exemple, que de vieilles techniques comme la peinture animée soient maintenant confondues avec de l’IA.
Pourtant le recours à l’IA devient un peu plus transparent avec Toei Animation annonçant investir dans un pipeline de production où l’ IA « devraient améliorer l’efficacité » (colorisation, intervalles, décors à partir de photos…). Ou encore le géant coréen CJ ENM lançant une série pour enfant sur YouTube Cat Biggie où la création avec l’IA est mise en avant.
À Annecy cette année, il y avait les artistes qui disaient non à l’IA, une inquiétude légitime. Et il y avait le marché, avec des conférences IA, des stands et des démonstrations d’outils IA pour les studios. Je pense que les sensibilités et les curseurs peuvent varier en fonction des pays. Au Japon par exemple, on débute sa carrière d’animateur en bas de l’échelle dans un studio, en apprenant sur le tas à faire des dessins d’intervalles (entre les poses clés), alors qu’ailleurs les artistes font souvent des écoles spécialisées et peuvent en sortant être directement animateur clé, character-designer… Donc si les studios japonais commencent à utiliser l’IA pour générer des intervalles, cela va impacter leur formation.
Il y a aussi la question du volume de main d’œuvre nécessaire, en résumé, soit ils continuent à produire avec l’IA plus ou moins à la même cadence avec moins de personnel, soit ils gardent tous leurs talents produisant plus vite avec l’IA. Compte tenu de la demande pour les adaptations de mangas, du volume de haute qualité qu’ils sont censés produire sur des délais toujours plus courts, n’est-ce pas une bonne chose en termes de cadence pour les artistes ?
Oui bien sûr, mais cela dépend des postes. Il y a les intervallistes que j’évoquais mais aussi les décors au Japon souvent traités par deux artistes, celui qui fait le layout, le trait pour placer les éléments par rapport au storyboard, et le décorateur couleur qui va faire l’image finale, pas sûr qu’ils gardent les deux si l’IA est utilisée pour générer des décors à partir de photos.
Quand je vois sur YouTube la série pour enfant animée en IA Cat Biggie, j’ai aussi un peu peur pour les emplois des futures productions jeunesse, notamment celles destinées à être rentabilisées en AVOD, qui n’étaient déjà pas toujours celles avec le plus de souci de qualité.
Il y aussi le problème des sources d’entraînement des modèles, jusqu’à présent les sociétés IA ont un peu abusé du Fair Use à l’américaine pour justifier leur entraînement sans demandes préalables aux ayants droits.
Je pense que dans le milieu de l’animation, aucun des professionnels voulant utiliser l’IA aujourd’hui ne s’amuse à entraîner son modèle sur le travail d’un autre, j’ose espérer qu’on a passé cette étape, ça fait quand même plus de deux ans maintenant qu’on en parle.
Ça leur devient plus difficile avec des initiatives comme le gestionnaire réseau Cloudflare bloquant maintenant par défaut les robots IA cherchant à s’entraîner sur les contenus de ses clients à moins que l’IA accepte d’en payer l’accès. Ou la C2PA d’Adobe permettant de vérifier l’origine des contenus, intégré autant dans les IA Veo 3 de Google et Sora d’OpenAI, que Sony pour les prises de vues, Clouflare pour le stockage en CDN ou même Dalet avec France TV pour la lecture des vidéos.
Donc, potentiellement, il y a un nettoyage qui peut se faire en termes d’entraînement. Et j’espère que de grosses sociétés comme Toei Animation vont effectivement investir dans une IA propre pour leur pipeline de production.
Les outils de création professionnels sont encore un peu divisés sur la question de l’IA, là où une solution comme Toon Boom propose l’option IA Ember, un logiciel comme TV Paint Animation dit non.
C’est compréhensible car c’est un sujet très clivant. Mais il faut espérer qu’à terme tous les modèles « sales » disparaissent et que l’IA soit exploitée dans des outils spécialisés en local par les studios. Alors TVPaint sera peut-être amené à changer d’avis car ils ne pourront plus dire que l’IA c’est forcément mauvais.
C’est probablement aussi une question économique. Pour garantir que le modèle utilisé pour les outils IA a été entraîné sur des sources propres ça demande du financement, pas évident à mettre en place pour tous les éditeurs de logiciel.
De plus, si l’on veut proposer des outils IA, à plus ou moins grande échelle, il faut de gros investissements cloud. Après, au sein d’un studio, un outil avec un modèle IA entraîné sur les contenus du studio (comme Toei Animation), c’est moins compliqué à faire tourner.
Oui, comme Animaj ou Asteria/Moonvalley qui développent des workflows d’animation IA très spécifiques entraînés avec leurs propres créations.
Oui, apparemment des prods où l’IA est utilisée de manière ciblée et bien réfléchie. Pas juste un prompt pour générer une séquence. Mais c’est vrai aussi que dans l’inconscient collectif on est de plus en plus convaincu qu’on peut générer un film d’animation ou une série sans main-d’œuvre, c’est ça qui fait peur parce qu’effectivement c’est possible.
Quand on voit Veo 3 on se dit que ça devient de plus en plus facile mais le souci du prompt c’est le nombre de saisies pour répondre précisément à la demande.
Beaucoup de pertes de temps.
Mais pour certains de ces acteurs comme Runway, l’animation via prompt c’est apparemment un « produit d’appel » pour développer de vrais outils spécifiques à destination des studios comme ceux que l’on évoquait précédemment. C’est donc une grande tendance et ça veut dire de nouvelles formations car l’autoformation sur des outils IA en SaaS avec des crédits limités c’est compliqué.
Oui, il y aura forcément des inégalités d’accès à certains outils. On peut saluer Sony Animation Imageworks qui revient vraiment aux fondamentaux de l’animation et de la narration dans sa formation en ligne gratuite, c’est à relayer car son approche pédagogique s’adresse aussi au grand public.
Et en parallèle une autre formation complémentaire c’est XA (eXtended Animation) de l’Université de Californie du Sud, pour la recherche, création, expérimentation dans tous les domaines de l’animation 2D, 3D, XR, pixilation… et IA.
J’espère que d’autres programmes de ce type seront lancés, les formations vont devoir adapter leur pédagogie à l’arrivée de ces outils qui ne peuvent pas être ignorés. Il faut qu’ils les intègrent afin qu’ils bénéficient, au besoin, à l’apport artistique original des artistes, scénaristes, créateurs graphiques… qui sera toujours l’input initial dont ont besoin les œuvres.
TOEI ANIMATION CO., LTD.
Toei Animation a investi dans la société Preferred Networks, spécialisée dans le deep learning, en vue de créer une coentreprise afin d’améliorer l’efficacité et la qualité de la production animée grâce à la synergie entre technologie de l’IA et production de Toei Animation. Utilisation pour la génération de storyboard, colorisation, correction de tracés et génération des dessins d’intervalles entre poses clés, génération d’arrière-plan à partir de références (par exemple photos).
CAT BIGGIE
CJ ENM, poids lourd de la production audiovisuelle coréenne, a révélé ses outils de production IA avec le lancement mondial en juillet dernier sur YouTube de la série IA/3D Cat Biggie. Films et KDramas version IA sont prévus aussi en 2025. On notera que Cat Biggie est une série de 30 x 2 mn muette, donc clairement les six personnes dédiées qui l’on produite sur cinq mois ont fait au plus efficace sans génération de dialogue, mais l’arrivée des dialogues dans l’IA Veo3 de Google devrait probablement leur permettre l’avènement des KDramas IA.
- www.cjenm.com/en/news/cj-enm-showcases-the-future-of-ai-content-with-advanced-aicreative-and-technological-capabilities-premiering-global-animation-cat-biggie/
- Le channel YouTube : www.youtube.com/@CatBiggie
ANIMAJ
Les Français de Animaj, après avoir racheté en 2023 puis relancé avec succès le dessin animé Pocoyo, ont levé récemment 75 millions d’euros. Ils développent eux même leurs outils IA pour l’animation avec leur workflow « Sketch to Pose » (crayonné de pose clé auto-riggué en 3D) et « Motion In-Between » (intervalles générés à partir d’une base de mouvements propres au personnage) ces outils IA s’entraînent sur les éléments dessin 2D, modélisation 3D, animation de personnages… définis en préproduction.
ASTERIA FILM CO.
Studio de production d’animations appartenant à Moonvalley, créateur de la plate-forme de génération IA vidéo Marey, Asteria produits des films en utilisant toutes sortes de workflow, des éléments 2D et 3D combinés à l’IA, le tout entraîné sur les éléments créés en préproduction.
- Cuco : A Love Letter to LA | Workflow : 3D + 2D + IA
www.youtube.com/watch?v=HuR2Sw63Dv4 - The odd birds show : 3D + marionnettes virtuelles + IA
www.youtube.com/watch?v=jQnU9TygMxE&list=PLwfA-CAkI7PUWP4OX49s6cYliwqH-32WV
LIENS VERS LES FORMATIONS
This is Animation – Sony Pictures Animation + Sony Pictures Imageworks : https://www.yellowbrick.co/sony
XA Expanded Animation, Research + Practice – School of Cinematic Arts University of Southern California : https://expandedanimation.usc.edu/
Article paru pour la première fois dans Mediakwest #63, p.86-90