Auparavant les outils étaient manuels et comprenaient du rotoscoping, du morphing, de l’animation avec des masques. Cela nécessitait beaucoup de temps et ces outils étaient chers car sollicitaient du temps humain. Le département R&D de Mac Guff a franchi une étape importante sur Le Bureau des Légendes en utilisant l’IA pour rajeunir le visage des personnages. La société avait également travaillé sur le projet de comédie musicale Hit-parade qui utilisait des hologrammes de personnalités de la chanson disparues mais qui reposaient sur des techniques conventionnelles de 3D.
Hôtel du Temps
Thierry Ardisson avait un projet depuis plusieurs années dont le but était de faire des interviews de personnalités disparues et il s’est tourné naturellement vers Mac Guff. Il y a deux ans, un essai et des tests ont été faits sur François Mitterrand. Les résultats ont bluffé Thierry Ardisson, mettant en chantier le projet.
« Pendant le Covid, nous nous sommes retrouvés à avoir du temps, du moins durant le premier confinement, ce qui nous a permis de mettre le pied sur l’accélérateur et de concentrer une large partie des équipes sur ce projet. Nous avons avec Martial Vallanchon, cofondateur de Mac Guff et VFX Supervisor, associé plusieurs techniques comprenant du deep learning, deep fake et nos différents outils développés précédemment. Le but étant de retrouver les visages des célébrités et surtout de pouvoir automatiser des workflows pour être concurrentiel en termes de coût, car ce ne sont pas des secondes de trucage mais des minutes », précise Rodolphe Chabrier, président de Mac Guff. « L’idée est d’utiliser l’intelligence artificielle pour “spectaculariser” la culture », a souligné Thierry Ardisson durant la conférence de presse de rentrée de France Télévisions.
La création d’un clone virtuel de type deep fake se basant sur l’apprentissage d’un algorithme en deep learning se fait d’autant plus facilement que la base de données est large. Plus on peut bénéficier de nombreuses images de référence, plus l’apprentissage sera optimisé. « C’est un changement de paradigme dans la façon de travailler. Il faut créer un modèle et ensuite il faut l’alimenter avec une base de données pour apprendre à ton modèle ce qu’est le visage, les expressions. Quand il faut fabriquer des images de célébrités disparues il y a un nombre limité d’archives et pas forcément en bonne qualité et cela devient plus compliqué », poursuit Rodolphe.
À la base des images produites pour ce projet, se trouve Face Engine développée par Mac Guff qui est un outil regroupant un ensemble de boîtes noires et permettant de résoudre les différentes problématiques nécessaires pour inventer un nouveau visage. Mac Guff a dû tester plusieurs moteurs d’IA, les expertiser, pour développer une solution qui soit utilisable et performante.
Comment sont fabriquées les images ?
Dans Hôtel du Temps, nous voyons Thierry Ardisson qui a lui-même été rajeuni interviewer des personnes célèbres du patrimoine français (hommes politiques, vedettes de cinéma, de variété…). Les séquences sont tournées avec des acteurs qui ne sont pas des sosies mais qui ont une allure globale proche de la personnalité. Un montage est réalisé et ensuite Mac Guff réalise les truquages sur ce montage. Tous les effets visuels sont faits chez Mac Guff grâce à Face Engine notamment. Il faut garder la crédibilité de l’interview tout en gardant l’image actuelle. Il faut recréer de la résolution pour qu’il n’y ait pas de problème entre les champs-contrechamps de Thierry Ardisson.
Le travail sur la résolution des images se fait en même temps que la création des contenus. Il y a des milliers d’images qui aliment une base de données. Tout n’est pas non plus entre les mains de l’IA, l’humain reste primordial pour savoir doser et notamment quand il y a des plans très serrés sur les visages car il faut utiliser les méthodes précédentes manuelles. Concernant la voix, elle aurait pu se faire avec du deep learning mais le choix a été fait d’utiliser des imitateurs. C’est peut-être le maillon faible du projet !
« Pour le moment nous avons une vraie avance. Il s’agit d’un mélange de plusieurs technologies, une vraie recette de cuisine. Il faut savoir doser les ingrédients et la cuisson. Il y a encore un modèle très empirique pour savoir où s’arrêter et avoir le bon modèle. Pour de petites différences cela peut changer des choses. Il faut avoir le modèle le plus logique possible, il faut savoir de ce dont tu disposes et comment tu peux le faire. Nous travaillons avec deux IA (Generative Adaptative Network). Les deux IA collaborent et se concurrencent pour trouver le meilleur résultat », précise Rodolphe Chabrier.
L’idée, grâce à l’IA, est de pouvoir industrialiser les processus ; un modèle qui a servi à un personnage peut servir à un autre. Pour le moment l’automatisation se fait sur les visages. Pour les cheveux c’est possible techniquement mais demande de grosses ressources matérielles.
Concernant les budgets, tout dépend du travail à faire sur les visages en général : rajeunissement, vieillissement, modification, maquillage artificiel, doublure, beauté… Plus il faudra de temps pour fabriquer le modèle, plus le coût sera élevé. Il faut aménager les réglages et réentraîner l’IA selon les setups. C’est plus simple lorsqu’une personne reste assise dans un fauteuil que lorsqu’elle change de lieu avec des conditions différentes de lumières, de lieu, de focales…
« Sur une émission comme celle où Thierry Ardisson a interviewé Jean Gabin, à partir du moment où nous avons récupéré toutes les images dont on a besoin, il a fallu un peu moins de deux mois pour fabriquer le modèle. Nous avons la prétention de passer, à terme, de Face Engine à Body Engine, c’est-à-dire manipuler des corps entiers. Le champ des possibles est infini, nous pourrons faire changer les vêtements à un acteur en un clic, transformer une animation en basse définition en une animation hyper réaliste. L’IA est un game changer pour le cinéma. Il faut rester dans la course et pour cela il faudra encore du temps de R&D et des investissements. » Mac Guff pense pouvoir faire deux émissions en trois mois. Maintenant que les workflows sont optimisés, « nous montons en qualité, en rapidité et grâce à cette technologie cela permet de garder du travail en France. »
Hôtel du Temps est produit par Ardimages et Troisième œil productions. Le premier épisode, consacré à Dalida , sera diffusé le 2 Mai à 21:10 sur France 3
Et pour plus d’informations sur l’aspect audio , lisez notre article Un clonage vocal pour “Hôtel du Temps”, la nouvelle émission de Thierry Ardisson
Article paru pour la première fois dans Mediakwest #44, p. 70-71
[envira-gallery id= »125481″]
