La capture volumétrique fait l’objet de nombreux efforts en recherche et développement. Cette technologie est utilisée dans de multiples industries comme le cinéma, les applications mobiles ou encore le jeu vidéo. Ces nouvelles pratiques vont progressivement modifier notre rapport à l’image et s’insérer dans notre quotidien
La captation en 3D
La capture volumétrique permet de modéliser automatiquement un sujet en mouvement en 3D. Issu des recherches en photogrammétries menées depuis les années 1980 – notamment les recherches militaires pour le guidage des missiles – la capture volumétrique s’applique aujourd’hui dans l’industrie audiovisuelle. « Nous voulons sortir de l’uncanny valley et ajouter l’humain aux mondes virtuels. La photogrammétrie permet de scanner des objets figés, nous allons capturer des objets en mouvement », explique François Bouille, directeur R&D chez French Touch Fatory, qui développe actuellement des recherches en capture volumétrique en partenariat avec l’École des Mines Paris Tech.
Il existe deux écoles en termes de technologie employée, la méthode active ou passive. La méthode active utilise les technologies magnétiques, laser ou encore infrarouge : l’objectif est de mesurer l’écho de ce qui a été envoyé et, à partir de là, d’en tirer une information sur la profondeur. C’est la solution choisie par la startup French Touch Factory.
« Nous démocratisons la capture volumétrique en utilisant des caméras de profondeur RGB-D. Chaque caméra capture une portion du modèle. Nous les assemblons pour reconstituer volumétriquement l’objet en mouvement », selon François Bouille.
La méthode passive, à la différence de l’active, utilise des caméras « classiques » 2D haute résolution positionnées en dôme multiaxes. On peut alors calculer la reconstruction en 3D des modèles filmés dans ce dôme, par des algorithmes qui transforment les pixels de chaque caméra en voxels (pixels en 3D). L’exploitation par une caméra virtuelle de ces modèles reconstruits en 3D peut ensuite concurrencer la qualité d’une caméra 2D, tout en donnant au réalisateur une nouvelle liberté de cadrage.
Avec l’évolution des caméras, Jacques Peyrache, PDG de XD Productions, explique que « la technologie nous donne un défi : en augmentant la résolution et le nombre de caméras, le nombre de voxels devient forcément problématique, car on en arrive facilement à des milliards. Les récentes avancées hardware de l’industrie du jeu vidéo permettent aujourd’hui de maîtriser ces flux d’informations, au prix de beaucoup de temps en recherche et développement. Je me suis toujours refusé à faire une méthode active parce que je savais qu’on avait une limite infranchissable en termes de résolution. » Après la prise de vue, un logiciel synchronise les flux vidéo afin d’obtenir le clone virtuel de l’acteur, le reste de l’environnement peut être traité en 3D.
Vers une suppression du fond vert ?
La captation et la reproduction de l’image se font majoritairement dans un studio circulaire sur fond vert. La méthode basique, utilisant le fond vert, appelée « visual hull », consiste en la prise de vue par x caméras qui donnent x silhouettes, qui correspondent à ce qu’on appelle un signal de découpe. Le shooting est réalisé à l’aide de multiples caméras situées à des angles de vue différents, afin d’obtenir des courbes de niveau du volume de l’acteur qui sont reproduites et permettent d’avoir un modèle grossier mais rapide de l’acteur, en temps réel. À partir de la structure, on peut plaquer les images photographiques.
Chez XD Productions, soixante caméras 4K sont utilisées, ce qui permet d’obtenir un système efficace mais limité. « Avec les silhouettes générées par soixante caméras, on n’obtient que soixante courbes de niveau, quand on sait qu’un gros plan en 8K, c’est 32 000 pixels, on est loin du compte pour avoir quelque chose d’utilisable en matière de cinématographie », explique Jacques Peyrache.
Depuis 1998, ses équipes travaillent sur la stéréophotogrammétrie, avec pour objectif de diminuer le bruit généré par la stéréo corrélation, c’est-à-dire le bruit d’incertitude statistique lié à l’intelligence artificielle. « On a passé vingt ans là-dessus, et on a investi 20 millions d’euros. Aujourd’hui notre système fonctionne. XD Productions a ainsi créé une nouvelle discipline, “la vidéogrammétrie”, qui a permis de régler le problème du “bruit visuel” lié à la stéréo corrélation. Ceci permet d’avoir un résultat fiable et une reconstruction automatisée qui n’aura plus besoin de fond vert », précise Jacques Peyrache.
Cela permettra de transcrire, par exemple, des événements sportifs, et de donner la possibilité au spectateur de choisir l’axe de prise de vue. Pour François Bouille, même si la technologie qu’il développe lui permet de se passer du fond vert, l’usage de celui-ci permet malgré tout de gagner du temps pour filtrer les bords.
Coût et prise en main
Pour French Touch Factory, « le projet de R&D de capture volumétrique vise à rendre cette technologie plus accessible, quel que soit le secteur d’utilisation », explique Anaïs Hakes, co-fondatrice French Touch Factory. Ce besoin d’accessibilité se traduit par une volonté de proposer cette technologie, aujourd’hui onéreuse – les prestations haut de gamme pouvant être proposées à 5 000 euros/minute –, à un coût abordable ainsi qu’à une facilité de prise en main. C’est pour cela que la jeune start-up française souhaite mettre à disposition un studio nomade composé de quatre à huit caméras Kinect Azure de Microsoft, très légères, de pieds ou d’une structure en forme de dôme, facilement montable et démontable, ainsi que de deux à trois ordinateurs. À terme, l’intérêt économique dans l’usage de la capture volumétrique sera multiple.
Dans le cadre d’un tournage de long métrage 100 % en vidéogrammétrie, coproduit par XD Productions et AECS, Jacques Peyrache explique que XD Productions a réussi à obtenir un taux de productivité de 12 minutes utiles par jour. « L’importance de la technologie passive, c’est qu’on n’intervient pas. À partir du moment où on a mis la lumière et calibré la caméra, les acteurs et le réalisateur sont libres. Cette productivité ne sacrifie pas le travail du réalisateur, au contraire, cela lui permet de se consacrer pleinement au jeu d’acteur […]. Au lieu d’avoir dix techniciens on en aura deux ou trois. »
Cependant, la technologie reste onéreuse en postproduction et l’objectif pour ces prochaines années sera d’en automatiser les procédures afin de gagner du temps à cette étape. Artistiquement, cela permettra de s’affranchir de certaines limites en termes de décor. Par exemple, la caméra pourra être manipulée librement et il sera possible de maîtriser précisément la lumière virtuelle. Le tournage consistera alors, pour ces projets, à la captation volumétrique des acteurs, le reste pouvant être traité entièrement numériquement.
L’importance de la R&D
Le cœur du développement de ces nouvelles technologies est l’effort d’investissement dans la recherche et développement. XD Productions bénéficie de son ancienneté et augmente tous les ans son budget R&D, ce qui lui permet de salarier une équipe permanente de chercheurs sur de longues périodes. Comme le dit Jacques Peyrache, « si nous n’avions pas eu des relations de long terme, on n’aurait pas les résultats que nous avons, qui découlent des années de formation que chaque chercheur a pu recevoir à l’université. »
Le Crédit d’Impôt Recherche est une aide indispensable pour que les entreprises françaises puissent investir dans la R&D et tenter de se positionner face à la concurrence. La structuration de la filière permettrait d’unir les projets de création français et européens afin de proposer des innovations face aux grands groupes américains. Si, en France, les talents sont nombreux, la valorisation et le financement de ces derniers soutiendraient ces initiatives afin d’affirmer leur position sur le marché mondial.
Avec des applications multiples, les entreprises françaises tentent de proposer des technologies innovantes et accessibles. Effectivement, en plus du cinéma de l’audiovisuel ou encore des applications mobiles, la capture volumétrique peut servir dans un contexte de formation et pourra aller jusqu’au développement d’images holographiques. En proposant des technologies financièrement plus accessibles, la capture volumétrique répond à un besoin dans l’industrie et engendre de nouvelles pratiques.
François Bouille indique qu’« on va peut-être créer, avec cette démocratisation de l’outil, des nouveaux usages. » La conquête de la troisième dimension envahit notre environnement. Pour Jacques Peyrache, « d’un point de vue philosophique, on va modifier notre rapport à l’Histoire. Avec une vision 3D, on peut revisiter et comprendre le sens d’une époque. On est en train de laisser des traces qui n’ont jamais été aussi complètes. »
Article paru pour la première fois dans Mediakwest #47, p. 16-18
