© Luc BaraAu commencement était le studio
Créé par TSF et PRG, le Virtual Production Studio xR se compose d’un plateau de 800 m2 équipé d’un écran Led Black Onyx 2 de chez ROE de 23 m de long sur 5 m de haut, disposé en demi-cercle de 15 m de diamètre. Son pitch de 2,8 mm permet une définition horizontale d’environ 8K horizontal et 1,8K en vertical. Au sol, un plancher Led à surface mat avec un pitch de 4 mm, en haut un plafond Led, et aussi deux panneaux Led sur dolly. En coulisse, l’affichage est géré par un processeur Brompton, et la 3D par une chaîne media serveur Disguise. C’est donc dans ce décor que se sont succédés pendant deux demi-journées les présentations de la Venice 2, de la technologie Crystal Led, du savoir-faire et des équipements de TSF et PRG, les démonstrations grandeur nature et enfin les ateliers permettant aux participants de discuter avec les experts de chaque domaine. Anna Doublet, spécialiste solution Sony, précise : « Le but de ces journées est de répondre aux questions des utilisateurs sur les contraintes et bénéfices de tournages en studio xR. La mixité des nouvelles technologies (qualité des écrans, moyens du tracking, workflow) étant en plein développement, des échanges sont nécessaires pour progresser ensemble et répondre aux besoins des créateurs ».
Plein les yeux
La première démonstration, présentée par Mathieu Sauer de PRG, consiste à afficher un décor qui a été créé par un moteur de jeu 3D pour l’exposition virtuelle « Éternelle Notre-Dame ». Une caméra Venice 2 est placée sur une grue encodée, qui envoie les données de tracking au moteur 3D, et l’on peut voir les parallaxes et les perspectives affichées sur le mur Led se modifier en fonction des mouvements de caméra. Un des intérêts de cette démo est de pouvoir voir simultanément et dans d’excellentes conditions à la fois la scène filmée et le retour caméra sur des grands écrans Sony C-Led installés sur le plateau. Une particularité de ce système est de pouvoir reconstruire le monde virtuel au-delà de la surface du mur Led. Lorsque le champ de la caméra sort du décor, il est possible de raccrocher l’image virtuelle, d’où la dénomination xR = extended reality.
La deuxième démonstration, plus orientée cinéma et dirigée par le chef-opérateur Nicolas Eveilleau, permet de montrer la pertinence du studio xR pour des séquences de type rolling shot ou « rouling » (consistant à filmer une voiture depuis un autre véhicule). Une voiture présente sur le plateau est immergée dans un décor filmé pour l’occasion. La pertinence et l’intérêt de cette technologie saute aux yeux, notamment la cohérence et le réalisme des réflexions sur la carrosserie comme sur la comédienne au volant, lors de l’alternance des plans très lumineux puis très sombres (passage sous un tunnel) ou encore la possibilité de rejouer plusieurs fois la scène avec un décor des Champs-Élysées au soleil couchant. Enfin, des images tournées avec un rig de trois Venice (18K au total) ont permis de montrer ce qu’il est possible de faire lorsque qu’il faut un décor très qualitatif.
Fond vert ou mur Led ?
Le premier sujet abordé par Danys Bruyère, directeur technique de TSF, est l’ensemble des éléments qu’une production doit étudier avant de se décider pour un fond vert ou un mur Led.
Dans le cas du mur Led, les éléments de décor doivent être finalisés avant le tournage. Danys Bruyère précise : « Le plus gros changement culturel est le besoin impératif de préparation avec les partenaires VFX pour que tous les éléments soient exploitables au moment du tournage. Dans le cas du fond vert, il y a la liberté de déterminer le décor après le tournage. Cependant le chef-opérateur n’a pas le contrôle artistique qu’il aimerait avoir ». Bien sûr le fond vert a l’avantage de pouvoir être utilisé en extérieur et peut être étendu sur des grandes distances, tandis que le mur Led est limité par ses propres dimensions et celles du studio. Mais parmi les nombreux bénéfices du studio xR, le décor éclaire la scène – même si d’autres éclairages sont utilisés – les acteurs sont en immersion dans le décor et éclairés par celui-ci, facilitant à la fois le jeu et le contrôle artistique de l’image. « Les réflexions sont décidées au moment du tournage et non pas en postprod par un artiste FX : tout le monde sur le plateau voit le résultat immédiatement », ajoute Danys Bruyère. « Aussi, les changements de décors peuvent être instantanés et il est possible d’enchaîner ou d’alterner des plans de nuit ou de jour dans la même journée ».
L’enjeu de la définition du décor
Parfois, on peut avoir besoin d’une grande profondeur de champ pour voir les détails du décor, il faut donc un plan arrière avec une grande résolution. Dans le cas du fond vert, il est facile d’incruster une image de très haute définition, mais c’est plus difficile lorsque le décor est affiché sur un mur Led. TSF offre une gamme de solutions clé en main pour tous les budgets : par exemple un rig à trois caméras Sony Venice pour couvrir 180° avec 18K de résolution (bientôt 25K avec trois Venice 2 ?) mais aussi un système mono-caméra où la caméra est équipée d’une optique Entaliya HAL 220 captant un angle de champ de 220° (oui, c’est une optique peut voir à plus de 180° !). C’est cette solution qui été retenue pour tourner les plates (les « plates » ou « pelures » sont les images destinées à servir de décor virtuel. À l’origine on peignait le décor sur des plaques en verre d’où le nom de « plate ») de la démo avec une caméra Venice, en 6,4K.
L’inquiétude du moirage
Le moirage (effet d’aliasing), est le problème bien connu de « sous-échantillonnage » qui peut apparaître lorsque le capteur de la caméra a une résolution trop faible par rapport aux détails du sujet filmé. C’est une préoccupation récurrente des chefs-opérateurs qui est ici accentuée par la matrice de pixels du mur Led. Cependant, selon Danys Bruyère, ce n’est plus vraiment un problème aujourd’hui car « pour réduire les effets de moirage et pour perdre cette sensation de différence de matière entre avant et arrière plans, les très grands capteurs et les optiques anamorphiques sont des facilitateurs de prise de vue ». Là encore, la Venice 2 et son capteur full frame 8,6K sont présentés comme un choix judicieux. « Aussi en studio, on tourne sur des niveaux de lumière assez bas, donc on ouvre le diaph, ce qui permet de résoudre les problèmes éventuels de moirage ». Autre intérêt de la Venice 2 : Jean-Yves Martin, spécialiste cinéma numérique chez Sony, annonce un nouveau mode, le « very fast shutter », pour résoudre la problématique d’aliasing et donc adapter la Venice 2 au mode de production virtuelle. Enfin la nouvelle technologie d’écran Crystal Led de Sony avec un taux de luminosité élevé et des pitchs de 1,5 mm ou 1,2 mm peut encore réduire les artefacts indésirables.
Tracking or not tracking ?
Dans le cas où des éléments virtuels doivent être modifiés en fonction des mouvements de la caméra, le tracking est indispensable. Plusieurs solutions existent : le système OptiTrack issu du motion capture qui est lourd à mettre en place et donc utilisé dans les installations permanentes ou un autre système comme le RedSpy analyse les réflexions de Led infrarouge sur des marqueurs placés au plafond pour positionner la caméra. La solution montrée aux XR Days est présentée comme idéale pour un lieu de tournage éphémère. Il s’agit d’une grue Super Techno 30 Plus supportant la Venice 2. La grue est entièrement encodée : axes de tête gyrostabilisée, longueur du télescope, position du pivot et paramètres de l’optique. Il existe aussi une Techno Dolly complètement encodée et totalement motorisée pour des application de VFX avancées. Ces équipements permettent la mémorisation des trajectoires et donc la répétition des mouvements. Cependant dans certaines situations comme les séquences de rouling présentées lors de cette journée le tracking n’est pas nécessaire. Lorsque les images sont bien remappées sur le mur Led, la plupart des plans et mouvements de caméras ne nécessitent pas de modifier le décor, ou alors de simples décalages.
Fabrication des décors
Le tournage des décors en mode rouling a pu se faire avec une équipe très réduite par rapport à une séquence avec comédiens. Il n’y avait que quatre personnes dans la voiture : le chef-op, l’opérateur VFX, un driver, un assistant, plus une voiture de sécu derrière. La caméra ne dépassant pas le gabarit de la voiture, aucune autorisation particulière n’était requise pour rouler. Ces décors ont été tournées sur l’A14, à la Défense et sur les Champs-Élysées. Ces images provenant de l’optique à 220° doivent subir une transformation pour être affichées correctement. Un pré-traitement est d’abord effectué avec un étalonnage léger et une suppression de bruit. Ensuite, il s’agit d’adapter la géométrie de l’image à celle de l’écran. Julien Houillon, superviseur XR chez PRG, explique : « L’optique Entaliya fournit une image très déformée, quasiment ronde. Nous utilisons une mire de l’optique pour remettre l’image droite puis l’adapter à la courbure horizontale de l’écran. » Pour cela, de nombreux logiciels peuvent être utilisés comme After Effect, Nuke, Flame, Resolve…
L’avis du chef opérateur
Le directeur de la photo Nicolas Eveilleau a dirigé le tournage des décors et la démo sur le plateau. Il témoigne de son expérience : « Je ne connais pas un seul chef-op qui soit content de tourner en fond vert. En mur Led, on a une vraie image, on peut fixer son exposition dessus, on peut lancer les effets en direct. Le mur Led donne une base de lumière qu’on vient ensuite retravailler. L’approche est différente du fond vert où on pose un personnage et on vient l’incruster dans un fond. Ici on pose un fond et on vient intégrer le personnage. Aussi, il y a plus de flexibilité en termes de temps de travail. La lumière en fin de journée dure une demi-heure avant de changer. En mur Led, on peut travailler une journée complète sur un décor de coucher de soleil qui a été tourné auparavant. » Nicolas Eveilleau évoque aussi les avantages du studio mur Led par rapport à un vrai rouling où il est compliqué de faire des demi-tours sans cesse (surtout sur l’A14) pour refaire une prise ou un plan sur la deuxième personne. En mur Led, une fois le décor filmé, la scène peut être refaite dix fois de suite sans délai. Pour la lumière, Nicolas a travaillé avec le plafond Led et les panneaux de Led sur dollies. « Il y a un travail de compositing : sur les panneaux du plafond on affiche du ciel mais pas seulement, pour apporter un peu de texture sur les panneaux dollies on a mis quelque chose de plus froid. »
La Venice 2 en mode xR
Un des atouts de la Venice 2 est son grand capteur très haute résolution de 8,6K, nécessaire pour le tournage des décors très qualitatifs qui seront affichés sur un mur 8K, mais aussi intéressante sur le plateau pour limiter le moirage. Le nouveau mode « very fast shutter » permettra aussi d’éviter les problèmes d’aliasing. Le double sensibilité (ISO 800 et ISO 3 200) de la Venice 2 et sa roue porte-filtres intégrée (huit filtres neutres avec un pas de 0.3, plus le clear) permettront d’adapter rapidement la Venice 2 aux changements de luminosité du fond utilisé. Selon les choix de résolution et de cadre, il sera possible d’interchanger les capteurs de la Venice originale 6K et de la Venice 2 de 8,6K. Parmi les autres caractéristiques de la Venice 2 mises en avant par Sony on trouve les 16 stops de latitude en 8,6K, l’enregistrement Raw intégré 16 bits linéaire 444 RGB et son codec adaptatif XOCN.
Couplage Venice et Crystal Led
Sony présentait également lors de cette journée sa technologie C-Led (Crystal Led) développée en collaboration avec Sony Pictures pour les besoins de l’industrie du cinéma. Le C-Led permet de composer des écrans de grande taille avec une gamme de pitchs très fins de 1,2 mm ou 1,5 mm. Jean-Yves Martin précise : « La technologie Crystal Led de Sony a vocation d’avoir encore plus de finesse pour les close-ups ou bien d’être inclue dans un décor réel. » Les points forts pour le studio xR sont l’absence totale de ventilation et donc l’absence de bruit, mais aussi le faible dégagement de chaleur qui permet de se passer de climatisation et de répondre aux normes écologiques européennes. Aussi ces écrans peuvent être installés à quelques centimètres d’un mur ou d’un plafond. Enfin, la très forte luminosité de l’écran permettrait de l’utiliser pour un backlight. Anna Doublet ajoute : « Le réglage de six niveaux de luminosité du Crystal Led permet d’adapter l’intensité du décor projeté aux exigences cinématographiques. L’homogénéité de l’image et l’angle de vue de 170° en vertical et horizontal permet d’imaginer les mouvements de la caméra variables et sans compromis. » Au-delà de la facilité d’installation, Sony met l’accent sur l’avantage du couplage Venice et C-Led et notamment la cohérence de la science couleur de l’écran et des caméras de la gamme Cine Alta. Jean-Yves Martin précise que « Sony fabrique aussi bien des composants de ses caméras que la technologie des dalles C-Led. La science couleur est donc parfaitement maîtrisée et permet de marier les deux avec un maximum d’efficacité ». Autre avantage de ces dalles C-Led pour du studio xR : le pitch fin permet de s’approcher plus près du décor.
