Mickaël Favard, Quentin Mourey, Carole Bieth et Guillaume Rabaut ont mis à profit cet arrêt imposé des captations et des productions pour étudier les technologies développées à l’origine pour l’industrie du jeu vidéo, afin de les détourner et les appliquer à la création d’un studio virtuel à moindre coût à Grenoble, en Isère.
Comme pour la plupart des studios de ce type, la modélisation se base sur le moteur Unreal Engine, de la société Epic Games. Celui-ci est accessible en open source, mais avec un système de redevance pour les usages commerciaux. Il permet de créer un espace 3D dans lequel on applique une image qui va constituer le fond du décor. Cette image peut être une photo ou une vidéo, plate ou à 360 °.
On intègre ensuite dans ces univers des objets modélisés en 3D créés soi-même ou téléchargés dans des librairies en ligne, qui peuvent être fixes ou mobiles, comme un feu, un buisson ou un personnage animé par exemple, et qui vont venir habiller et enrichir l’environnement.
Un des éléments les plus intéressants de la création de ces univers est la lumière. On peut ajouter des sources lumineuses virtuelles, mais néanmoins contrôlables via des interfaces DMX comme pour une « vraie » scène, qui sont alors pilotées à partir d’une console lumière standard en temps réel pour faire évoluer les ambiances.
Si l’image de fond est une photo HDR, le logiciel peut même récupérer les informations de lumière pour recréer des flares ultra-réalistes qui vont interagir avec les personnages. Concrètement, cela signifie que la forme du flare s’adapte à la source, par exemple en créant un faisceau qui paraîtrait issu du soleil rasant présent dans l’image.
Pour l’instant, cela fonctionne avec une image de fond fixe, mais il n’est pas encore capable de repérer les sources lumineuses dans une vidéo 360. Ce qui est impressionnant, c’est que si l’intervenant, en se déplaçant sur la scène, vient se placer en travers de ce faisceau, ce dernier se trouve coupé comme ce serait le cas « dans le monde réel », grâce à l’emploi du masque de découpe du personnage. Le rendu est ainsi très crédible et cela enrichit considérablement le décor en lui apportant la touche de réalisme qui peut parfois manquer à ce type d’environnement virtuel.
Une utilisation très pertinente de la vidéo de fond peut être de récupérer le flux d’une camera 360 en streaming, pour intégrer les intervenants dans le lieu dont ils parlent, tout en leur donnant la possibilité de réagir à ce qui est en train de s’y passer.
On imagine facilement l’intérêt que cela peut apporter au live, si les plateaux se trouvent téléportés dans les différents lieux mentionnés, soit à partir d’images enregistrées en amont, qu’elles soient fixes ou animées, soit carrément dans une scène live grâce au streaming. Seule limite pour cette dernière application, s’assurer de bénéficier d’un débit suffisant, à minima quinze Mbits/seconde, pour transmettre un flux UHD de bonne qualité.
Pour capturer ces images 360 et créer leur propre base de données de fonds possibles pour leurs plateaux, l’équipe de Favoriz s’est munie de caméras Insta 360 Pro 2.
Pour pouvoir intégrer des personnages « réels » dans un studio « virtuel », il faut bien entendu les filmer et les incruster dans le décor. En profitant du temps imposé à domicile pour faire le plus de recherche et développement possible, l’équipe a pu étudier les différentes options de conception de plateau pour en créer un dès la fin du confinement dans ce qui était auparavant un garage, pour un tarif le plus optimisé possible.
Au commencement d’une crise sans précédent affectant particulièrement nos secteurs d’activité et sans aucune commande liée à cette application spécifique il était plutôt risqué d’investir pour se lancer dans un nouveau secteur, aussi l’objectif était de viser le meilleur rendu pour le prix le plus léger.
Ils ont donc opté pour la fabrication d’un cyclo en bois, peint en vert, avec un éclairage uniforme à Leds. Pour la captation, les trois caméras Panasonic EVA-1 ont été équipées de trackers miniaturisés fixés sous les optiques. Eux aussi proviennent de l’univers du jeu vidéo, mais en détournant leur usage avec ingéniosité ils ont pu s’appliquer à un studio vidéo pour un rendu excellent.
Grâce à un réseau de capteurs aménagé sur un dallage de marqueurs lumineux placés au sol autour des caméras et du travelling, les mouvements de caméra sont repérés afin que les éléments du décor puissent les suivre. Cela fonctionne aussi bien avec les caméras sur trépieds qu’avec celle sur le système CineDrive de Kessler Crane qui automatise les travellings et panos.
Quand la caméra se déplace, les positions, échelles et angles des objets s’adaptent en continu pour donner l’impression qu’ils font partie de l’environnement au lieu d’être des images posées en aplat. Puisque l’image de fond est à 360 °, lorsque la caméra panote, cela révèle l’ensemble du décor, alors que « dans la vraie vie » elle est en train de filmer l’arrière du plateau.
Avec une machine de rendu pour chaque axe de caméra cela permet un tracking efficace et en temps réel. C’est cela qui crée le réalisme des scènes : le personnage est bien posé au sol, sans effet de lévitation, et son univers se déplace en suivant les mouvements de caméra.
Ces données de tracking, pensées pour le live, sont toutefois enregistrées pour pouvoir être retravaillées en postproduction pour des effets spéciaux ultra-léchés. Pour plus de confort d’utilisation, le studio peut être interfaçable avec le car-régie garé à l’extérieur, ce qui accroît les possibilités en pouvant utiliser les systèmes de transmission Aviwest pour intégrer des flux dans le studio ou en renvoyer d’autres vers une des télévisions du plateau, par exemple pour intégrer des duplex dans l’émission. On obtient ainsi une super configuration de direct.
Les perspectives offertes par ce type de studio sont vastes, car les applications sont diverses. On pense bien sûr en premier lieu aux plateaux réunissant un ou plusieurs intervenants autour d’un thème. La virtualisation du décor permet de penser celui-ci autrement puisqu’il devient possible d’intégrer ses personnages n’importe où, et de faire varier les décors au fil de l’émission. Par exemple sur un sujet traitant de Grenoble, on pourrait intégrer les intervenants dans le stade des Alpes puis les déplacer sur la place Notre-Dame, avant de les emmener au sommet du téléphérique de la Bastille.
Pour parler d’art, on a accès à tous les musées du monde, et pour l’astronomie on peut s’installer dans la station spatiale internationale ! Les possibilités sont infinies, puisqu’il s’agit simplement d’avoir l’image 360 du site en question. Alors qu’il est très compliqué d’installer un plateau dans certains lieux, du fait de leur exiguïté, de leur éloignement géographique ou des restrictions liées à l’endroit, avec le décor virtuel il suffit d’avoir au préalable enregistré les photos ou vidéos avec une caméra 360.
Le fait de pouvoir intégrer une vidéo live en streaming enrichit encore l’intérêt puisqu’on se retrouve dans une vraie configuration de direct. Imaginons par exemple un match dans lequel les intervenants puissent se retrouver tour à tour dans les vestiaires, les gradins, en bord de pelouse, etc. L’idée n’est pas forcément de recréer a minima un plateau type d’émission télévisée, mais d’imaginer de nouveaux concepts.
Les youtubeurs s’intéressent aux studios virtuels et les applications dans les domaines du clip ou de la fiction sont aussi considérables. Luc Serrano, superviseur des effets spéciaux.
« On résout ainsi les difficultés de toutes les scènes de voiture par exemple. Au lieu d’une voiture travelling laborieuse à opérer, on place le véhicule sur un plateau à fond vert et on intègre le paysage proprement de manière virtuelle tout en pouvant effectuer tous les mouvements de caméra possibles, grâce au système de tracking du moteur Unreal. Alors qu’auparavant il fallait placer des repères autour des véhicules pour recréer le suivi en postproduction, il peut désormais se faire en temps réel, ce qui est un vrai plus pour le réalisateur et les comédiens. »
On peut ainsi multiplier les prises sans perte de temps de mise en place et simuler les mouvements de grue les plus complexes puisque le décor suit les mouvements de caméra. À l’époque de La Main au collet, Hitchcock en aurait peut-être rêvé ?
Luc s’apprête à faire des essais dans ce studio en vue d’y fabriquer les VFX d’un long-métrage, car « le système de tracking qu’ils ont créé fonctionne très bien et se prête particulièrement aux contraintes de ce tournage ». Les débouchés d’un tel studio sont donc immenses.
À l’heure de la distanciation sociale, qui semble devoir perdurer, les enjeux sont aussi sanitaires. En faisant venir quelques intervenants dans un lieu préparé en amont, on réduit considérablement les risques de transmission d’un virus par rapport à l’installation d’un plateau sur site qui nécessite une équipe forcément conséquente.
Alors que Mickaël commençait à s’intéresser aux studios virtuels dès cet hiver, c’est la période de confinement qui a achevé de le convaincre : « Quand le car-régie se trouve au garage et que tous les événements sont annulés, il devient indispensable de repenser l’offre de service, de rebondir sur ce qui se passe plutôt que de se laisser abattre, et d’imaginer des solutions pour répondre à l’évolution probable de notre métier. »
Pensé pendant le confinement, construit à sa sortie, le plateau a pu être inauguré début juillet avec une première prestation pour le Crédit agricole en conditions de direct.
Alors que Favoriz Production fête ses dix ans, c’est un beau renouveau pour la société grenobloise, qui s’ouvre ainsi de nouvelles perspectives et de nouveaux marchés.
Article paru pour la première fois dans Mediakwest #38, p. 50-52. Abonnez-vous à Mediakwest (5 numéros/an + 1 Hors série « Guide du tournage) pour accéder, dès leur sortie, à nos articles dans leur intégralité.
[envira-gallery id= »117848″]
