Depuis plus d’une décennie, les éditeurs de solutions pour le studio virtuel et le graphisme temps réel pour le broadcast ont complété leurs offres produits afin de répondre aux exigences de la réalité augmentée. Avec le studio virtuel, divers flux vidéo et des éléments de décors virtuels sont incrustés sur les fonds verts ou les murs d’images d’un studio TV. La Réalité Augmentée a ouvert le champ des possibilités. Des décors 3D et des informations sont ajoutés en temps réel avec une géométrie et un éclairage cohérent avec l’environnement réel, aussi bien en studio, salle de concert, stade ou décor naturel. Appréciée pour l’événementiel et pour les émissions de flux, la RA bénéficie d’une liberté croissante dans le choix des caméras, des lieux et des sujets traités. « Les principes, à la base, n’ont pourtant pas changé depuis douze années que je fais de la réalité augmentée pour la TV, assure Jean-Sébastien Audemard, directeur d’Hasta Production. Mais le procédé a été considérablement dynamisé ces dernières années par les progrès de la technologie, avec des moteurs de rendu aptes à générer des modèles 3D de meilleure facture et des systèmes de tracking caméra performants. » À condition de veiller à certaines précautions de mise en œuvre.
Un marché exigeant
Les principaux leaders en studio réel et augmenté sont Orad, Ross Video et Vizrt (Visualization in Real-Time), une société norvégienne spécialisée en graphisme et en 3D temps réel. Fondée en 1993 en Israël, la société Orad Hi-Tec Systems s’est diversifiée depuis dix ans dans l’habillage TV et les retransmissions sportives. Un de ses points forts est de maîtriser non seulement le logiciel mais aussi le matériel, avec une électronique conçue sur-mesure, qui sait gérer jusqu’à quatre entrées et quatre sorties HD temps réel avec un faible temps de latence. Parmi les nouveautés, une nouvelle génération de shaders temps réel sachant gérer de multiples réflexions, et une nouvelle fonction de chroma key interne. « L’évolution est très rapide en RA, avec une forte poussée du marché depuis début 2014. Un des challenges techniques vient du dimensionnement du tracking. Il faut arriver à conserver la précision lorsqu’un événement se déroule dans une salle de 45 mètres… Un autre challenge est d’industrialiser le procédé. L’image doit être enrichie avec des écrans, des décors et des personnages virtuels de qualité, tout en proposant des prix confortables », résume Guillaume Godet, VP Ventes et Marketing chez Orad France. De son côté le Canadien Ross Video met en avant la simplicité de son offre logicielle. Leur moteur de rendu Xpression est doté de toutes les fonctionnalités nécessaires pour assurer aussi bien l’habillage d’antenne, l’incrustation de logos et le studio virtuel jusqu’à la RA. Au NAB, le constructeur, qui s’est illustré avec un workflow complet fonctionnant en 4K, présentait « sa solution complète pour la RA grâce à l’acquisition en 2014 d’Unreel, un logiciel de tracking qui vient compléter l’offre, détaille Benoit Rousseil, directeur ventes Europe du Sud. Cette solution complète (pied robotisé, Unreel et Xpression) a été utilisée en partenariat avec Euromedia pendant le défilé du 14 juillet. »
Une offre diversifiée
Il faut aussi compter avec le Français Hybrid TV, une société dont la technologie est issue de travaux développés à l’INA dans les années 90. Le fabricant est connu pour son approche du studio virtuel avec zéro latence et compte parmi ses clients fidèles BFM TV depuis 2005. La solution Hybrid qui intègre un moteur de rendu 2D/3D nommé Krypton se décline en deux versions : Trackless (pour un studio virtuel à moindre coût, avec un fond vert et des caméras fixes) et Tracking, pour des applications plus complexes de studios virtuels et de RA. Autre challengeur, l’Espagnol Brainstorm Multimedia propose une suite d’outils pour le studio virtuel et la RA (Infinity Set), pour l’habillage TV (Aston 3D), les news (BrainNews), les décors 3D temps réel (eStudio), la diffusion broadcast (OnDemand)…
Il a présenté au NAB « Video TeleTransporter », un système temps réel pour combiner décors virtuels 3D temps réel, présentateurs réels et vidéos pré-enregistrées. Plus récent sur le marché, l’Anglais RT Software a été fondé en 2004 suite à un projet co-développé avec BBC News, qui a permis de commercialiser tOG-3d. Ce logiciel de création 2D/3D d’habillages TV et de studios virtuels en multi-caméras HD comprend une solution trackerless qui supporte quatre caméras avec un seul PC. Mais pour réussir une application de RA, tout particulièrement avec un tracking à base de reconnaissance d’images, Luke Harrison, Technical Product Marketing Manager de RT Software, insiste sur « la nécessité de bien connaître les caractéristiques de l’optique utilisée qui diffèrent non seulement entre modèles mais aussi entre deux optiques de même modèle. »
Le tracking au cœur de chaque projet
La réussite d’une application de RA est largement tributaire de la qualité du tracking caméra dont il existe deux approches, une matérielle avec l’encodage mécanique des supports de caméras, et une logicielle par analyse de contenu d’image. Chaque projet est différent confirme Eric Daubry, superviseur grues TV chez TSF : « Pour l’anniversaire du débarquement sur France TV, pour des raisons de logistique, nous avons utilisé un bras léger équipé d’encodeurs externes. En revanche pour les plateaux Canal Football Club et Champions League, nous avons retenu la grue télescopique New Technocrane avec encodeurs internes, qui est la meilleure réponse en studio pour les émissions en direct et en RA. Pour d’autres prises de vues, portable, steadycam, dolly, un tracking optique de type Ncam peut très bien fonctionner s’il est utilisé à bon escient, même s’il se révèle plus sensible à l’environnement. » Un autre exemple est donné par la journée marathon du Téléthon du 6 décembre dernier sur France 2, où le producteur souhaitait incruster un écran virtuel avec le compteur de dons directement sur la Tour Eiffel en arrière-plan. En charge de la prestation technique, TSF a mis en place des solutions de tracking qui différaient suivant les trois axes caméra choisies pour la RA. Les informations de tracking étaient ensuite envoyées sur quatre renders HDVG Orad dans lesquels étaient ajoutées les différentes sources vidéo réelles et virtuelles via deux contrôleurs.
Bien préparer l’événement
L’insertion de la RA sur le réel filmé doit être préparée soigneusement en amont par le graphiste en charge des effets visuels. « En particulier pour les événements en extérieur, nous étudions à l’avance le lieu en fonction du jour et de l’heure, de la position du soleil, des ombres portées, afin d’imaginer différents scénarios. Il faut être au plus proche de la lumière réelle, même si le temps est couvert ou ouaté », confie Jean-Sébastien Audemard. Pour la retransmission du Téléthon, il fallait anticiper sur les conditions de tournage en extérieur au cœur de l’hiver. Différents scénarios ont été préparés par Hasta Production pour incruster le compteur virtuel, dont un temps bouché où il fallait ajouter de la brume avec de la pluie. « Car la RA est toujours incrustée par-dessus l’image filmée, et doit vraiment être intégrée afin de ne pas donner l’impression d’un collage », complète Jean-Sébastien Audemard. Les conditions climatiques peuvent apporter d’autres difficultés. Ainsi pour le match PSG contre Barça sur Canal+, le tracking par analyse d’images avec Ncam n’était pas dans les meilleures conditions du fait de conditions de lumière variables, avec un coucher de soleil et des ombres qui montaient sur le stade.
Les artisans de l’encodage mécanique
Les constructeurs de supports robotisés de caméras (Technocrane, Shotoku, Ross Video, Vinten…) commercialisent certains de leurs modèles avec un encodage interne permettant le tracking. Ainsi Ross Video propose des pieds robotisés et encodés, les CamBot 500-600-700 et les Furio VR1 et VR600 dont la tête est aussi encodée. Le logiciel Unreel sert de passerelle entre cet encodage et le moteur de rendu Xpression. « Pour les caméras, l’exigence est d’avoir des objectifs numériques car ils savent communiquer avec la tête robotisée. Pour les applications RA, Unreel fournit une bibliothèque d’une vingtaine d’optiques, essentiellement Canon et Fujinon, avec leurs caractéristiques qui ont été précisément mesurées, focales, aberration chromatique, etc. », précise Benoit Rousseil.
Un autre expert en robotisation est le Japonais Shotoku Broadcast Systems, qui a encodé certains de ses produits. Au NAB, le fabricant a présenté deux nouveaux produits encodés, la tête SG900VR et le TP200VR XY, un pied assez léger pour des caméras de petites à moyennes dimensions. Une autre approche est celle de la société croate StypeGRIP, qui commercialise un kit compact et portable qui vient se placer sur les caméras grues, et permet de suivre et de mesurer très précisément leur déplacement dans l’espace 3D. Les déplacements d’une dolly sur un rail peuvent aussi être transmis. Les données sont transférées en temps réel à un moteur de rendu pour du studio virtuel ou augmenté. Auparavant, le kit StypeGRIP était disponible uniquement pour les grues Stanton Jimmy, mais au dernier NAB le fabricant a annoncé la sortie d’un kit pour les grues CamMate.
L’offre LiveTrack d’AMP VISUAL TV
La solution LiveTrack proposée par AMP VISUAL TV vise la facilité de déploiement et de paramétrage pour les workflows live. LiveTrack, dans sa configuration actuelle, comprend la technologie de tracking Ncam et le moteur graphique de VIZRT. Cela pourrait être un autre moteur graphique car Ncam fonctionne, entre autres, également avec Orad.
LIVE TRACK a notamment été mise en œuvre cette année sur les Internationaux de Tennis de Roland Garros pour EUROSPORT International, sur une émission de jeux produite par AIR PROD “Tout le monde joue avec la mémoire” et, plus récemment, lors des cérémonies du 14 juillet pour TF1. La chaine souhaitait en effet présenter en détail l’avion RAFALE grâce à une modélisation 3D posée sur les pelouses des Invalides.
