Technologie et innovations dans le sport

Prises de vue aériennes, caméras embarquées, réalité augmentée. Suivant quatre grands acteurs de la production d’événements sportif, nous allons faire un état des lieux de ces technologies, découvrir des innovations récentes et imaginer ce qui nous attend dans les années à venir.

XD MOTION : MACHINERIE INNOVANTE ET REALITE AUGMENTEE

XD Motion est un prestataire incontournable dans le domaine de la caméra en mouvement stabilisée : hélicoptère, grue géante, drone, câble-cam, bras robotisé. Son fondateur, Benoît Dentan, est aussi l’inventeur de plusieurs outils innovants comme le cablecam X Fly, le drone Captif et le robot travelling x Track.

Quelques exemples : nous devons au X Track les images de travellings rapide en bord de piste sur les courses d’athlétisme, au X Fly 1D les travellings aériens sur 1 km d’une caméra qui se déplace à 80 km/h sur l’épreuve de skicross de Peyonchang 2018. Plus récemment, nous devons au X Fly 3D les images en réalité augmentée pour la première fois au Stade de France le 19 mai 2021 lors de la finale de la Coupe de France PSG/AS Monaco. Le clip de début de match faisait apparaître les villes de Paris et Monaco modélisées en 3D (sur Pixotope/Unreal) en lieu et place du terrain de foot, avec des effets de travelling très cinématographiques, visible sur la chaîne YouTube « XD Motion ». « On trouve les outils techniques de XD Motion sur tous les stades de France, d’Europe et du monde et sur tous types d’événements : JO, championnats du monde, Asian games, Commonwealth games, etc. », précise Benoît Dentan.

Revenons sur ces outils. Le X Fly est un système cablecam avec Dolly et tête gyrostabilisée qui se décline en plusieurs configurations : le X Fly 1D se déplace à la manière d’un téléphérique sur deux câbles, entre deux points pouvant être espacés de plus de 1000 m, le X Fly 2D permet d’ajouter un déplacement vertical et le X Fly 3D, rattaché à huit câbles peut se déplacer dans un plan horizontal de 350m x 350m auquel on ajoute un déplacement vertical jusqu’à 60 m. Il présente ainsi une liberté de mouvement proche de celle du drone mais avec une grande précision de positionnement et de contrôle de mouvement. Il supporte 25 kg et peut se déplacer jusqu’à 60 km/h (17 m/s). Désormais, il est muni d’un système anti-collision. Associé à un système de tracking, il peut être utilisé pour la réalité augmentée. Les données de position XYZ, angles XYZ et position zoom/focus peuvent être envoyées à n’importe quel moteur 3D supportant le protocole FreeD. Le X Fly 3D est désormais présent sur de nombreux événements en salle comme en extérieur : football, rugby, basket, volley, hand ball, tennis, athlétisme, ski… avec de plus en plus d’installations fixes (comme à l’Accor Arena de Paris).

Autre invention de XD Motion, le drone Captif qui permet d’embarquer des caméras HD et 4K sur tête, stabilisées équipées de zooms grand angle (jusqu’à 10 kg de charge). Il est relié au car-régie par une fibre transportant tous les signaux et l’alimentation à la manière d’une caméra de plateau. La fibre laisse le drone monter jusqu’à 100 m et permet de l’alimenter en continu afin de couvrir un événement en live sans limite de durée. Cerise sur le gâteau, il peut être équipé d’un panneau Led de 1000 W. « XD Motion, qui est partenaire officiel des JO pour les caméras spéciales, enverra prochainement quatre drones Captifs au JO de Tokyo », ajoute Benoît Dentan.

Futures innovations chez XD Motion

XD Motion ajoutera très prochainement des options sur les câble-cams comme le super ralenti déjà opérationnel sur les rails de travelling rapide x Track. « Nous évoluons vers le 8K live en HDR et HFR. XD Motion a été le seul prestataire approuvé par la NHK en 8K Live, ils sont venus du Japon monter des caméras 8K et ont validé que notre système était compatible 8K », précise Benoît Dentan.

XD Motion travaille également sur la VR 360, déjà applicable à tous les systèmes en live pour le deuxième écran. Début 2021, un concert de Marina Kaye a été capté en live 8K VR 360 par deux caméras commutées, en partenariat avec Orange. Concernant le sport, des essais en 8K VR 360 ont déjà été effectués au Stade de France fin 2020 sur avec le X Fly 3D. Ces images impressionnantes sont visibles en 8K sur la chaîne YouTube « XD Motion », avec possibilité de naviguer et zoomer dans l’image à la souris. « L’idée est de permettre au spectateur de faire sa propre réalisation », ajoute Benoît Dentan.

Enfin concernant la 5G, XD Motion est en test avec Orange et Nokia sur le site de Saint-Quentin-en-Yvelines. La 5G permet de transporter une image UHD avec commande de caméras à distance. « La 5G va faciliter le câblage et l’installation, en évitant de tirer des fibres ou déployer des liaisons HF 2,5 GHz qui sont complexes et polluées au niveau des fréquences. Aussi nous allons pouvoir piloter beaucoup de data à des coûts extrêmement faibles », précise Benoît Dentan.

INNOVATIONS CHEZ AMP VISUAL TV

AMP Visual TV, spécialiste de la captation live de grands événements sportifs doit en permanence innover et créer ses propres outils pour s’adapter aux nouvelles demandes.

Réalité augmentée pour le son

Pour AMP Visual TV, une nouveauté en 2020 a été de pallier l’absence de public dans les stades grâce à des habillages audio. Une sorte de réalité augmentée pour le son. Sur tous les matchs de l’équipe de France, pour TF1 et M6, il a fallu recréer les ambiances de supporters tout en conservant la VI (version internationale) avec bruits des joueurs, du ballon, de l’arbitre, etc. Jérôme Dugast, directeur de la communication d’AMP Visual TV, raconte : « Il a fallu faire des boucles et créer des banques de sons pour chaque phase de jeu : un but, une faute, la progression d’un joueur vers les buts, etc. ».

Pour cela un gros travail de récupération de sons d’autres matchs – idéalement qui ont eu lieu dans le même stade pour la cohérence acoustique et avec des supporters parlant la même langue – a été effectué. Tous ces sons doivent être mixés en live. « Pour la première fois, on a été obligé de se poser et de spécifier les attentes éditoriales. Selon le diffuseur (TF1 ou M6) les ambiances devaient être plus ou moins soutenues et contrastées selon les phases de jeu », précise encore Stéphane Alessandri, DGD des activités internationales pour AMP Visual TV.

L’habillage à distance

AMP couvre de nombreux de matchs de foot en Afrique : Champions League, qualifications pour la coupe du monde, etc. Pour un meilleur contrôle de l’habillage, les images sont envoyées par satellite (Globecast) au Media Center de Letsee, la division digitale d’AMP Visual TV à Paris où l’habillage est effectué en live, puis repartent par satellite en Afrique. Malgré les deux encodages (aller/retour) la qualité est très satisfaisante et la latence n’est en rien un problème. AMP a mis en place un service spécial pour les process liés à l’habillage et la réalité augmentée. Ce service a développé la suite logicielle Cast (Foot cast, Cyclo cast, Rugby cast…) préformatée pour être très facile d’utilisation. « L’idée est qu’à partir d’un PC assez simple, un nouvel opérateur est capable de comprendre le logiciel en une heure. La connaissance du sport devient ainsi plus importante que la maîtrise de l’outil », précise Jérôme Dugast.

Réalité augmentée

Sur le départ du Vendée Globe, pour la première fois AMP Visual TV avec Papa Sierra (spécialiste des prises de vues aériennes) et Trimaran pour les VFX 3D, sont venus dessiner la ligne de départ de la course sur l’eau en réalité augmentée. Une image entièrement géoréférencée a pu être récupérée depuis un hélicoptère avec caméra sur plate-forme gyro-stabilisée GSS. La prouesse n’est pas tant d’afficher la ligne de départ en 3D, mais d’avoir validé le process permettant de récupérer des images parfaitement géoréférencées depuis un hélicoptère, et qui pourra être réutilisé ailleurs. « Cette expérience ouvre des portes sur les sports de demain. Sur le cyclisme où l’aspect découverte de la région a son importance. Nous allons être capables sur un plan large de positionner automatiquement le nom des monuments ou des lieux », nous dit Jérôme Dugast.

Nouveau système Pelicam’s

Une innovation récente d’AMP Visual TV est le système Pelicam’s : une caméra Atom One SSM500 de Dream Chip permettant des supers ralentis à 500 images/s, montée sur une petite grue placée derrière les buts sur le terrain de foot. Aucun opérateur n’est requis sur place. Le bras de la grue, le PTZ de la caméra et la colorimétrie, tout est pilotée depuis le car-régie, notamment grâce au système de télécommande universel de CyanView pour la caméra.

Caméras embarquées sur les vélos

Pour les derniers championnats du monde de cyclisme sur piste, AMP Visual TV a développé un système permettant d’embarquer des micro-caméras sur les vélos. La caméra est placée sous la selle en vue arrière. Alimentée sur batterie, elle fournit un signal vidéo HF. « Comme toutes les caméras embarquées, ces plans servent à s’immerger dans la course, ce système nous fournit des gros plans du visage en plein effort du coureur qui se trouve juste derrière », précise Stéphane Alessandri.

Utilisation prochaine de la 5G

Pour AMP Visual TV, la 5G sera un outil supplémentaire, comme l’a été la 4G pour remplacer des stations satellites de reportages. La 5G pourra remplacer une partie de l’activité mais aussi en créer de nouvelles. Il est possible qu’à terme, la 5G grand public (jusqu’à 3,5 GHz) permette de couvrir des marathons intra-muros. « La 5G à 26 Ghz – à courte portée mais qui offre les meilleurs débits – permettra sans doute de remplacer les liaisons traditionnelles dans un stade. Ce sera intéressant pour économiser du câble », précise Stéphane Alessandri. En revanche pour le cyclisme par exemple, le couverture 5G ne sera probablement pas suffisamment déployée sur l’ensemble du territoire.

Nouveau championnat ETCR

Parmi les nouveautés, AMP Visual TV va couvrir le Championnat de Eurosport Pure ETCR (Electric Car Racing). Cette nouvelle course de voitures électriques est à mi-chemin entre la compétition et le jeu. La première aura lieu en juin 2021. Quatre caméras et deux micros seront embarqués dans chaque voiture et connectés à un réseau IP en HF. Dans chaque véhicule, les quatre images des quatre caméras seront transmises en quad HD via un encodeur HEVC 4K. Le réseau va permettre également de récupérer des data des véhicules et servir de réseau d’interphonie sur lequel les pilotes pourront communiquer entre eux ainsi qu’avec et les managers.

YEWTH : EVOLUTION DE L’AR ET DE L’XR DANS LE SPORT

En 2019, on pouvait lire dans le magazine Forbes : « Au cours des deux prochaines années le marché du XR devrait être multiplié par huit, atteignant une taille de marché estimée à plus de 209 milliards de dollars d’ici 2022 ». Patrick Jeant est témoin et acteur de cette évolution : après trente ans chez Eurosport, dont il fut directeur de l’innovation et de la post-production, il a créé en 2019 Yewth (yewthstudios.com), société de conseil et service en innovation. « J’ai toujours été une boîte à idée avec un bagage technique », précise- t-il. Il est notamment le co-inventeur du Cube des JO de Peyongchang en 2018, une « cave immersive » de 3m x 3m x 3m en murs de Led avec deux caméras trackées, ce mini studio XR qui a remporté l’IBC Innovation Awards for content creation et le CIO Golden Ring Best Innovation. Avec Patrick Jeant, nous allons aborder les différents aspects de la RA et du studio virtuel dans le sport.

Moteurs 3D

Patrick Jeant : « Il y a deux ou trois ans, les possibilités techniques en matière de RA ne permettaient pas d’aller très loin. Le moteur de jeu Unreal (de Epic games) est implémenté chez tous les distributeurs d’outils graphiques (Vizrt, Pixotope, Ross…), mais pour des applications broadcast, il faut ajouter des couches qui ne sont pas encore développées dans le moteur. Comme on parle de live et de temps réel, plus on accumule les briques tierces parties, plus on va perdre de temps et d’efficacité avec le risque que l’ensemble ne soit pas compatible et ne soit plus temps réel. Aujourd’hui, Unreal et Unity sont en train de développer tous les composants qui manquent au moteur de jeu pour pouvoir être utilisé en studio virtuel. »

Murs à Led

P.J. : « L’utilisation de murs de Led en lieu et place de fonds verts présente des avantages certains. Le fond vert renvoie une teinte verte sur les personnages (réels), qui doit être supprimée. Avec les murs de Led, la personne est éclairée par l’image du fond et donc va se teinter avec la bonne couleur. L’affichage Led présente cependant une difficulté : lorsque l’angle de la caméra change par rapport au mur de Led, la colorimétrie de l’image captée est modifiée. Lors des derniers JO, on avait besoin de faire ces corrections colorimétriques à la main. Aujourd’hui, le système XR de Disguise a cette correction intégrée. »

Tracking

P.J. : « La partie tracking est de plus en plus simple. En 2021, on a des solutions de tracking qui sont très bien intégrées. Les solutions sur étagères existent comme nCam, Stype ou Mo-Sys (tête robotisée). Le point de vigilance le plus important dans le tracking c’est la correction de lentille (déformations en barillet et en coussinet) à appliquer dans le moteur de jeu, la caméra du moteur de jeu étant parfaite. »

Applications de Studio Virtuel

P.J. : « Un produit très abouti comme Disguise propose des améliorations (dans la r18) comme par exemple le calcul de rendu en cluster. Une scène compliquée à calculer et de très grande taille peut être découpée en plusieurs fenêtres. Chaque machine (nœud de rendu du cluster) va se charger de calculer une petite section de l’image et l’afficher avec les autres de manière parfaitement synchrone. La dernière mise à jour de Disguise propose également le support de ACES. Dans la version précédente était déjà présente l’extension de set, permettant d’étendre la fenêtre réelle avec les murs de Led sans qu’on voie la différence. »

L’avenir de la RA dans le sport

P.J. : « Disguise est fait au départ pour les concerts où il y a un impératif de temps réel. Tout est séquencé dans une time line de manière simple et intelligente : pilotage de bras robotisés, de moteur de jeu, de caméras robotisées, de la lumière, etc. C’est une solution, tout-en-un. Cela n’est pas encore entré dans les mœurs pour le sport mais les possibilités sont sans limites. On pourrait scripter la présentation ou l’intro d’un match à la manière d’un concert avec Cue Pilot, compatible avec Disguise et utilisé sur l’Eurovision. Autour d’un terrain de basket, on a des panneaux Led et un cube au-dessus du terrain. En sport, les gens n’ont pas encore réalisé que l’on peut connecter tout ça, faire sortir des objets des panneaux de Led et les faire entrer à nouveau dans le cube. Il y a aussi un potentiel commercial au niveau des sponsor, on peut imaginer un logo ou une mascotte sortir des écrans et se promener sur le terrain. Ces effets sont déjà utilisées sur les tournois d’e-Sport, mais pas encore dans le sport. »

Capture volumétrique

P.J. : « Pour créer des objets 3D, la capture volumétrique (photogrammétrie) se développe très vite, il y a des outils sur le marché comme Reality Capture, Metashape et Meshroom qui permettent de reconstruire un modèle 3D à partir d’un Scan 3D et de photos. Même sur les iPad (derniers modèles), il y a un système de captation de profondeur, permettant de sortir un nuage de point, et malgré quelques problèmes de raccords de texture, cela marche très bien pour scanner des volumes de la taille d’une petite salle. Il est souvent plus efficace de capturer la réalité plutôt que d’essayer de la reproduire. Je suis en train de développer un scanner pour capturer l’enveloppe des personnes, l’idée étant d’avoir une sorte de Photomaton 3D, générant des avatars 3D prêts à être animés à un prix abordable. Par ailleurs je commence à distribuer les combinaisons de motion capture de Xsens et les gants Manus pour les mains. Pour le visage, un simple iPhone et le soft Live Link Face de Unreal suffisent. »

ROSS : AMELIORER L’EXPERIENCE AU STADE

Jamais auparavant, le nombre croissant de fans qui suivent le sport à la TV n’ont pu voir autant de graphiques attrayants accompagnés de données en temps réel à l’écran. Les statistiques en direct, comme la distance parcourue par un joueur, l’angle d’inclinaison d’une moto ou le rythme cardiaque d’un athlète, sont utilisées pour améliorer la narration et augmenter l’intérêt. En ce point, l’offre télévisuelle est plus riche que l’expérience au stade.

Avec la réouverture des espaces événementiels qui se profile, il n’est pas surprenant que les stades cherchent à reproduire cette offre riche en contenu directement sur place et c’est là que la gestion synchronisée du contenu graphique dans les écrans – XPression Tessera Led de Ross Video – entre en jeu. Cet outil permet de pousser toujours plus loin la gestion des écrans dans les stades avec notamment la gestion d’un espace pixellaire quasi illimité : carré central, murs d’image, rubans en bords de terrain mais aussi les écrans dans les salons VIP, couloirs, accueil, etc. Il permet l’affichage de données en direct mais aussi l’intégration des médias sociaux offrant une expérience au stade riche en contenu, plus interactive, augmentant ainsi l’engagement des supporters.

Pour mieux comprendre, citons deux exemples. D’abord sur l’intégration des réseaux sociaux et l’application de Ross Inception Social : il est possible de réaliser un concours pour faire gagner une casquette de l’équipe en demandant aux spectateurs dans le stade (et 500 mètres autour d’un point GPS) d’écrire un tweet drôle/intéressant sur son équipe. Les résultats seront affichés sur les écrans du stade (écrans principaux, annexes, salle VIP) et les personnes présentes pourront voter pour la meilleure citation.

Autre exemple concernant la publicité : le stade a un partenariat avec un grand annonceur pour les jours de match, mais ils veulent ouvrir des espaces dédiés à des événements non sportifs (rendez-vous d’entreprises, team building…), le même logo peut être utilisé sans un travail de graphisme supplémentaire dans les écrans géants, mais aussi dans les salles et les couloirs jusqu’à l’accueil, avec une simple action sur le Ross Dashboard tactile ou sur un panel physique.

L’offre de Ross, appelée Unified Venue Control, permettant de dynamiser le contenu diffusé dans les stades et d’augmenter les revenus publicitaires, intègre une grande partie des produits Ross. Utilisée comme tel, elle amènerait une complexité dans la réalisation, avec une augmentation des erreurs et une baisse de la réactivité si cela n’était pas couplé avec un système de contrôle global. C’est pour ça que le système de contrôle Dashboard a évolué avec les années pour permettre une meilleure gestion centralisée du workflow sport. Benoît Rousseil, directeur des ventes Europe du Sud, Afrique et Moyen Orient chez Ross, précise : « Pour le stade, le système de gestion de l’affichage n’est plus qu’un centre de coût, mais un investissement rentable ».

Dernièrement, Ross a inclus la technologie XR (extended reality), dans sa solution Voyager basée sur le moteur de jeu Unreal de Epic (permettant aussi de l’utiliser pour le AR et VS). Il a été utilisé dans plusieurs chaînes sportives (avec des belles références et annonces à venir) pour dynamiser et ajouter du contenu impossible à gérer avant. Le travail de Ross dans le domaine de l’XR lui a permis d’obtenir un Epic MegaGrants il y a quelques mois.

Article paru pour la première fois dans Mediakwest #42, p. 32-36. Abonnez-vous à Mediakwest (5 numéros/an + 1 Hors série « Guide du tournage) pour accéder, dès leur sortie, à nos articles dans leur intégralité.