Réalité Augmentée et sport : vers des images en 4k

Le buzz entourant la 4K, ou Ultra Haute Définition, était manifeste lors des salons professionnels de l'année dernière. Une pléthore de nouveaux produits a été lancée pour assurer la compatibilité avec la 4K à toutes les étapes du workflow de diffusion. Pour l'acquisition d'images, la nouvelle gamme de caméras professionnelles Ultra HD de Sony, c'est-à-dire les modèles F5 et F55, ainsi que les nouvelles caméras de RED et de Blackmagic, suscitent un intérêt considérable.
f0c3a021df8a28f4e3936660c10f3aba.jpg

 

L’engouement pour la 4K fait ressortir le besoin d’objectifs de la meilleure qualité possible, qui offrent au capteur de la caméra une résolution suffisante pour enregistrer des images en 4K nettes et sans aberrations. Vient ensuite la question de la bande passante : les connexions avec ou sans fil doivent permettre la transmission d’images en haute résolution.

S’il est vrai que seule une poignée de diffuseurs et d’opérateurs de télécommunications possèdent l’infrastructure nécessaire pour mettre la 4K à la portée du public, les progrès en matière de codage ainsi que le déploiement de la fibre optique permettront de surmonter ces obstacles à moyen terme.

Au fur et à mesure de cette évolution, les détenteurs de droits et les distributeurs de contenus rechercheront des revenus supplémentaires afin de compenser le coût de la transition vers la 4K pour leurs productions et leur infrastructure. Une méthode permettant de récupérer ces coûts est l’utilisation de la réalité augmentée pour afficher des contenus publicitaires pendant des événements en direct, notamment les rencontres sportives.

 

Des caméras bien instrumentées

La précision extrême du contrôle des mouvements et la performance des objectifs utilisés sont des ingrédients essentiels du succès de toute application en 4K. Cependant l’ajout de la réalité augmentée impose la prise en considération d’un facteur supplémentaire : il faut être capable de délivrer des données très précises sur la position horizontale et verticale des images en Ultra Haute Définition, ce qui est important lorsque la caméra effectue un zoom très rapproché. Des capacités dont sont capables les têtes de caméra avec encodeurs telles que les modèles i-Series de Vinten.

Le but de tout système de réalité augmentée, tel que ceux qui sont utilisés pour insérer le logo d’un partenaire sur le terrain lors d’un match international de rugby, est de créer une image superposant la prise de vue réelle et une autre calculée à partir d’une scène en 3D de manière à ce qu’elle s’intègre à l’image réelle.

Les encodeurs dans la tête de caméra mesurent son orientation, et ceux de l’objectif mesurent la position du barillet ou des moteurs de ce dernier, et tout décalage entre les éléments optiques et les encodeurs se traduit par l’envoi de données erronées au moteur de rendu. Or, puisque ce sont ces données qui définissent l’angle de prise de vue et le champ de la caméra virtuelle utilisée pour le modèle 3D, toute erreur nuit à l’illusion produite par la superposition des images réelles et virtuelles.

Lors du développement des produits i-Series de Vinten, la résolution standard a été calculée pour répondre aux exigences d’une production en haute définition 1080p en utilisant un des objectifs qui possèdent la plus longue focale, tels que le Fujinon XA101x8.9 BESM, qu’une production sportive traditionnelle pourrait déployer.

Lorsque l’objectif est réglé sur un niveau de zoom maximal, l’angle de vue peut n’être que de 36 minutes, soit 1/600e des 360 degrés que la tête de caméra peut observer. La résolution horizontale d’une image en HD 1080p est de 1920 pixels ; en multipliant cette résolution horizontale par 600, on obtient le nombre de points de données que la tête de caméra doit être capable de mesurer afin que 36 minutes d’angle horizontal correspondent à 1920 pixels.

Le résultat, pour les 360 degrés de rotation de la tête, est que celle-ci doit pouvoir mesurer 1,15 million de points de données pour indiquer précisément l’orientation de la caméra au pixel près, au niveau de zoom maximal. Indiquons, à titre de comparaison, que les têtes encodées i-Series de Vinten sont capables de mesurer 1,48 million de points de données sur les 360 degrés de rotation horizontale, ce qui est plus que suffisant pour mesurer l’orientation de la caméra au pixel près.

Lorsque les données de position dans un système de réalité augmentée sont représentées par moins d’un point de données par pixel, le déplacement de la caméra ne peut être reproduit avec fidélité lors de l’incrustation des contenus virtuels, puisque l’ordinateur effectuant le rendu ne connaît pas précisément l’angle de la caméra. Il peut même arriver que l’ordinateur effectuant le rendu ne sache pas où incruster l’image virtuelle, ce qui donne lieu à une image floue dès que la caméra se déplace, voire à un effet de « flottement » des incrustations par dessus les contenus réels.

Pour les applications de réalité augmentée en 4K, le nombre de points de données nécessaire est deux fois supérieur, soit 2,35 millions de points pour les 360 degrés de rotation de chacun des axes (horizontal et vertical) de la caméra. Cela semble supérieur à la résolution dont sont capables les têtes de caméra Vinten, mais la technologie de l’encodeur utilisé dans les modèles i-Series peut en réalité offrir 12 millions de points de données pour 360 degrés de rotation ; les têtes de caméra et l’interface de réalité augmentée (VRI) étant conçues pour offrir cette résolution sans modifications matérielles, il suffit à un ingénieur de quelques minutes pour mettre à jour l’interface.

Cette mesure ultra précise de l’orientation de la caméra est essentielle pour les productions en 4K utilisant la réalité augmentée, puisqu’elle permet de veiller à ce que les graphismes soient parfaitement positionnés et donc à ce qu’ils semblent faire partie de la scène réelle.

 

La Ultra HD complexifie la gestion des données

En ce qui concerne les données sur le zoom et la mise au point, il est peu probable que les fabricants doivent modifier les encodeurs lorsqu’ils mettront au point de nouveaux objectifs 4K. Les encodeurs des objectifs HD offrent habituellement environ 55 000 points de données entre le plus grand angle et le zoom le plus rapproché. Dans le contexte d’un tournage en 4K utilisant un objectif 4K, à taille égale de capteur, la différence de focale entre le grand angle et le zoom est la même qu’en HD. Les 55 000 points de données offerts par l’encodeur devraient donc suffire au moteur de rendu pour appliquer un modèle mathématique permettant de calculer où se trouve le champ de vision réel, et quelle distorsion appliquer à l’image virtuelle pour qu’elle s’intègre à la scène réelle.

La 4K exige des systèmes de transmission vidéo offrant une bande passante plus importante, et il serait donc raisonnable de penser que les informations de position de la caméra évolueront de la même manière, nécessitant un débit de données quatre fois supérieur entre le boîtier VRI et l’ordinateur effectuant le rendu, ce qui pourrait dépasser la capacité de la liaison série entre eux. Ce n’est pas le cas du système Vinten, qui a été conçu de manière à ce que tous les calculs soient réalisés dans le boîtier VRI, les paquets de données transmis en sortie présentant donc tous la même taille et le même format, quel que soit le niveau de détail de l’image ou des encodeurs.

Une augmentation de la fréquence d’images (qui permettrait un meilleur rendu des mouvements en 4K) se traduirait par un volume de données plus important à transmettre entre le boîtier VRI et le moteur de rendu. Cependant, le boîtier VRI offre une puissance de calcul et une bande passante suffisante pour traiter les données à des fréquences d’images deux fois supérieures à celles actuellement utilisées.

Les productions 4K du futur ne feront plus seulement appel aux dernières technologies disponibles en matière de caméras, d’objectifs et de transmission, mais elles exigeront également des accessoires de caméra précis et à haute performance.