Spécialiste de la production virtuelle et des innovations technologiques utilisant la réalité augmentée, la jeune entreprise propose des outils et services qui se veulent particulièrement ouverts et intuitifs.
Comment oARo est arrivé sur le marché du tracking et du temps réel ?
Solidanim, petit studio français indépendant créé en 2007, spécialisé en animation 3D et motion capture, s’était engouffré dans la niche de la prévisualisation 3D temps réel en plateau en proposant une première solution de tracking en 2014, nommée le SolidTrack. Cette caméra de profondeur scannait, en temps réel, un espace réel et analysait de nombreux points par algorithme de distance pour en déterminer les mouvements de caméra en temps réel. Fin 2021, Solidanim fonde oARo pour positionner sa filiale comme spécialiste des innovations de tracking de caméra et des services dédiés à la production virtuelle en plateau.
C’est dans un contexte de simplification du matériel et de changement de clientèle cible que nous avons développé un nouvel outil de tracking : EZtrack. La technologie utilisée est entièrement développée à Bordeaux par notre équipe R&D, avec la particularité unique de pouvoir se déployer facilement et rapidement sur n’importe quelle configuration de plateau virtuel – cyclorama fond vert ou Studio xR à murs Led dernière génération – et sur n’importe quel type de caméra : caméra épaule, steady cam, grue, PTZ, etc.
Comment fonctionne l’EZtrack ?
Notre système EZtrack est le seul système parmi les solutions de tracking optique à proposer un environnement, un workflow qui se veut à la fois évolutif et ouvert. Le cœur du système est une petite unité centrale qui est le centre névralgique des opérations de tracking. Véritable hub électronique, ce dernier va pouvoir s’interfacer avec différents types de capteurs de position pour pouvoir tracker en temps réel non seulement les caméras studio, mais aussi les objets virtuels et les personnes, acteurs ou talents en plateau. Notre technologie se veut particulièrement adaptative avec la possibilité d’interchanger ses options de tracking. Le système fonctionne sur fond vert aussi bien que sur murs Led.
Notre équipe a ainsi réadapté la technologie Lighthouse de Valve pour assurer un tracking de caméra à la fois précis et stable sans avoir à sacrifier le coût d’accès à la technologie. Preuve de l’ouverture du système, le support d’une autre technologie très en vue actuellement par les équipes des studios virtuels : la technologie Antilatency qui fonctionne à partir de marqueurs infrarouges actifs, que l’utilisateur pourra positionner au sol ou bien au plafond sur son grill. Ces marqueurs génèrent ainsi de l’infrarouge, un tout petit capteur – nommé Alt – vient récupérer les informations infrarouges émises par ces marqueurs. EZtrack, dans sa vocation de hub, peut s’interfacer avec ces capteurs-ci et d’autres technologies, notamment les caméras de motion capture à l’image des caméras Vicon et OptiTrack.
Que va apporter la sortie de la V2 du hub EZtrack ?
D’une part, la taille de l’électronique a permis de diviser par deux les dimensions du boîtier. C’est quelque chose qui nous avait été demandé par les utilisateurs, notamment dans le cadre de la pratique de la caméra à l’épaule. Les cameramen aiment avoir des équipements légers qui ne vont pas les gêner. L’idée c’est qu’on vient placer le hub EZtrack directement à l’arrière de la caméra ; c’est quelque chose qui était demandé par certains clients qui y voyaient un intérêt, nous avons donc a répondu à ces besoins.
Ensuite, on vient intégrer à cette nouvelle version une sortie Timecode. Dans la première version du hub, on ne pouvait enregistrer les données de tracking en natif. Pour réutiliser les informations de déplacement de la caméra, il faut ces données de localisation de la caméra. La version 2 du hub, qui sera disponible à horizons fin juin, va pouvoir enregistrer ces informations de tracking directement via l’interface EZtrack et en utilisant le Timecode. Cette prise Timecode permet au hub EZtrack de se synchroniser à la caméra par rapport au moment de déclencher une prise de vue : la caméra et le hub sont ainsi synchronisés sur le même timing pour enregistrer les images et les informations de tracking de caméra.
Cette fonctionnalité est très utile en postproduction pour les artistes qui doivent composer les images 3D avec les images réelles filmées en plateau suivant un effet de parallaxe qui se veut le plus réaliste possible : les informations de tracking de caméra seront alors réutilisées pour caler très précisément la position de la couche 3D par rapport au déplacement de la caméra à un instant T, mais aussi, par rapport au timing exact de l’image qui s’affiche à l’écran. Tous ces paramètres doivent être parfaitement synchronisés pour avoir une image finale dans laquelle 3D et séquences réelles se mélangent et se superposent sans artefacts visuels.
Vous avez créé EZtrack Wiki qui permet d’accéder gratuitement à une base de données pour faire fonctionner votre système. Répond-il à un besoin de formation ?
Un des objectifs est de montrer l’accessibilité en termes d’usage du système. C’est un moyen de se démarquer de la concurrence qui sort des beaux produits mais peuvent apparaître compliqués à opérer, surtout au moment de prendre en mains ces nouveaux outils. Chez nous, la courbe d’apprentissage se veut relativement rapide. Il y a une base de connaissance ouverte à tous, avec des tutoriels vidéo et un descriptif détaillé qui montrent comment fonctionne le système. On peut arriver à l’utiliser assez rapidement et facilement.
On est une petite équipe, on est beaucoup sollicité dans le monde entier. Dès lors, on est obligé, pour des raisons de disponibilité et de productivité, de mettre les bases de connaissances dans les mains des utilisateurs directement sans être trop dépendant des demandes d’assistance des clients. Le Wiki vise à rendre les utilisateurs plus indépendants plus rapidement.
Vous proposez aujourd’hui votre propre tracker, appelé Swan… Comment s’est passé le travail de R&D ?
On a fait appel à deux types de compétences : des ingénieurs électroniciens pour l’électronique intégrée au tracker et des designers en produits pour travailler sur la forme à donner au Swan tracker. Notre équipe R&D a quant à elle validé l’aspect usage par rapport à notre expertise et notre background s’agissant du tracking de caméra à base de technologies optiques. On ne souhaite pas s’affranchir du tracker Vive, mais l’idée était de pouvoir proposer un tracker avec des capacités plus poussées que le Vive.
On gagne sur certains aspects liés à la précision et la stabilité, qui est multipliée par trois par rapport à la version 3 du Vive tracker. Ce dernier peut générer du bruit résiduel, on a donc voulu particulièrement atténuer cet effet de bord lié à son électronique embarquée. Nous voulions que ce bruit généré soit sensiblement réduit, même s’il ne peut pas être complètement supprimé : pour cela, nous avons développé et intégré à EZtrack de puissants algorithmes de lissage du bruit résiduel des trackers optiques.
Vous avez mis au point EZprofile, logiciel de calibration d’optiques. Une fois de plus, on sent que votre objectif est de proposer quelque chose de très didactique.
Oui, tout à fait ! Cela répond à un important besoin de la part opérateurs de studios virtuels et chefs opérateurs. Nous avons acquis une bonne expertise dans tout ce qui est calibration de lentille. Le principe : quand on fait du tracking, il faut traduire les caractéristiques physiques d’une optique en une version digitale lisible par le moteur 3D temps réel. Comment faire le lien entre les deux ?
Pour cela, la solution est de faire un profilage de lentille. C’est le passage des caractéristiques mécaniques, physiques de la lentille dans une version digitalisée lisible par le moteur. Si on n’a pas ça, on va générer des artefacts, des imperfections au niveau des courbes de l’image. On peut également avoir un glissement, quand la caméra bouge, la 3D pourra avoir tendance à se décaler dans le plan. Quand on fait une prise d’image en réalité augmentée, il faut que la lentille soit calibrée par rapport au moteur, pour ne pas avoir de tels artefacts.
On est parti du constat qu’il n’y a que très peu d’offres, mais avec le développement des studios virtuels, ce besoin va logiquement s’accroître. Sur le marché, nous sommes en concurrence avec trois entreprises principalement. Deux d’entre elles proposent des systèmes très haut de gamme et très fermés, et la troisième a une solution ouverte mais moins performante ; ce constat nous a permis de nous positionner intelligemment. On voulait quelque chose de facile à opérer et évolutif.
Aujourd’hui, EZprofile supporte quatre moteurs de rendu 3D temps réel. Notre logiciel permet d’éditer très finement chaque profil de lentille. La solution est disponible à un coût relativement accessible. La licence au poste est de 1 400 euros, là où la concurrence peut proposer près de cinq fois ce prix par poste. EZprofile est indépendant d’EZtrack et pourra donc s’utiliser avec n’importe quelle solution de tracking compatible avec le protocole FreeD afin de bénéficier du mode de calibration automatique. Pour un coût relativement maîtrisé, les studios peuvent réaliser la calibration de n’importe quel type de lentille.
Quels sont vos futurs objectifs ?
C’est une année intéressante pour notre équipe ! Avec ces lancements de produit, l’idée est de pouvoir valider notre approche très ouverte du tracking et de permettre de répondre aux besoins du plus grand nombre de studios avec une offre accessible en termes de coût d’acquisition. Notre objectif est d’être présent autant que possible auprès de nos clients, la dimension de service est importante pour nous, et nous continuons à la développer. Notre réseau de distribution s’étoffe de mois en mois. En ce second trimestre 2022, nous sommes en train de développer les marchés indien et japonais. Il y a une forte concentration d’équipes créatives en Inde. Pareil pour le Japon, où l’on remarque un vrai développement du côté de la production virtuelle.
Article paru pour la première fois dans Mediakwest #47, p. 30-33
