Il s’agit d’une couche intermédiaire pour améliorer les performances du codec de votre choix. La pertinence de cette invention mérite que l’on se penche sur son fonctionnement et ses applications.
L’équation impossible de la compression vidéo
Le rôle de tout codec est de réduire le débit vidéo en conservant un maximum de qualité. Pour permettre de travailler avec des images de plus en plus grandes HD, 4K puis 8K et des vitesses d’images toujours plus élevées, les algorithmes d’encodage sont devenus de plus en plus complexes, notamment avec le passage du MPEG2 à l’AVC (h.264) puis au HEVC (h.265). Or la complexité du codec se paie en latence, en puissance de calcul et donc en énergie, ce qui peut se traduire par une durée de batterie plus courte lorsqu’il s’agit d’appareils mobiles. Baisser le débit sans baisser la qualité et sans augmenter le temps de calcul, voilà l’équation difficile à résoudre à laquelle le LCEVC promet d’apporter une solution.
À l’origine du LCEVC
L’idée d’un nouveau codec standard qui succéderait au HEVC ne pouvait sans doute pas être satisfaisante. En effet, un nouveau codec construit sur la même technologie que l’AVC ou le HEVC (image intra-prédite – DCT – quantification – codage entropique) et dont on aurait augmenté la complexité pour le rendre encore plus efficace, aurait eu pour contrepartie une augmentation de temps d’encodage ou de puissance de calcul, mais aussi de nouveaux problèmes de compatibilité logicielle et d’intégration hardware.
Alors en octobre 2018, vingt-huit industriels ont présenté et co-signé leurs besoins pour un nouvel outil logiciel capable « d’améliorer les codecs vidéo existants et futurs ». Ces signataires sont principalement des acteurs clé de l’industrie du streaming en direct ou VoD, la vidéoconférence, la VR ou du broadcast. Ils ont évoqué l’insuffisance de bande passante dans la plupart des pays pour une diffusion fiable de contenu vidéo OTT, avec notamment des difficultés aux heures de pointes Internet des appareils mobiles.
Ce nouvel outil devrait aussi permettre d’adresser le problème de mise à niveau des services vidéo pour les résolutions et fréquences d’images plus élevées sans être obligé de dupliquer le service pour conserver les clients qui utilisent encore des vieux appareils non compatibles. Ils pointent du doigt un cercle vicieux : la faible disponibilité des services vidéo en haute résolution réduit la demande pour de nouveaux systèmes de décodage, et l’absence de système de décodage adéquat réduit la disponibilité de services vidéo en haute résolution.
La réponse de MPEG et V-NOVA
MPEG lança alors un appel à proposition en publiant les spécifications du Low Complexity Enhancement Video Coding : LCEVC. L’idée étant d’obtenir un flux vidéo pleine résolution qui serait fabriqué en améliorant un flux de moindre résolution (provenant d’un codec hardware) grâce à des données auxiliaires, qui lorsqu’elles seraient ajoutées au flux fourni par le codec permettraient de reconstruire la vidéo haute résolution. Le souci de la compatibilité et de la simplicité de mise en œuvre a aussi été adressée : le flux vidéo devait être décodable sans le support d’un firmware ou OS spécifique, par tous les appareils capables d’utiliser le codec de base, et avec des ressources équivalentes. Les Web browsers devaient être capable de décoder la vidéo haute résolution sans mise à jour nécessaire ou plug-in additionnel. Aussi la puissance de calcul nécessaire pour encoder un flux se devait d’être comparable à celle utilisée par le codec de base qui serait utilisé à pleine résolution.
Après diverses étapes de validation, la définition du standard ISO/IEC 23094-2 fut publiée en octobre 2020. La société V-NOVA proposa en 2021 un software development kit sous licence permettant d’intégrer le LCEVC à n’importe quel workflow de service vidéo existant et permettant de fournir une meilleure qualité d’image que le codec de base utilisé et avec une économie de bande passante allant jusqu’à 40 %.
Définition du LCEVC
À ce stade, il peut être intéressant de donner cette définition du LCEVC : le MPEG-5 Part 2 Low Complexity Enhancement Video Coding « LCEVC » est un nouveau standard de MPEG. Il spécifie une couche d’amélioration (enhancement) qui, lorsqu’elle est combinée avec une vidéo encodée avec un codec séparé, produit un flux vidéo « amélioré ». Il permet de nouvelles fonctionnalités telles que :
- l’extension de la capacité de compression du codec de base ;
- la réduction de la complexité d’encodage et de décodage ;
- une plate-forme pour des améliorations futures.
Fonctionnement du LCEVC
Le LCEVC prétend réduire le débit vidéo et en même temps diminuer le temps d’encodage ! D’aucuns diraient : « fromage et dessert », comment est-ce possible ? L’idée générale du LCEVC est simple : ce n’est pas l’image entière qui va être traitée par le codec, mais sa version basse résolution. Ceci va permettre au codec de travailler moins, d’où le gain en temps d’encodage, et d’avoir à l’arrivée un fichier plus petit, d’où le gain en débit. Après décodage de l’image, la couche LCEVC va alors s’occuper de upscaler l’image en restituant des détails perdus lors du downscaling.
Entrons un peu plus dans le détail. La couche LCEVC va pouvoir s’appliquer à plusieurs familles de codecs : AVC, HEVC, VP9 AV1 EVC ou VVC (précisons ici que le LCEVC va agir sur la compression intra-image seulement mais n’agit pas les images P et B des GOPs). Avant d’être encodée par ce codec dit « codec de base » l’image va subir un downscaling ou sous-échantillonnage, c’est-à-dire une baisse de la résolution. C’est typiquement une division par quatre du nombre de pixels, soit l’équivalent du redimensionnement d’une image 4K en image HD. L’image résultante étant quatre fois plus petite, on pourrait dire approximativement qu’elle sera quatre fois plus rapide à encoder, et le fichier (ou débit vidéo) résultant sera quatre fois plus petit.
Évidemment, il y a une perte de qualité dans l’opération de sous-échantillonnage, que le LCEVC va corriger. En effet, le LCEVC va s’intéresser aux différences entre l’image réduite et l’image source, c’est-à-dire aux détails qui ont été perdus dans l’opération de sous-échantillonnage et particulièrement les bords et les contours. Par exemple lorsque l’image contient du texte, l’information importante se trouve dans le contour des caractères plus que dans leur remplissage. Le LCEVC va donc décrire ces différences, les compresser et les associer aux flux vidéo qui résulte de l’encodage de base. Ces données résiduelles compressées ont un poids très faible et leur encodage ne nécessite que très peu de calcul. À l’arrivée, les images basse résolution vont être décompressée avec le codec de base, puis la couche LCEVC va procéder au sur-échantillonnage ou upscaling en appliquant les corrections contenues dans les données auxiliaires, afin de réintégrer des détails perdus lors du downscaling.
Contexte historique et applications
Pour apprécier les avantages du LCEVC, revenons sur les évolutions des dernières décennies. Parmi les grandes étapes des codecs vidéo, on notera en 1988 l’apparition du MPEG 1 permettant de faire rentrer un long-métrage dans un simple CD-ROM de 700 Mo, puis au milieu des années 90 le MPEG2 et son fameux GOP permit le DVD vidéo avec l’énorme succès que l’on connaît. Vers 2003, l’apparition du h.264 AVC facilita le passage à la HD en améliorant l’efficacité de compression. Le JPEG 2000, apparu en 2000, est un peu à part, basé sur une tout autre technologie et sera surtout utilisé pour le cinéma numérique (DCP) ou l’archivage. Enfin vers 2013, apparut le h.265 HEVC que l’on peut associer à l’arrivée de la 4K, et qui permit de compresser avec encore plus d’efficacité moyennant des ressources processeurs toujours plus importantes.
Si les codecs AVC et HEVC surpassent le MPEG2 en efficacité et sont présents dans tous les produits consumer, leur adoption fut plus lente dans le monde de la production car la puissance de calcul requise et l’incompatibilité avec les logiciels utilisés fut parfois problématique voire rédhibitoire. L’avènement du LCEVC vient peut-être mettre un terme à cette course au codec qui exigeait sans cesse des fabricants qu’ils intègrent ces nouvelles technologies complexes pour rester dans la course, et des utilisateurs une adaptation des workflows coûteuse. L’idée du LCEVC, un outil software qui peut être déployé au-dessus du système existant sans nouveau hardware, pour améliorer l’efficacité du codec tout en améliorant sa latence, paraît donner un grand bol d’oxygène à tous les acteurs de streaming direct de la VOD et tous les acteurs du broadcast en général.
Les applications pouvant tirer parti de cette technologie LCEVC sont aujourd’hui nombreuses. Pour les réseaux sociaux dont la livraison de vidéo est un élément central, l’intégration du LCEVC aura un impact direct sur la qualité de service et les coûts. Grâce au LCEVC, les broadcaster peuvent booster leur contenu de 8 en 10 bits et proposer du HDR et des espaces couleurs plus importants. La qualité des expériences de réalité virtuelle utilisant des casques, lunettes ou autre appareil, dépend pour une bonne part de la qualité du décodage et de la latence. Là aussi le choix LCEVC est pertinent. Et bien sûr le streaming OTT peut proposer des débits plus faibles ou des résolutions plus élevées avec un gain financier dans le premier cas ou un gain en satisfaction client dans le deuxième.
Les co-auteurs du standard LCEVC sont Stefano Battista, Guido Meardi, Simone Ferrara, Lorenzo Ciccarelli, Massimo Conti et Simone Orcioni. Qu’ils soient ici remerciés pour leur travail.
Extrait de l’article paru pour la première fois dans Mediakwest #52, pp. 104-106
