La forte demande de capacité de stockage ne s’arrête pas là : les transcodeurs produisent plus de formats de distribution pour des dispositifs connectés toujours plus nombreux et les propriétaires de contenu créent plus de contenu « second écran » destiné aux marchés du direct et du contenu à la demande. Résultat : les propriétaires de contenu ont bien du mal à préserver l’accès de leurs créateurs de contenu et des consommateurs à des ressources numériques dont le volume croît rapidement. Les bibliothèques numériques connaissent une croissance exponentielle qui leur a fait franchir le cap du pétaoctet, et ce n’est pas fini.
La stratégie la plus courante consiste à stocker autant de contenu que les budgets le permettent sur des systèmes de stockage hautes performances puis, à mesure que ceux-ci se remplissent, à archiver les données plus anciennes sur des bandes hors ligne. Ces stratégies sont risquées au vu des nouvelles possibilités de monétisation du contenu, telles que la réutilisation pour accélérer la production de nouvelles œuvres et la distribution sur de nouvelles plates-formes. Les équipes de production doivent pouvoir accéder rapidement au contenu ;
Les propriétaires de contenu pourront exploiter un potentiel énorme en termes de revenus sans que leurs budgets augmentent au même rythme que le volume des contenus. Il leur faut une solution de stockage capable de fournir un accès très rapide à partir de sites multiples, une protection efficace contre la perte de données et une évolutivité sans limites, le tout pour un budget raisonnable. C’est ici que le stockage objets entre en jeu.
La technologie RAID atteint ses limites
La plupart des systèmes de stockage sur disque actuellement commercialisés intègrent la technologie RAID. Celle-ci utilise des checksums ou le mirroring pour protéger les données qu’elle répartit, ainsi que les checksums, entre les disques d’un groupe appelé « baie RAID ». Avec les disques d’une capacité de plusieurs téraoctets commercialisés aujourd’hui, il est possible de gérer des importants volumes de données sur une seule baie RAID logique et homogène composée de 4 à 12 disques et proposant une capacité utile totale d’une trentaine de téraoctets.
Cependant, la croissance des données est telle que la technologie des disques n’arrive plus à suivre. Des volumes de données atteignant plusieurs pétaoctets obligent à utiliser des groupes comportant plus de 12 disques, ce qui accroît le risque de perte de données consécutif à une panne matérielle, ou à répartir les données entre plusieurs groupes RAID, ce qui augmente le coût et la complexité de la gestion globale de la cohérence et de l’intégrité des données.
Les baies RAID avec beaucoup de capacité imposent de longues reconstructions
Les disques de plus grande capacité allongent aussi le temps de reconstruction en cas de panne. La panne d’un disque d’une capacité de 3 To ou plus peut accroître le risque de corruption des données et dégrader les performances pendant 24 heures au moins, le temps nécessaire à la reconstruction par les systèmes RAID sur un disque de remplacement.
Des migrations délicates avec les mises à niveau RAID
La technologie RAID impose que tous les disques d’un groupe présentent une capacité et une structure homogènes. La technologie RAID exige également que tous les disques soient locaux et, en général, associés au même contrôleur. Sans la réplication, la protection qu’elle assure est limitée en cas de défaillance au niveau des nœuds, et inexistante en cas de panne à l’échelle d’un site.
La réplication améliore la protection, au détriment de l’efficacité
La réplication améliore l’intégrité des données, la restauration et l’accessibilité, mais elle réduit l’espace de stockage utile et induit de nouvelles complications au niveau opérationnel. Avec la réplication, les fichiers sont copiés vers un emplacement secondaire distant en vue de la reprise après incident ou pour améliorer l’accès aux données, ce qui multiplie par deux le coût du stockage.
Le stockage objets, gage d’évolutivité et de souplesse
Le stockage objets propose une approche fondamentalement différente fondée sur un espace de noms composé de paires clé/valeur. En utilisant un espace de noms plat et en dissociant l’adressage des données de leur stockage physique, il confère plus de souplesse dans le choix du mode et du lieu de stockage et de conservation des données. Et parce que le stockage objets exploite les capacités de montée en charge (« scale-out ») des réseaux IP, cet adressage peut prendre en charge une extension illimitée des jeux de données numériques.
Les codes à effacement assurent une protection efficace des données
Le stockage objets utilise des algorithmes faisant appel à des codes à effacement pour assurer l’intégrité des données transmises en continu dans le cadre des communications spatiales. Le codage à effacement transforme les objets de données en une série de codes. Ceux-ci sont ensuite répartis entre un grand nombre de dispositifs de stockage, qui peuvent être des disques indépendants, des nœuds de stockage réseau ou tout autre média de stockage. Chaque code est unique et un sous-ensemble de codes aléatoire peut être utilisé pour restituer les données.
Une plus grande variété de règles de protection
La protection des données à l’aide de codes à effacement s’exprime par une politique de durabilité qui prend la forme d’un ratio de deux nombres : le nombre minimum de codes entre lesquels les données sont dispersées, et le nombre maximum de codes qui peuvent être perdus sans que cela affecte l’intégrité des données.
Une migration plus aisée vers les nouvelles technologies de stockage
Les algorithmes utilisant des codes à effacement qui distribuent les données pour les protéger simplifient également la migration vers les nouvelles technologies de stockage. Le remplacement des disques par les administrateurs est très simple et le stockage objets redistribue automatiquement les données sans interruption de l’accès utilisateur.
Une dispersion géographique aisée
Les codes pouvant être répartis sans réplication entre des sites dispersés géographiquement, le codage à effacement assure une protection contre les pannes affectant un disque, un nœud, voire un site complet, sur un seul système évolutif, contrairement à la technologie RAID. En outre, les algorithmes peuvent appliquer des politiques de durabilité différentes au sein d’un même système de stockage objets.
Stockage objets et accès aux données
Le stockage objets s’appuie sur des identifiants uniques (object ID) pour l’adressage des données, et notamment sur les applications qui préservent leur propre mappage des identifiants d’objet. Cela complique énormément le partage des données entre les applications, sauf si celles-ci sont écrites spécifiquement pour partager ce mappage. Les utilisateurs ne peuvent pas accéder directement aux données en parcourant une structure de fichiers et de dossiers, mais ils doivent passer par les applications qui préservent le mappage.
Stockage objets avec accès partagé aux fichiers et aux objets des applications
Une technologie de stockage objets plus sophistiquée permet de partager le stockage entre les clients du système de fichiers et les applications conçues spécifiquement pour utiliser le stockage objets : le pool de stockage peut être partagé entre les architectures, et les applications dont l’accès au système de fichiers traditionnel est limité peuvent partager des données avec des applications écrites spécifiquement pour l’accès au stockage objets via HTTP. Cela garantit une accessibilité aux données aussi large que possible dans l’entreprise.
Stockage objets pour les bibliothèques numériques
Parce qu’il est évolutif, sûr, économique et permet d’accéder rapidement aux données à partir de plusieurs sites, le stockage objets est une solution idéale pour stocker des importants volumes de contenus numériques…
Stockage objets pour les archives actives
Pour les archives en ligne accessibles à la vitesse du disque, le stockage objets peut être intégré directement à un gestionnaire de contenus multimédias ou à une autre application de bibliothèque numérique via son interface Cloud basée sur HTTP. Il peut aussi être déployé avec une couche « système de fichiers » qui permet aux applications et aux utilisateurs d’accéder au contenu via l’arborescence de répertoires et de fichiers habituelle.
le faible temps d’attente du stockage objets rend les durées de restauration plus prévisibles qu’avec les archives sur bande. Bénéficiant d’un accès plus rapide et plus direct, les équipes de production peuvent exploiter facilement les ressources numériques pour monétiser le contenu ou le mettre à la disposition des partenaires de distribution et des abonnés.
Stockage objets et stockage multiniveau basé sur des règles
Les stratégies de stockage basé sur des règles font appel à l’automatisation pour faire migrer les données entre les niveaux de stockage, en fonction des performances des données et des besoins d’accès. Il est possible de définir des règles pour simplifier le processus et automatiser la migration en fonction de la dernière date d’accès, du type, de la taille ou de l’emplacement des fichiers.
Parce qu’il propose l’accès à la vitesse du disque, le stockage objets déployé en tant que niveau d’archivage actif dans un environnement de stockage multiniveau peut permettre aux sites de réduire considérablement leur capacité de stockage primaire.
…Tous les professionnels de l’audiovisuel sont déjà confrontés, ou le seront bientôt, à la gestion de bibliothèques de contenus numériques toujours plus volumineuses. Les opportunités de monétisation du contenu se font plus nombreuses, et les consommateurs exigent de pouvoir disposer de contenus à tout moment, où qu’ils se trouvent et quel que soit l’équipement qu’ils utilisent. Cela pèsera sur les workflows actuels et risque de nuire à la compétitivité de certains sites. L’approche traditionnelle n’est pas capable de gérer les pétaoctets de données d’aujourd’hui ni les exaoctets de demain. De plus, l’utilisation de disques RAID pour le stockage near-line constitue une solution à court terme très coûteuse au quotidien et très risquée lorsque des pétaoctets de données sont en jeu.
Le stockage objets est nouveau pour les professionnels de l’audiovisuel, mais il est déployé dans le secteur des communications depuis des années et forme l’épine dorsale du Cloud. Combinant des fonctionnalités d’archivage à long terme near-line sûres et rapides et la dispersion géographique, il répondra parfaitement aux besoins de ces professionnels, dès aujourd’hui et dans les vingt prochaines années.
Laurent Fanichet, Responsable Marketing Produit – Big Data Quantum pour la zone EMEA/APAC
