Le marché du calcul haute performance (HPC) est en pleine croissance. Selon le cabinet de conseil Emergen Research, il devrait continuer de prospérer et atteindre plus de 54 millions d'euros en 2028 !
Il va de soi que les avancées en matière de calcul haute performance génèrent une quantité exceptionnelle de données critiques à stocker. A mesure qu'évoluent les nouvelles technologies liées au stockage, se posent plusieurs défis : silos de stockage, fichiers systèmes hétérogènes, besoins en stockage à long terme... Pour adresser ces challenges, les entreprises ont besoin de solutions extrêmement fiables, puissantes et sécurisées.
Dans les environnements HPC, plutôt que déplacer les données de projets existants pour des sessions de calcul et de traitement en rafale, les données sont souvent recalculées à nouveau, entrainant des coûts élevés et une incertitude sur les résultats. Si les sauvegardes sont un moyen d’éviter ces calculs répétitifs, existe-t-il des difficultés insurmontables liées à la sauvegarde de données HPC ? Voici trois défis de la sauvegarde dans les environnements HPC.
***
Défi #1 – le "Tree Walking" ou parcourir des arborescences fichiers
Pour les systèmes de fichiers HPC, les solutions traditionnelles de déplacement de données doivent revenir aux fondamentaux : c’est la notion de “tree walking”, parcourir des arborescences fichiers pour identifier d'éventuelles modifications. Ce parcours de fichiers peut prendre des jours, voire des semaines tant le volume de données est important dans les environnements HPC. L’ensemble du processus, répété durant chaque sauvegarde, dépasse généralement la fenêtre disponible. Les administrateurs de stockage et de sauvegarde HPC doivent faire des choix difficiles pour protéger ou déplacer une partie de leurs données au sein de la fenêtre disponible.
La fonctionnalité FastScan de la solution Miria développée par Atempo collecte des listes de fichiers nouveaux, modifiés et supprimés ou enrichies en métadonnées. Les informations sont automatiquement rendues disponibles dans un serveur Miria qui orchestre ensuite le déplacement et la protection des données.
***
défi #2 – les volumes de données
Les centres de calcul HPC génèrent des volumes de données à l'échelle des pétaoctets qui nécessitent d'être gérés à chaque niveau de stockage. Si l'archivage est particulièrement adapté au stockage à long-terme sur bande ou dans le cloud, il n'est pas approprié à la gestion de versions.
A des volumes de données très élevés, les snapshots ne fournissent pas une profondeur suffisante des versions ; seules les sauvegardes intègrent des fonctionnalités étendues de navigation temporelle et de versioning.
Même s’il existe de réels défis liés au versioning des ensembles de données, la solution Miria développée par Atempo offre des fonctionnalités complètes pour l’archivage et la sauvegarde de larges volumes de fichiers pour les stockages HPC.
***
défi #3 – Les périodes de rétention longue
L’accès aux ensembles de données historiques signifie que vous pouvez non seulement reconstruire des données à un instant précis, mais aussi accéder à ces données avant une cyberattaque. Ces virus sont souvent inactifs durant plusieurs mois et les données récemment sauvegardées sont déjà compromises. Les données de type “Air gap” à rétention longue améliorent les chances de récupérer des données de recherche HPC très précieuses.
Avoir plusieurs versions de sauvegarde avec des périodes de rétention adaptées signifie effectuer (au minimum) des sauvegardes hebdomadaires et des incrémentales quotidiennes complètes pour rendre la restauration de données plus flexible. Avec des sauvegardes dans des environnements gourmands en volumes de données, comme c’est le cas pour les environnements HPC, il existe deux défis majeurs : le premier concerne la gestion et le coût de l’espace de stockage, le second est lié à la capacité à détecter et protéger les fichiers nouveaux, modifiés ou supprimés rapidement et en toute sécurité.
Parce que plusieurs résultats de calcul HPC ne peuvent être recréés ou sont très coûteux à exécuter plusieurs fois, la sauvegarde peut être un moyen économique de conserver des données importantes dans le temps, afin de les réutiliser pour le versioning, la conformité et pour répondre aux besoins en matière de sécurité. Quel que soit le système de fichiers utilisé, GPFS, Lustre ou NAS, les sauvegardes vers l’espace de stockage de votre choix deviennent possibles avec Atempo Miria!
***
Pour prolonger la lecture :
Laissez un commentaire