Nous avons rencontré Louis Laszlo, VP Product Management, chez Atempo pour parler de l'actualité Atempo dans le monde du HPC. 

De nombreux centres HPC exécutent très peu de tâches de sauvegarde et d'archivage. Est-ce que cela est en train de changer ?

C'était autrefois le cas, mais aujourd'hui, les sauvegardes et l'archivage gagnent du terrain dans ce secteur en raison des changements fondamentaux qui sont en cours dans l'environnement HPC. Je vais vous expliquer rapidement les raisons de ces changements.

Tout d'abord, la technologie et les utilisateurs ont mûri : les centres HPC ne se limitent plus au calcul pur. Un nombre croissant de chercheurs ont besoin d'exécuter des travaux d'intelligence artificielle (IA) et le machine learning (ML) sur des clusters HPC en les combinant avec du calcul. Le cluster HPC doit faire face à ces usages et besoins hybrides : par exemple en ajoutant des nœuds spécialisés dédiés à la gestion des données ou au traitement des images dotés d’Unités de Traitement des Données (DPU) et d’Unités de Traitement Graphique (GPU).

Le ML implique de réutiliser des ensembles de données et de les enrichir. De plus en plus de projets scientifiques ou industriels disposent de données existantes à analyser et à corréler. Cette hybridation des clusters HPC impacte également le stockage ; il y a davantage de mouvement de données entre les stockages HPC, entre les répertoires Home et Scratch avec de nouvelles exigences en matière d'archivage. De plus, ces activités ne sont plus seulement limitées à un site ou un laboratoire. Les scientifiques voient clairement la nécessité d'une plus grande collaboration, avec davantage de données et d’archives partagées aussi bien en interne qu’en externe.

La consommation d'énergie est-elle une préoccupation croissante dans les environnements HPC d'aujourd'hui ?

Oui absolument. Les centres HPC sont extrêmement énergivores avec une densité importante de nœuds de calcul produisant une chaleur considérable et s'appuyant sur des systèmes de refroidissement sophistiqués. Le coût de l'énergie est devenu un véritable enjeu en Europe et avec en prime, les considérations de changement climatique à maîtriser. La consommation d'énergie constitue désormais un critère essentiel pour un centre HPC. Nos clients et nos partenaires précisent que les centres HPC évoluent en permanence, sans attendre la mise en place de mesures réglementaires pour transitions énergétiques. Pour réduire leur consommation d'énergie, ils limitent les ressources inutilisées, consolident les serveurs et le stockage et appliquent une approche plus sélective du calcul, privilégiant un archivage plus fréquent des résultats de calcul.

Comment Miria accompagne-t-elle l'évolution des centres HPC ?

Miria peut vous aider de plusieurs façons. Tout d'abord sa capacité à archiver les données plus anciennes permet de réduire les volumes des tiers de stockages massifs tels que Home et Work. En clair, vous avez moins de données à stocker, ce qui réduit les coûts de stockage et simplifie les tâches des équipes informatique en charge de la protection et du stockage des données.

Contrairement aux idées reçues, l'archivage n'a ni besoin d'être complexe ni archaïque. L'archivage moderne se pilote depuis une interface web conçue pour être accessible aux utilisateurs et aux non-informaticiens. De nombreux chercheurs HPC utilisent volontiers notre interface web pour glisser et déposer leurs données dans une archive et l'enrichir de métadonnées. En arrière-plan, Miria applique de façon transparente les règles prédéfinies par l'équipe informatique - par exemple, créer automatiquement plusieurs copies sur différentes cibles, activer la prévention anti-modification des données, etc. Certains centres de calculs HPC opérant dans des domaines tels que les véhicules autonomes, la finance, l'énergie nucléaire, etc., ont la contrainte de conserver toutes les données et tous les projets pendant des décennies. Miria leur offre une archive très capacitive prenant en charge la fonctionnalité d’object lock aussi bien dans le cloud que dans un stockage objet plus économique.

La sauvegarde est une autre fonctionnalité remarquable de Miria. Le logiciel a une capacité de protection qui dépasse le pétaoctet avec une intégration avancée de presque tous les systèmes de fichiers parallèles et des stockages HPC tels que GPFS, Lustre, Qumulo, Isilon ou Vast. Le bien nommé, « FastScan », permet de s’appuyer sur des sauvegardes incrémentales rapides. Miria identifie rapidement les données nouvelles et modifiées sans effectuer une longue exploration complète des arborescences de fichiers. Ceci, ajouté à notre capacité à consolider les sauvegardes incrémentales vers un stockage cloud ou object, réduit considérablement le volume de données transférées et stockées : un gage de reprise rapide après sinistre. Miria n'effectue que des sauvegardes incrémentales en mode incremental forever – Lire l’article de notre blog sur l’expérience de l’université de Lausanne (UNIL). Il est possible de reconstruire une sauvegarde totale à la demande quand cela s’avère nécessaire.

Un dernier point important concerne la sauvegarde. Avec le nombre très élevé de cyberattaques et de ransomware en circulation, les centres HPC ont besoin d'un système de sauvegarde qui soit non seulement capacitif mais aussi doté de la capacité à offrir une protection de type « air gap » en stockage objet, cloud ou bien sûr sur bandes (WORM).

Parlons aussi de la capacité de Miria à migrer des données entre deux plateformes de stockages hétérogènes. Les centres de données HPC ont souvent besoin de mettre à niveau voire remplacer complètement leur stockage actuel par une stockage plus performant et plus économe en énergie. À l'échelle du pétaoctet, ces projets ne sont jamais très simples. La fonction de migration de Miria s'avère très efficace et fiable pour livrer des projets de migration de stockage dans les délais. – Lire l’article de notre blog traitant de la migration.

Enfin, mention honorable pour les deux fonctionnalités restantes de Miria : Mobility et Analytics. Les deux sont essentiels pour compléter cette plateforme tout-en-un.

• Notre service de mobilité peut aider les scientifiques et chercheurs à disposer d'une solution solide, fiable et sécurisée pour déplacer efficacement les données entre les différents tiers de stockage. Quelle est la valeur ajoutée ? Finis d’attendre des transferts de données interminables pour pouvoir enfin lancer les calculs HPC. Finies les tentatives multiples de transfert. Les équipes IT sont également libérées de ces tâches chronophages. Et c’est une bonne nouvelle ! – Lire l’article du blog sur le déplacement de données délégué aux utilisateurs des centres de HPC.
• Notre module Analytics a suscité beaucoup d'intérêt de la part des équipes informatiques en charge de la gestion des centres HPC. Il consolide une vue d'ensemble de tous les stockages de fichiers. Cela simplifie l'identification des données froides ou d'autres opportunités de consolidation du stockage.

En un mot, les centres HPC hybrides ont aujourd’hui davantage besoin des solutions de gestion pour leurs données. Les centres HPC hybrides utilisent, produisent, déplacent et réutilisent plus de données qu’auparavant. Ils doivent y parvenir en réduisant leur empreinte énergétique tout en assurant la sécurité des données précieuses de leurs utilisateurs. C’est une mission parfaite pour Miria !