Relever les trois challenges de la migration de fichiers

Utilisateurs exigeants, environnement complexe, perte de productivité, risque de perte de données, budget explosif… Les projets de migration de données multiplient les défis ! Pour les relever, il ne suffit pas d’être un expert du data storage. Une stratégie de migration réussie repose sur un outil de migration performant, et surtout sur une planification bien réalisée.Si l’entreprise est un écosystème, les données représentent son flux sanguin. On ne saurait s’étonner que les migrations de fichiers accélèrent le rythme cardiaque des storage managers !

Il existe bien sûr des méthodes éprouvées pour réduire les risques d’une migration de fichiers. Mais même les systèmes IT les plus musclés devront relever certains challenges techniques. Sous la pression de plusieurs centaines de milliers voir millions de fichiers à déplacer, la migration de fichiers prend rapidement des allures de course d’obstacles. 

Chez Atempo, nous aimons les NAS athlétiques. Nos « coachs en migrations de fichiers » accompagnent la « remise en forme »  de tous les environnements IT. Leur agilité repose sur des solutions inédites aux trois grands challenges techniques de la migration de fichiers. 

***

Challenge n°1 – Boucler le tree-walking en un temps record

Challenge : Supprimer l’impact du tree walking sur la production pendant la migration de fichiers 

Le tree walking est une opération qui consiste à parcourir le contenu d’une structure de donnée, ici le filesystem d’un stockage, pour collecter la liste des fichiers et de leurs attributs. Cette opération est réalisée en collectant au niveau de chaque inode (dossier) la liste des fichiers qu'il contient et de leurs attributs. La somme des listes collectées pour chaque dossier, à chaque niveau de l'arborescence constitue la liste des fichiers du stockage.

Continuer à produire pendant la migration des fichiers suppose :

- de garder le stockage source en production et accessible aux utilisateurs;

- de pouvoir détecter en parcourant le filesystem les modifications de fichiers apportées par ces utilisateur sur le stockage à migrer ;

- enfin de pouvoir répercuter ces modifications sur le stockage cible.  

Le tout, sans impacter la bande-passante dédiée à la production. Challenge, car le nombre de fichiers stockés et la profondeur des arborescences de filesystem ralentissent le tree-walking. Nos ingénieurs rencontrent ainsi fréquemment des stockages pour lesquels chaque tree walking peut prendre plusieurs semaines.

Sans surprise, les opérations de tree walking allongent les plannings des migrations de fichiers. Pourtant, il s’agit d’une étape nécessaire au bon déroulement de la migration, alors, quelle solution proposer à une major du media qui veut migrer un stockage de plus de 500 millions de fichiers ?

Solution : la fonction FastScan de Miria for Migration

La solution Miria for Migration d’Atempo sépare les opérations en deux flux distincts : flux de tree walking, flux de migration. La solution permet d’ajuster le nombre de flux lancés simultanément dans l’objectif de trouver le bon équilibre permettant de migrer les fichiers tout en préservant l’accès opérationnel à l’arborescence des fichiers à migrer.

Les opérations de tree walking vont utiliser la capacité FastScan de Miria à chaque fois que le stockage source le permet, ce qui permet très souvent un gain de temps considérable puisque cette partie de l’opération se mesurera désormais en jours/heures et non plus en semaines.
La fonctionnalité FastScan n’a pas de limitation en terme de sa capacité à détecter les modifications quotidiennes faites sur un stockage. Certains de nos clients ont moins de 5% de modifications quotidiennes, d’autres avoisinent les 25%. Dès les premiers lots de changement identifiés, les premiers transferts sont lancés …

La situation se complique pour les stockages source plus anciens ne permettant pas de mettre en route un parcours intelligent via le FastScan de Miria. Si leur faible débit et la difficulté à lister rapidement les fichiers vont empêcher Miria de passer « la très grande vitesse », une autre fonctionnalité va prendre le relais pour chercher à gagner du temps tout au long du processus de migration : il s’agit du multithreading intelligent des flux de collecte de fichiers et avec ceux des transferts de données. L’objectif est de paralléliser et d’entrelacer au maximum les flux de tree walking et les flux de migration afin de profiter des attentes et délais sur un front, pour avancer sur l’autre.

Dans tous les cas, Miria for Migration optimise la vitesse de la migration de fichiers en fonction du contexte technologique, et est capable de déplacer plusieurs centaines de téraoctets ou même plusieurs pétaoctets de données sans interrompre la production.

***

Challenge n°2 – Jongler avec les ACLs et les protocoles réseaux

Challenge : Constituer une image fidèle des fichiers, en fonction des protocoles réseaux 

Pour préserver les habitudes des utilisateurs et respecter les logiciels en production ayant accès aux données après la migration, il est nécessaire de comprendre la nature des partages de données afin de les mapper fidèlement.

Lors de la phase de mapping du processus de migration, les shares de chaque stockage sont identifiés ainsi que le protocole réseau qu’ils utilisent. Dans certains cas, un « choix stratégique » doit être fait afin de privilégier un protocole plutôt qu’un autre.

Ainsi, par exemple, certains NAS vont donner accès à un même espace de stockage depuis deux protocoles réseaux différents, CIFS et NFS. Si un même fichier est en effet accessible par les deux chemins, ses ACLs ne sont pas exposés exactement de la même façon par ces deux protocoles réseaux. Le fait de réaliser la migration en utilisant l’un ou l’autre des protocoles va capturer une facette des ACLs associés à ce fichier, alors autant choisir celle qui contente les utilisateurs et préserve le plus d’informations !

Un bon processus de migration doit impérativement traiter le sujet des shares et de leurs protocoles réseaux en anticipant le sujet de la validation de leur migration : savoir comment on va valider la complétude des ACLs des fichiers permet de faire les bons choix de configuration et d’éviter les mauvaises surprises à base de fichiers inaccessibles en fin de projet.

Solution : des processus qui garantissent la complétion et l’intégrité de la migration

Les équipes de service professionnel d’Atempo s’appuient sur un processus de traitement rigoureux pour prévenir la perte d’accès aux fichiers :

- Ils listent les shares et les partages de fichiers,

- Ils établissent des critères de validation spécifiques à chaque share, définis avec les utilisateurs métier de chaque share en amont de la migration.

- Cette approche méthodique permet de vérifier la cohérence des accès et la complétion de la migration au niveau de chaque partage de données.

***

Challenge n°3 - Effectuer la bascule entre le stockage source et cible sans impacter ni la production ni la migration

La plupart des solutions de migration de fichiers maintiennent indépendamment les stockages source et cible pendant toute l’opération. La date prévue pour la bascule entre l’ancien et le nouveau stockage cristallise tous les enjeux. 

- Pour l’équipe qui réalise la migration de fichiers, c’est l’heure de vérité ! La pression redouble à chaque imprévu.

- Les utilisateurs métier craignent la suspension de leurs activités en cas d’erreur.

Or, malgré les tests pilotes, les imprévus sont pratiquement inévitables. La progression de la migration reste difficile à prédire, dans la mesure où elle traite des périmètres de stockage peu comparables entre eux.

Résultat : la simple perspective de devoir effectuer une bascule devient une source de résistance au changement. 

Solution : une migration par cycles itératifs

Une bascule réussie se prépare tout au long des étapes de la migration de fichiers. C’est la somme de toutes les préparations, de toutes les erreurs gérées et toutes les vérifications faites qui permet d’avancer sereinement. La migration progresse en cycles itératifs. A chaque cycle, Miria détecte les fichiers sources modifiés, et reproduit les évolutions dans le stockage cible. 

Les deux stockages convergent de façon maîtrisée et fluide, le reste-à-migrer se réduit cycle après cycle et la date de bascule ne fait que confirmer la complétion de la migration de fichiers.

***

Au final ...

Au final, ce mélange de bonnes pratiques et de fonctionnalités ciblant les points problématiques de la course d’obstacle que constitue la migration d’un très grand nombre de fichiers entre stockages, font de Miria for Migration une solution très accessible, unique de par son approche vendeur agnostique et extrêmement efficace pour tous les projets, de 150 To à plusieurs pétaoctets de données.

***

Vous souhaitez en savoir plus sur Miria ?    

***

A lire aussi :

• Migration de fichiers : réduisez le temps (et les risques) !
• Réussir son projet de migration de fichiers en 7 étapes
• Migration de fichiers : méfiez-vous des outils gratuits
• 5 raisons de choisir Miria for Migration
• Miria for Migration : Page solution + Page produit