Prédiction Conforme de Mondrian pour la Notation de Santé des Disques et l'Optimisation du Scrubbing

Table des liens

Résumé et 1. Introduction

1. Motivation et objectifs de conception

2. Travaux connexes

3. Prédiction conforme

   4.1. Prédiction conforme de Mondrian (MCP)

   4.2. Métriques d'évaluation

4. Prédiction conforme de Mondrian pour le nettoyage de disque : notre approche

   5.1. Statistiques système et stockage

   5.2. Quel disque nettoyer : Prédicteur de santé du disque

   5.3. Quand nettoyer : Prédicteur de charge de travail

5. Cadre expérimental et 6.1. Ensemble de données open-source de Baidu

   6.2. Résultats expérimentaux

6. Discussion

   7.1. Aspect de planification optimale

   7.2. Métriques de performance et 7.3. Économie d'énergie grâce au nettoyage sélectif

7. Conclusion et Références

2. Motivation et objectifs de conception

Dans les centres de données, un nombre significatif de disques défectueux ne sont pas détectés en raison d'attributs de défaillance latents, entraînant des scénarios d'arrêt complet. Une approche courante pour atténuer ces scénarios est le nettoyage de disque, qui consiste à vérifier les données du disque par un processus d'analyse en arrière-plan pour identifier les secteurs défectueux. Cependant, ce processus peut consommer de l'énergie et causer une dégradation des performances selon le calendrier de déclenchement. Ce scénario suscite des préoccupations dans l'industrie, surtout avec l'augmentation des capacités des disques. Nous remarquons un chaînon manquant dans la résolution des questions 'quel disque nettoyer', 'quand nettoyer', basées sur la fréquence du cycle de nettoyage tout en minimisant l'impact sur les performances du tableau de stockage et en maximisant la fiabilité. Dans cet article, nous considérons les objectifs et approches de conception suivants pour relever ce défi :

\ • Quel disque nettoyer ? Selon le processus de nettoyage spécifique, il peut temporairement dégrader les performances du disque. Pour garantir que le disque reste rapide et réactif, minimiser la fréquence de nettoyage est crucial. Au lieu d'effectuer un nettoyage pour tous les disques du tableau de stockage, notre approche se concentre sur le nettoyage sélectif uniquement des disques qui en ont besoin, réduisant ainsi le temps global nécessaire pour compléter le processus.

\ • Quand nettoyer ? Nous pouvons optimiser le calendrier de nettoyage des disques en tenant compte de facteurs tels que la charge de travail du système, l'importance des données sur le disque et la disponibilité des ressources. Cette approche garantit que le nettoyage est effectué aux moments les plus appropriés, minimisant l'impact sur les performances globales du système.

\

3. Travaux connexes

La fiabilité des dispositifs de stockage est depuis longtemps une préoccupation critique dans l'industrie, et les solutions existantes s'appuient souvent sur l'analyse des défaillances des systèmes de stockage. Cependant, les méthodes traditionnelles comme les tests de vie accélérée (Cho et al., 2015) ne se sont pas avérées être des indicateurs fiables des taux de défaillance réels dans les environnements de production. Les approches récentes basées sur l'apprentissage automatique, telles que les séries temporelles multivariées (Yu, 2019) et la classification des séries temporelles (Ircio et al., 2022), se sont concentrées sur l'amélioration de la précision des modèles, mais manquent souvent d'une intégration profonde des connaissances du domaine. De plus, l'approche multimodale de (Lu et al., 2020) utilisant des métriques de performance (niveau disque et niveau serveur) et la localisation spatiale du disque se concentre uniquement sur les scénarios d'arrêt complet, ce qui peut ne pas être utile pour détecter les défaillances latentes. Une étude très récente (Lu et al., 2023) a abordé ce problème en étudiant les défaillances grises (disques à ralentissement) en utilisant un modèle de régression pour identifier et analyser les défaillances à ralentissement à la granularité des disques individuels.

\ Un autre facteur important du nettoyage de disque est le coût de mise en œuvre et la consommation d'énergie. (Mi et al., 2008) et (Jiang et al., 2019) abordent la dégradation des performances due au nettoyage et proposent d'attribuer une priorité plus faible au processus d'arrière-plan pendant le temps d'inactivité, c'est-à-dire lorsque le disque n'est pas activement engagé dans le traitement des données ou l'exécution d'autres tâches. (Liu et al., 2010) et (Oprea and Juels, 2010) proposent une méthode pour atténuer la consommation d'énergie et déterminer quand nettoyer dans les systèmes avec des données peu coûteuses, mais nécessitent la conception d'une autre méthode pour identifier les données moins critiques. La gestion de l'espace du disque en cas de remplacement du disque défaillant est discutée dans (Pˆaris et al., 2010), ainsi que la réduction de la nécessité de nettoyages fréquents. Un nettoyage multiniveau est proposé dans (Zhang et al., 2020) en utilisant un modèle Long Short-Term Memory (LSTM) pour détecter les erreurs de secteur latentes dans une configuration de classification binaire. Cependant, l'utilisation de modèles basés sur l'apprentissage automatique peut traiter de la même manière les disques sains et relativement moins sains, conduisant à un nettoyage inutile des disques sains.

\ À notre connaissance, notre travail est le premier à adopter la prédiction conforme de Mondrian pour attribuer un score de santé à chaque disque individuel et à utiliser ces métriques pour concevoir un cycle de nettoyage aligné avec le temps d'inactivité du système.

\

:::info Cet article est disponible sur arxiv sous licence CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International).

:::

:::info Auteurs :

(1) Rahul Vishwakarma, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, États-Unis (rahuldeo.vishwakarma01@student.csullb.edu) ;

(2) Jinha Hwang, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, États-Unis (jinha.hwang01@student.csulb.edu) ;

(3) Soundouss Messoudi, HEUDIASYC - UMR CNRS 7253, Université de Technologie de Compiègne, 57 avenue de Landshut, 60203 Compiègne Cedex - France (soundouss.messoudi@hds.utc.fr) ;

(4) Ava Hedayatipour, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, États-Unis (ava.hedayatipour@csulb.edu).

:::

\