Конформне прогнозування Мондріана для оцінки здоров'я диска та оптимізації очищення

Таблиця посилань

Анотація та 1. Вступ

1. Мотивація та цілі проєктування

2. Пов'язані роботи

3. Конформне прогнозування

   4.1. Мондріанівське конформне прогнозування (MCP)

   4.2. Метрики оцінювання

4. Мондріанівське конформне прогнозування для очищення диска: наш підхід

   5.1. Статистика системи та сховища

   5.2. Який диск очищати: предиктор стану диска

   5.3. Коли очищати: предиктор навантаження

5. Експериментальне налаштування та 6.1. Відкритий набір даних Baidu

   6.2. Експериментальні результати

6. Обговорення

   7.1. Аспект оптимального планування

   7.2. Метрики продуктивності та 7.3. Економія енергії від вибіркового очищення

7. Висновок та Посилання

2. Мотивація та цілі проєктування

У центрах обробки даних значна кількість несправних дисків залишається невиявленою через приховані атрибути відмов, що призводить до сценаріїв повної зупинки. Одним із поширених підходів для пом'якшення таких сценаріїв є очищення диска, яке полягає у перевірці даних диска за допомогою фонового процесу сканування для виявлення пошкоджених секторів. Однак цей процес може споживати енергію та спричиняти погіршення продуктивності залежно від розкладу запуску. Цей сценарій викликає занепокоєння в галузі, особливо зі збільшенням ємності дисків. Ми помічаємо відсутність зв'язку у вирішенні питань "який диск очищати", "коли очищати", на основі частоти циклу очищення, мінімізуючи вплив на продуктивність масиву сховища та максимізуючи надійність. У цій статті ми розглядаємо наступні цілі та підходи до проєктування для вирішення цієї проблеми:

\ • Який диск очищати? Залежно від конкретного процесу очищення, він може тимчасово погіршити продуктивність диска. Щоб забезпечити швидкість та чутливість диска, мінімізація частоти очищення є вирішальною. Замість виконання очищення для всіх дисків у масиві сховища, наш підхід зосереджується на вибірковому очищенні лише тих дисків, які цього потребують, тим самим зменшуючи загальний час, необхідний для завершення процесу.

\ • Коли очищати? Ми можемо оптимізувати розклад очищення дисків, враховуючи такі фактори, як навантаження системи, важливість даних на диску та доступність ресурсів. Цей підхід забезпечує виконання очищення в найбільш відповідний час, мінімізуючи вплив на загальну продуктивність системи.

\

3. Пов'язані роботи

Надійність пристроїв зберігання даних давно є критичною проблемою в галузі, і існуючі рішення часто покладаються на аналіз відмов систем зберігання. Однак традиційні методи, такі як прискорені випробування на довговічність (Cho et al., 2015), не виявилися надійними показниками фактичних показників відмов у виробничих середовищах. Нещодавні підходи на основі машинного навчання, такі як багатовимірні часові ряди (Yu, 2019) та класифікація часових рядів (Ircio et al., 2022), зосереджені на покращенні точності моделі, але часто не мають глибокої інтеграції доменних знань. Крім того, мультимодальний підхід (Lu et al., 2020), що використовує метрики продуктивності (на рівні диска та сервера) та просторове розташування диска, зосереджується лише на сценаріях повної зупинки, що може не допомогти у виявленні прихованих відмов. Найновіше дослідження (Lu et al., 2023) вирішило цю проблему, досліджуючи сірі відмови (повільні диски) за допомогою регресійної моделі для виявлення та аналізу повільних відмов на рівні окремих дисків.

\ Іншим важливим фактором очищення диска є вартість впровадження та споживання енергії. (Mi et al., 2008) та (Jiang et al., 2019) вирішують проблему погіршення продуктивності через очищення та пропонують призначати нижчий пріоритет фоновому процесу під час простою, тобто коли диск не активно задіяний в обробці даних або виконанні інших завдань. (Liu et al., 2010) та (Oprea and Juels, 2010) пропонують метод для зменшення споживання енергії та визначення, коли очищати в системах з недорогими даними, але вимагають розробки іншого методу для ідентифікації менш критичних даних. Управління простором диска у випадку заміни несправного диска обговорюється в (Pˆaris et al., 2010), разом із зменшенням потреби в частому очищенні. Багаторівневе очищення запропоновано в (Zhang et al., 2020) з використанням моделі Long Short-Term Memory (LSTM) для виявлення прихованих помилок сектора в бінарній класифікаційній установці. Однак використання моделей на основі машинного навчання може однаково трактувати здорові та відносно менш здорові диски, що призводить до непотрібного очищення здорових дисків.

\ Наскільки нам відомо, наша робота є першою, яка застосовує мондріанівське конформне прогнозування для призначення оцінки здоров'я кожному окремому диску та використання метрик для розробки циклу очищення, узгодженого з часом простою системи.

\

:::info Ця стаття доступна на arxiv за ліцензією CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International).

:::

:::info Автори:

(1) Rahul Vishwakarma, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, United States (rahuldeo.vishwakarma01@student.csullb.edu);

(2) Jinha Hwang, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, United States (jinha.hwang01@student.csulb.edu);

(3) Soundouss Messoudi, HEUDIASYC - UMR CNRS 7253, Universit´e de Technologie de Compiegne, 57 avenue de Landshut, 60203 Compiegne Cedex - France (soundouss.messoudi@hds.utc.fr);

(4) Ava Hedayatipour, California State University Long Beach, 1250 Bellflower Blvd, Long Beach, CA 90840, United States (ava.hedayatipour@csulb.edu).

:::

\