Матрица серьезности инцидентов GenAI: Пользовательская модель оценки для реагирования на киберугрозы

Инцидент в области информационных технологий (ИТ):

ИТ-инцидент — это любое незапланированное прерывание или снижение качества ИТ-услуги. Инциденты варьируются от незначительных проблем, таких как медленная работа приложения, до критических сбоев, включая отказы серверов. Управление инцидентами (IM) направлено на эффективное устранение этих инцидентов, обеспечивая быстрое восстановление ИТ-услуг.

Кибер-инцидент:

Событие, которое может поставить под угрозу конфиденциальность, целостность или доступность информации или информационной системы, или представляет угрозу для политик безопасности или процедур безопасности.

Реагирование на кибер-инциденты и уровни серьезности:

Реагирование на инциденты (IR) — это организованный процесс, которому следует организация для восстановления после инцидента безопасности. Основная цель программы реагирования на инциденты кибербезопасности — ограничить ущерб и снизить стоимость и время восстановления после нарушения безопасности, обеспечивая непрерывность бизнеса и сохраняя целостность систем и данных.

\ Инциденты должны иметь разные уровни серьезности, поскольку не все события оказывают одинаковое влияние на бизнес. Присвоение уровня серьезности является критическим шагом, который определяет скорость и объем ресурсов, выделяемых для реагирования.

Инцидент GenAI и матрица серьезности:

Общее использование методов искусственного интеллекта (ИИ), включая генеративный ИИ (GenAI) и большие языковые модели (LLM) для личной и профессиональной деятельности, стало возможным благодаря технологическим достижениям в системах Generative Pre-trained Transformer (GPT). Приложения GenAI создали новые риски безопасности, которые требуют от команд информационной безопасности расширения своих обязанностей по защите этих систем.

\ Типы возможных инцидентов включают чат-ботов, вводящих в заблуждение клиентов, утечку данных ИИ-агентами и многое другое. Центр операций безопасности (SOC) и команды реагирования на инциденты (IR) требуют применения матрицы серьезности для инцидентов ИИ, чтобы создать стандартизированную систему, определяющую фактические последствия и уровни серьезности событий, связанных с ИИ.

\ Инструмент, описанный в статье, функционирует для определения уровней серьезности инцидентов для правильного распределения ресурсов IR. Новая система интегрирует числовые данные с факторами оценки человека, используя матричный метод оценки.

\ Матрица содержит пять "Измерений воздействия", которые оценивают влияние на функциональность ИИ, целостность данных, доступность операций, репутацию и усилия по устранению.

\ Инструмент позволяет оценивать каждое измерение с помощью системы оценок, которая может иметь оценки Низкий (1), Средний (2), Высокий (3) или Критический (4).

Факторы, которые следует учитывать перед объявлением инцидента:

Предварительная оценка должна произойти перед объявлением инцидента ИИ, поскольку это помогает установить необходимость в существенных ресурсах и немедленных процедурах сортировки. Системы ИИ обладают отличительными характеристиками, которые отличают их от всех других систем.

\ Оценка должна определить, какие системы ИИ участвовали в инциденте, и определить их значимость для операционной безопасности и бизнес-операций. Некоторые примеры систем — это чат-боты, модели компьютерного зрения, рекомендательные системы, пользовательские агенты и т. д. Оценка функционального воздействия требует от исследователей анализа того, как изменяется операционный дизайн, когда системы ИИ сталкиваются с враждебными атаками.

\ Система показывает различные уровни неисправности, которые включают незначительные проблемы с производительностью, влияющие на точность и скорость, и серьезные проблемы, приводящие к сбоям системы и опасным или несправедливым результатам. Некоторые проблемы с производительностью могут быть связаны с уменьшением точности и увеличением задержки в ответах от модели.

\ Система требует идентификации двух вещей в соответствии с фреймворком ATLAS: характера обнаруженной аномалии и того, происходит ли она из враждебной атаки или неисправности системы. MITRE ATLAS (MITRE, 2025) позволяет пользователям идентифицировать конкретные методы атаки (например, LLM Prompt Injection, Poison Training Data, Denial of AI Service), которые показывают как цели атаки, так и их соответствующую классификацию.

\ Оценка включает проверку целостности данных и конфиденциальности путем проверки любого компромисса обучающих или валидационных данных и конфиденциальной информации (PII, PHI, проприетарная модель IP) и эксфильтрации. Процесс оценки должен определить, насколько выход системы ИИ влияет на операционные и системные элементы бизнес-услуг, которые зависят от его результатов. Должно быть определено о степени физической опасности, а также финансовых потерь для бизнеса.

Расчет серьезности объявленного инцидента

Оценка объявленных инцидентов требует стандартизированных методов для установления подходящих процедур реагирования. Оценка серьезности инцидента требует как числовых данных, так и человеческого суждения через матричные системы для достижения точной оценки. Уровень серьезности инцидента достигает своего максимального значения из любой соответствующей категории воздействия, что позволяет серьезным элементам повысить весь инцидент до статуса более высокого приоритета.

Система оценки для каждого соответствующего измерения (A-E) работает от 1 до 4 для определения серьезности инцидента для организаций. Рейтинг серьезности инцидента становится максимальной оценкой из всех оцененных измерений, что определяет полный уровень серьезности. Инцидент может достичь статуса "Критический", если оценка функционального воздействия равна "2", но воздействие на данные достигает "4", в то время как другие измерения варьируются от "1" до "2". Структурированный процесс оценки позволяет организациям получать стандартизированные результаты, ускоряя процесс оценки.

\ Организациям необходимо выбрать между внедрением этой структуры как есть или созданием своей собственной версии, которая соответствует их существующим системам расчета для установления уровней серьезности инцидентов ИИ.

Приоритизация рисков на основе серьезности инцидента ИИ:

Расчет уровня серьезности помогает командам реагирования на инциденты решить, какие риски требуют их немедленного внимания при планировании своего ответа и распределении ресурсов. Реагирование на серьезные инциденты требует немедленного развертывания специализированной команды, состоящей из экспертов по кибербезопасности, инженеров ИИ/МО, специалистов по данным, юристов и PR-представителей. Реагирование на инциденты с более низкими уровнями серьезности требует меньшего количества персонала для их управления.

\ Критические инциденты требуют немедленного уведомления исполнительных и членов совета директоров, юридической команды, регулирующего органа и общественных заинтересованных сторон, но инциденты с низкой серьезностью должны получать только ограниченное внутреннее обмен информацией. Отключения системы вместе с отключениями API функционируют как механизмы первой защиты, которые останавливают распространение инцидентов высокой серьезности. Процесс сдерживания для инцидентов с более низкой серьезностью должен предотвращать возникновение серьезных операционных сбоев.