Агентський штучний інтелект (ШІ) обіцяє трансформувати спосіб роботи організацій. На відміну від попередніх інструментів ШІ, призначених для узагальнення документів або генерації контенту, ці системи можуть діяти автономно, виконувати завдання та взаємодіяти з корпоративними системами. Для рад директорів, які контролюють технологічні ризики, цей перехід створює принципово іншу категорію проблем безпеки. Laura I. Harder, віце-президент Міжнародної асоціації безпеки інформаційних систем (ISSA) та офіцер наступальної кібербезпеки в резерві ВПС США, вважає, що багато лідерів недооцінюють, наскільки швидко ці ризики можуть матеріалізуватися. "Ризик для організацій зводиться до надто великої автономії," говорить Harder. "Агенти можуть змінювати дозволи, змінювати функціональність і створювати дії, яких ви, можливо, не очікували." Оскільки організації переходять від експериментів з ШІ до операційного впровадження автономних агентів, ради директорів повинні так само швидко встановлювати структури управління, обмеження та механізми нагляду, здатні керувати системами, які можуть приймати рішення та діяти без втручання людини.
Агентський ШІ змінює рівняння безпеки
Протягом останніх кількох років більшість корпоративних впроваджень ШІ зосереджувалася на інструментах, які аналізують інформацію або генерують результати. Ці можливості створювали проблеми конфіденційності та цілісності даних, але самі системи рідко виконували дії всередині корпоративних середовищ. Агентський ШІ змінює цю динаміку. Замість того, щоб просто пропонувати рекомендації або фільтрувати резюме, агенти можуть ініціювати робочі процеси, отримувати доступ до баз даних і взаємодіяти з програмними системами в організації. "Тепер він не просто дає нам поради. Він вчиняє дії і діє самостійно," каже Harder.
Ця автономія створює нові виклики безпеки, оскільки системами можна маніпулювати. Так само, як люди можуть піддатися соціальній інженерії, ШІ-агенти можуть бути обмануті для виконання непередбачених завдань за допомогою таких методів, як ін'єкція промптів. Harder вказує на реальні приклади, коли приховані інструкції, вбудовані у вхідні дані, змінюють поведінку ШІ. "ШІ поводитиметься на основі отриманих інструкцій," каже вона. Ці загрози посилюються непрозорою природою багатьох моделей ШІ. Організації часто покладаються на сторонні інструменти без повного розуміння того, як приймаються рішення. Результатом є система, здатна виконувати дії, працюючи способами, які важко передбачити.
Прихований ризик, який ради директорів часто не помічають
Коли ради директорів починають оцінювати агентський ШІ, Harder каже, що найбільш недооціненою вразливістю є дозволи. Кожен ШІ-агент працює в мережі систем, джерел даних і застосунків. Рівень доступу, наданий цим системам, визначає потенційну шкоду у разі виникнення проблеми. Harder описує це як "радіус ураження" системи. Агент, якому надано широкі дозволи, може взаємодіяти з набагато більшою кількістю даних і інфраструктури, ніж усвідомлюють керівники.
Поширений приклад виникає, коли системи ШІ підключені до внутрішніх інструментів співпраці або сховищ документів. Якщо загальнодоступна папка містить конфіденційну інформацію, агент, що працює в цьому середовищі, зможе отримати доступ і використовувати ці дані в межах дозволів, наданих користувачеві, обліковому запису служби або інтеграції, під якою він працює. На практиці це означає, що агент може виявити або діяти на основі інформації, яка могла бути загальнодоступною, але не активно контролювалася.
Сторонні сервіси ШІ створюють додатковий рівень ризику. "Якщо ви використовуєте модель, до якої інформації ця модель має доступ, і чи може ваша інформація використовуватися для навчання цієї моделі?" запитує Harder. Без чітких контролів власна інформація, інтелектуальна власність або конфіденційні дані клієнтів можуть ненавмисно покинути організацію через взаємодію з ШІ.
Побудова управління, яке може встигати за ШІ
Управління ШІ повинно розглядатися як структурована програма, а не як технологічна надбудова. Організації повинні почати зі створення спеціальної ради з управління ШІ, часто змодельованої за зразком існуючих комітетів з конфіденційності або управління ризиками. Ця група повинна прийняти встановлені структури, такі як NIST AI Risk Management Framework або міжнародні стандарти, такі як ISO 42001. "Мати управління ШІ та захист ШІ - це не просто продукт, який можна придбати," каже вона.
Ці структури надають керівництво щодо політик, оцінки ризиків та оперативного контролю. Але вони все ще вимагають від організацій визначити, як ШІ функціонуватиме в їхньому середовищі та до яких даних йому буде дозволено доступ. "Вам потрібні політики, процедури та інвентаризація," каже Harder. "Ці елементи допоможуть побудувати інфраструктуру, з якої ваші команди зможуть працювати." Одна з нових практик - це створення "специфікації матеріалів ШІ", яка інвентаризує кожен інструмент ШІ, що використовується всередині організації, до яких систем він підключається і до яких даних має доступ. Без цієї прозорості організації не можуть повністю зрозуміти експозицію, створену автономними системами, що взаємодіють з корпоративною інфраструктурою.
Обмеження, які запобігають виходу ШІ з-під контролю
Навіть за наявності структур управління, агентські системи вимагають технічних захисних засобів, які обмежують їх роботу. Найефективніша стратегія - проектувати контроль безпеки з самого початку. Системи спочатку повинні розроблятися всередині закритих, контрольованих пісочниць, використовуючи тестові дані (а не робочі дані) та обмежені привілеї. "Коли ви будуєте свою агентську систему, ви повинні робити це в пісочниці," каже вона. "Це контрольоване середовище, де синтетичні системи можуть працювати з низьким ризиком і без привілеїв."
Тестування також повинно включати червону команду, де фахівці з безпеки намагаються зламати систему або маніпулювати її поведінкою. Ці вправи виявляють вразливості до того, як системи будуть розгорнуті в робочих середовищах. "Наявність людини в циклі гарантує, що якщо і коли ваш інструмент ШІ вирішить прийняти рішення, яке ви, можливо, не хотіли, є якесь обмеження," каже Harder. Методи ізоляції також можуть обмежити ризик. У деяких архітектурах агенти утримуються всередині віртуальних машин, де політики обмежують, які команди вони можуть виконувати і до яких систем можуть отримати доступ.
Нагляд ради директорів має вирішальне значення
Для рад директорів зростання агентського ШІ є викликом управління та підзвітності, і Harder підкреслює, що організації залишаються відповідальними за дії своїх систем ШІ. "Ви не можете повернутися і сказати: 'Я не знав, що це може зробити це'," каже вона. "Ви повинні провести належну перевірку." Ця відповідальність несе як юридичні, так і фідуціарні наслідки. Ради директорів повинні забезпечити, щоб автономні технології впроваджувалися з чітким наглядом, обмеженими повноваженнями та безперервним моніторингом. "Не підключайте агентів до привілейованих інструментів, поки ви не зможете довести, що він має обмежені повноваження, контрольні точки для людей і моніторинг," каже Harder. Оскільки агентський ШІ продовжує переходити від експериментів до основних операцій, організації, які досягнуть успіху, будуть тими, хто розглядає управління та безпеку як основні вимоги, а не як додаткові міркування.
Слідкуйте за Laura I. Harder на LinkedIn для отримання додаткових відомостей.
