Чи тіньовий ШІ гірший за тіньові ІТ?

Тихий офіс може виглядати безпечно. Ряди моніторів, залиті світлом, навушники, що приховують розмови, і робочий гул продовжуються без жодних ознак того, що під ними криється щось зловісне. Але все частіше з'являються випадкові, несанкціоновані технології — тут особиста хмарна папка, там несанкціонований ШІ-чатбот. Незабаром організації доведеться керувати всіма цими новими непередбаченими ризиками. Але тіньові ІТ були лише першим навантаженням прихованих загроз. Тіньовий ШІ підвищив ставки.

Що таке тіньовий ШІ і чому він зростає

Як розширення тіньових ІТ, тіньовий ШІ передбачає використання співробітниками неузгоджених технологій. Тіньові ІТ зазвичай стосуються споживчих технологій, таких як програми для обміну файлами або особисті пристрої. Тіньовий ШІ зазвичай включає швидкорухомі, дані-голодні системи, поведінка яких може бути непередбачуваною.

\ Згідно з дослідженням, проведеним Gartner, 80% організацій мають прогалини в управлінні даними. Ці прогалини полегшують людям пропуск поведінки, створеної ШІ. Багато команд не проходять оцінку готовності до кібербезпеки. Ризик, пов'язаний з ШІ, збільшується через те, що співробітники впроваджують нові інструменти швидше, ніж їхні команди можуть їх належним чином перевірити. Оскільки 30% витоків даних походять від постачальників, знання того, які інструменти використовує команда, є критичним компонентом захисту цифрових активів компанії.

\ Тіньовий ШІ набув популярності, оскільки співробітники розглядають контент, створений ШІ, як швидший спосіб створення контенту, узагальнення складної інформації та вирішення технічних проблем. Це зменшує тертя в щоденній роботі, але вводить ризики, які раніше не спостерігалися з проблемами тіньових ІТ, включаючи розкриття даних, ризик відповідності та ризики на рівні моделі.

Тіньовий ШІ проти тіньових ІТ

Тіньові ІТ давно звинувачують у невідомих вразливостях. Високий відсоток ранніх порушень був пов'язаний з непідписаними інструментами SaaS або особистим сховищем. Інструменти ШІ повністю змінюють рівняння. Масштаб і швидкість, з якими вони працюють, разом з їх непрозорістю, створюють ризики, які важче виявити та стримати.

\ З 78% організацій, що використовують ШІ у виробництві, деякі порушення тепер пов'язані з неконтрольованим впливом технологій. Більша ІТ-модель все ще має значення, але ШІ вводить новий вимір для розширення поверхні атаки.

Ключові відмінності між тіньовим ШІ та тіньовими ІТ

Тіньовий ШІ схожий на тіньові ІТ тим, що обидва виникають з бажання співробітника бути більш продуктивним, але вони відрізняються тим, де знаходиться ризик.

• Інструменти тіньових ІТ мають фіксовану логіку, що робить поведінку передбачуваною. Прогнозування поведінки інструментів тіньового ШІ складніше, оскільки моделі можуть постійно модифікуватися та перенавчатися.
• Ризики тіньових ІТ включають зберігання або переміщення даних без авторизації. Ризики тіньового ШІ включають інверсію моделі, отруєння даних та навчання моделі.
• Тіньові ІТ є детерміністичними, тоді як інструменти ШІ можуть галюцинувати, погано узагальнювати та надмірно впевнено виробляти неправильні результати.

\ Тіньовий ШІ також виникає в контексті майбутніх регуляцій, таких як Закон ЄС про штучний інтелект, який може посилити регуляторний нагляд.

Ризики безпеки, які роблять тіньовий ШІ більш нагальним

Тіньовий ШІ може призвести до проблем в інженерії, маркетингу та фінансах. Коли рішення приймаються на основі результатів ШІ, власні дані можуть витікати, а внутрішні бізнес-процеси можуть маніпулюватися без чийогось відома.

\

• Маніпуляція моделлю: Зловмисники можуть створювати дані, які спотворюють результати.
• Вразливість до ін'єкцій промптів: Створений промпт може бути використаний для вилучення приватної інформації з моделі.
• Прогалини в походженні даних: Інструменти ШІ можуть генерувати та зберігати дані способами, які команди безпеки не можуть відстежити.
• Дрейф відповідності: Інструменти ШІ змінюються, і плани управління, що розвиваються, можуть стати неактуальними.

\ Занепокоєння зростає з появою генеративного ШІ. Чатбот, що відповідає на запитання постачальника, або узагальнення генеративного ШІ може здаватися безпечним, але ризикує розкрити чутливі дані використання або цінну власну інтелектуальну власність. Університет Карнегі-Меллона виявив, що великі мовні моделі набагато більш вразливі до ворожих промптів, ніж системи на основі правил. Проблема збільшується, коли співробітники можуть використовувати інструменти без нагляду.

\ Дерево рішень з підтримкою ШІ може бути більш упередженим, ніж звичайне дерево рішень. Тіньовий ШІ часто отримує неповну навчальну інформацію, яка подається в інструменти третіх сторін. Структурований нагляд за системами ШІ забезпечив би цілісність оновлень. Коли команди нехтують цим, дані моделі та поведінка дрейфують.

Як команди безпеки можуть зменшити вплив тіньового ШІ

Хоча тіньовий ШІ створює численні ризики, організації можуть пом'якшити багато з них, поєднуючи видимість з політикою та технічними контролями, знаходячи баланс, який захищає продуктивність співробітників, не обтяжуючи їх часозатратними перевірками або заблокованими сайтами. Команди безпеки отримують користь від розгляду тіньового ШІ як проблеми управління, а не проблеми покарання. Стратегії пом'якшення неминуче повинні розвиватися, оскільки співробітники використовують інструменти ШІ для підвищення продуктивності.

1. Побудова чіткої структури управління ШІ

План управління повинен визначати, які інструменти ШІ затверджувати, які типи даних співробітники можуть використовувати, як переглядати результати моделі перед прийняттям важливих рішень і що робити, коли виникає непередбачувана поведінка моделі. Останній елемент включає, хто переглядає поведінку, хто розслідує її причини та які наслідки.

\ З наглядом на місці організації можуть розглядати ШІ як будь-який інший корпоративний актив, що підлягає тим самим вимогам щодо відстеження, аудиту, безпеки та відповідності, що й інші успадковані корпоративні системи.

2. Надання затверджених інструментів ШІ

Команди з доступом до перевірених, централізованих інструментів ШІ менш схильні звертатися до неузгоджених публічних ШІ для обходу блокувальників. Оскільки робота стає більш автоматизованою, персонал вкладатиме більше зусиль у різні моделі. Працівники вже витрачають близько 4,6 годин на тиждень, використовуючи ШІ на роботі, перевищуючи середній час особистого використання 3,6 годин на тиждень. ШІ від третіх сторін без належного моніторингу може вже бути більш поширеним, ніж корпоративні інструменти, які перевірені та затверджені. Компанії повинні негайно вжити заходів для забезпечення дотримання своїх політик.

\ З керованим середовищем організації можуть відстежувати використання через інструменти, встановлювати дозволи в базах даних та забезпечувати управління даними у всіх відділах. Це підвищує продуктивність співробітників, одночасно захищаючи цілісність даних бізнесу та відповідність.

3. Моніторинг руху даних та використання моделі

Інструменти видимості, які позначають аномальну поведінку — такі як раптове збільшення використання ШІ, завантаження даних до незвичних кінцевих точок або доступ до моделі за короткий проміжок часу з чутливими даними — можуть допомогти командам безпеки виявити зловживання та витоки даних. Звіти вказують, що за минулий рік до 60% співробітників використовували неузгоджені інструменти ШІ, і 93% визнали, що вводили дані компанії без авторизації.

\ Виявлення цих шаблонів на ранній стадії може дозволити виправлення, перенавчання, реконфігурацію дозволів або припинення процесу до того, як це призведе до витоку даних або порушень відповідності.

4. Навчання співробітників щодо специфічних ризиків ШІ

Загального навчання з кібербезпеки недостатньо. ШІ може галюцинувати, неправильно інтерпретуючи намір за промптами, і генерувати на вигляд авторитетний, хибний або упереджений контент. Крім того, працівники повинні розуміти, що використання ШІ відрізняється від використання програмного забезпечення або послуг. Безпечне використання вимагає зміни ментальних моделей, розуміння ризиків промптів та обробки особистих даних.

\ Користувачі з базовою машинною грамотністю будуть перевіряти факти виводу і менш схильні надмірно ділитися особистими даними. Вони будуть розглядати інструменти як цінних співпілотів, але вони повинні використовуватися під наглядом людини.

Захист організацій від тіньового ШІ

Тіньовий ШІ зростає швидше і його важче ідентифікувати, ніж тіньові ІТ. Хоча масштаб і складність ризиків відрізняються, залучення допомоги співробітників може ефективніше ідентифікувати обидва. Політики управління можуть допомогти компаніям знайти правильний баланс. Команди безпеки повинні переоцінити свій вплив, бути пильними щодо нових загроз і діяти швидко, перш ніж невидимі інструменти на основі ШІ приймуть ключові рішення в бізнес-додатках.