Прорив у модерації контенту ШІ: Moonbounce отримує $12 млн для створення засобів безпеки у режимі реального часу

BitcoinWorld

Прорив у модерації контенту за допомогою ШІ: Moonbounce залучає $12 млн для створення засобів безпеки в режимі реального часу

У значному кроці для вирішення зростаючої кризи онлайн-безпеки, Moonbounce, стартап-першопрохідець у модерації контенту за допомогою ШІ в режимі реального часу, ексклюзивно розкрив Bitcoin World раунд фінансування на $12 мільйонів. Ці інвестиції, спільно очолювані Amplify Partners та StepStone Group, підтримують місію компанії з перетворення статичних документів політики на виконуваний код, створюючи негайний рівень безпеки для контенту, створеного користувачами та ШІ. Таким чином, фінансування надходить у той час, коли платформи стикаються зі зростаючим юридичним та репутаційним тиском через резонансні збої модерації.

Рішення Moonbounce для модерації контенту за допомогою ШІ

Основною інновацією Moonbounce є підхід "політика як код". Компанія навчає власну велику мовну модель (LLM) засвоювати письмові політики безпеки клієнта. Згодом ця система оцінює контент у точний момент його створення — чи то від людини-користувача, чи від ШІ-чатбота. Вона надає рішення про примусове виконання менш ніж за 300 мілісекунд. Таким чином, цей перехід від реактивної, відстроченої людської перевірки до проактивного, миттєвого машинного примусового виконання являє собою фундаментальну зміну в інфраструктурі цифрової довіри та безпеки.

Система пропонує гнучкі дії примусового виконання на основі потреб клієнта. Наприклад, вона може:

• Миттєво блокувати високоризикований контент до того, як його побачить будь-який користувач.
• Сповільнювати поширення межового контенту, ставлячи його в чергу для пізнішої перевірки людиною.
• Надавати детальне обґрунтування своїх рішень, сприяючи прозорості.

На даний момент Moonbounce обслуговує три основні сектори: соціальні додатки та додатки для знайомств з контентом, створеним користувачами, платформи ШІ-компаньйонів та персонажів, а також сервіси генерації зображень за допомогою ШІ. Компанія вже обробляє понад 40 мільйонів щоденних перевірок для понад 100 мільйонів щоденних активних користувачів у своїй клієнтській базі.

Фундаментальна проблема в сучасній модерації

Генеральний директор Moonbounce Бретт Левенсон задумав цю ідею після того, як відчув глибокі недоліки застарілих систем під час роботи на посаді керівника бізнес-інтеграції в Facebook. Він виявив, що людські рецензенти працювали з погано перекладеними, об'ємними документами політики. Потім у них було лише кілька секунд, щоб прийняти складні рішення щодо позначеного контенту, досягаючи точності лише "трохи краще, ніж 50%."

"Це було схоже на підкидання монети", — сказав Левенсон Bitcoin World. "І це було через багато днів після того, як шкода вже була завдана". Ця реактивна модель є критично неадекватною проти сьогоднішніх добре забезпечених, спритних ворожих акторів. Більше того, вибухове впровадження генеративного ШІ експоненційно збільшило обсяг та складність шкідливого контенту, роблячи ручну перевірку абсолютно нестійкою.

Впевненість інвесторів у критичній потребі

Фінансування підкреслює зростаючий консенсус про те, що зовнішня, спеціалізована інфраструктура безпеки є необхідною. "Модерація контенту завжди була проблемою, яка переслідувала великі онлайн-платформи, але тепер, коли LLM є серцем кожної програми, цей виклик є ще більш складним", — сказав Ленні Прусс, генеральний партнер Amplify Partners. "Ми інвестували в Moonbounce, тому що ми бачимо світ, де об'єктивні засоби безпеки в режимі реального часу стають основою кожної програми, керованої ШІ."

Цей зовнішній підхід пропонує ключову перевагу. Система Moonbounce працює як нейтральна третя сторона між користувачем та ШІ. На відміну від самого чатбота, який повинен керувати величезним контекстом розмови, модель Moonbounce зосереджується виключно на примусовому виконанні правил під час виконання. Це розділення обов'язків призводить до швидших, більш послідовних і менш упереджених рішень щодо безпеки.

Перетворення безпеки на перевагу продукту

Традиційно модерація контенту була дорогою, внутрішньою функцією відповідності. Однак Левенсон стверджує, що Moonbounce дозволяє безпеці стати основною функцією продукту та відмінністю. "Безпека насправді може бути перевагою продукту", — пояснив він. "Просто її ніколи не було, тому що це завжди щось, що відбувається пізніше, а не те, що ви можете фактично вбудувати в свій продукт."

Перші клієнти підтверджують цю тезу. Наприклад, керівник довіри та безпеки Tinder повідомив про 10-кратне покращення точності виявлення за допомогою подібних сервісів, керованих LLM. Клієнти Moonbounce включають стартап ШІ-компаньйона Channel AI, платформу генерації зображень Civitai та сервіси рольових ігор персонажів Dippy AI та Moescape.

Шлях вперед: від блокування до керування

Наступна фаза розвитку Moonbounce зосереджена на "ітеративному керуванні". Ця розширена можливість, натхненна трагічними інцидентами, такими як випадок 2024 року з підлітком, одержимим чатботом Character AI, виходить за межі простого блокування контенту. Натомість система перехоплювала б потенційно шкідливу розмову в режимі реального часу та розумно перенаправляла її.

Технологія модифікувала б підказки користувачів, щоб спрямувати чатбот до більш підтримуючої та корисної відповіді. "Ми сподіваємось... взяти підказку користувача та модифікувати її, щоб змусити чатбот бути не просто емпатичним слухачем, а корисним слухачем у таких ситуаціях", — сказав Левенсон. Це являє собою більш нюансовану, інтервенціоністську модель безпеки ШІ.

Висновок

Раунд фінансування Moonbounce на $12 мільйонів сигналізує про поворотний зсув у тому, як технологічна індустрія підходить до модерації контенту за допомогою ШІ. Перекладаючи нечіткі політики у виконуваний код та діючи зі швидкістю генерації, стартап пропонує масштабований шлях вперед для безпеки платформи. Оскільки генеративний ШІ стає повсюдним, попит на надійні засоби безпеки в режимі реального часу лише посилюватиметься. Технологія Moonbounce, побудована на власному досвіді системних збоїв, позиціонує її як критичного гравця у побудові безпечнішої, більш надійної цифрової екосистеми, де безпека є невід'ємною частиною користувацького досвіду.

FAQ

Q1: Що таке "політика як код" у модерації контенту за допомогою ШІ?
"Політика як код" — це методологія Moonbounce для перетворення письмових правил безпеки платформи в машинно-виконувану логіку. Це дозволяє системі ШІ автоматично та миттєво оцінювати контент відповідно до цих правил у момент його створення, замість того, щоб покладатися на повільну, непослідовну перевірку людиною документів політики.

Q2: Наскільки швидка система модерації ШІ Moonbounce?
Система розроблена для оцінки контенту та надання відповіді про примусове виконання за 300 мілісекунд або менше. Ця швидкість у режимі реального часу є критичною для запобігання поширенню шкідливого контенту на швидко рухомих соціальних платформах та інтерактивних чатах ШІ.

Q3: Які типи компаній використовують послуги Moonbounce?
Moonbounce в основному обслуговує три сектори: платформи з контентом, створеним користувачами (наприклад, додатки для знайомств), компанії ШІ, що створюють чатботів або компаньйонів, та сервіси генерації зображень та відео за допомогою ШІ. Її клієнти включають Channel AI, Civitai, Dippy AI та Moescape.

Q4: Що таке "ітеративне керування"?
Ітеративне керування — це розширена можливість, яку розробляє Moonbounce. Замість простого блокування шкідливого контенту, система перехоплювала б ризиковану розмову з чатботом ШІ та динамічно модифікувала б підказки користувача в режимі реального часу. Мета полягає в тому, щоб спрямувати взаємодію до більш позитивного, підтримуючого та корисного результату.

Q5: Чому зовнішня модерація контенту за допомогою ШІ важлива?
Зовнішня система модерації сторонньої платформи працює незалежно від основної моделі ШІ. Вона не обтяжена потребою чатбота запам'ятовувати довгі історії розмов, що дозволяє їй зосередитися виключно на примусовому виконанні правил безпеки. Це розділення може зменшити упередженість, підвищити послідовність та забезпечити спеціалізований рівень захисту, який внутрішні команди можуть мати труднощі побудувати в масштабі.

Ця публікація Прорив у модерації контенту за допомогою ШІ: Moonbounce залучає $12 млн для створення засобів безпеки в режимі реального часу вперше з'явилася на BitcoinWorld.