ChatGPT начнет автоматически определять возраст пользователей

• Порядка 0,15% всех активных пользователей ChatGPT ведут разговоры о самоубийстве.
• OpenAI усилила контроль, консультируясь с 170 психиатрами и терапевтами.
• GPT-5 на 91% соответствует желаемому поведению при ответах на кризисные запросы.

Компания OpenAI опубликовала данные, согласно которым более миллиона человек еженедельно обсуждают с ChatGPT мысли о самоубийстве. По оценкам фирмы, 0,15% всех активных пользователей ведут разговоры, «содержащие явные признаки планирования или намерения совершить суицид».

Представители компании добавили, что аналогичный процент пользователей демонстрирует эмоциональную зависимость от чат-бота. Вдобавок сотни тысяч показывают признаки психоза или мании. 

Несмотря на то что такие случаи считаются редкими, OpenAI признает их растущую социальную значимость.

Новые данные опубликованы в рамках отчета о работе над безопасностью ChatGPT. Компания заявила, что консультировалась с более чем 170 специалистами по психическому здоровью, которые помогли улучшить реакции модели. 

По их оценкам, GPT-5 реагирует на кризисные темы «более адекватно и последовательно», чем предыдущие версии.

OpenAI утверждает, что обновленная ИИ-модель примерно на 65% чаще корректно распознает тревожные сигналы. Кроме того, она на 91% соответствует желаемым стандартам поведения при разговорах о самоубийстве, тогда как у прошлой версии этот показатель составлял 77%.

Проблема приобрела острый характер после расследования дела о самоубийстве подростка, который ранее делился суицидальными мыслями с ChatGPT. Прокуратуры Калифорнии и Делавэра сейчас проверяют OpenAI и требуют усилить защиту несовершеннолетних.

В ответ компания заявила о внедрении родительских инструментов и системы прогнозирования возраста. По заверению ее представителей, это позволит автоматически выявлять детей и применять строгие меры безопасности. Кроме того, OpenAI добавляет в базовые тесты новые метрики, включая эмоциональную зависимость и психические расстройства.

Генеральный директор фирмы Сэм Альтман утверждает, что компании «удалось смягчить серьезные проблемы с психическим здоровьем». Однако он признает, что не все реакции моделей считаются безопасными. 

Несмотря на внедрение GPT-5, миллионы пользователей продолжают использовать более старые и уязвимые версии ChatGPT, включая GPT-4o.

Напомним, мы писали, что В Мэриленде ИИ-система безопасности приняла чипсы за оружие и спровоцировала арест школьника.