Как «взломать» ChatGPT и Google AI за 20 минут — журналистский эксперимент

• Журналист BBC показал, как один пост в сети может менять ответы чат-ботов у других людей.
• Эксперты предупреждают, что ИИ проще обмануть чем классический поиск и это опасно.
• Google и OpenAI заявили, что борются со скрытым влиянием, но проблема далека от решения

Ведущий технический журналист BBC Томас Жермен описал простой способ заставить ChatGPT и Google AI Overview выдавать ложные утверждения. Для демонстрации он добился того, чтобы модели сообщали пользователям, будто он ест хот-доги «лучше любого технологического журналиста».

По словам Жермена, изменить ответы ИИ другим людям иногда можно так же легко, как написать один продуманный пост в блоге. Этот прием использует уязвимость тех систем, которые подмешивают в ответы данные из сети, когда у модели нет нужной информации.

В рамках эксперимента Жермен опубликовал в сети материал с вымышленным утверждением о том, что является «чемпионом по поеданию хот-догов».

После появления этого источника ChatGPT, Gemini и AI Overview начали подтягивать его при ответах на запросы пользователей и воспроизводить утверждение как факт. При этом системы ссылались на публикацию, но редко указывали, что она является единственным источником информации по теме.

По словам Жермена, подобную манипуляцию можно реализовать с помощью одного хорошо оптимизированного текста в интернете. Этот подход использует момент, когда модели обращаются к внешним данным для дополнения ответов и становятся более уязвимыми к влиянию источников.

Жермен приводит оценку вице-президента по стратегии и исследованиям SEO в агентстве Amsive Лили Рэй. По ее словам, компании, работающие с ИИ, развиваются быстрее, чем успевают выстраивать механизмы контроля точности ответов, что создает дополнительные риски.

Представитель Google заявил, что ИИ вверху выдачи использует системы ранжирования, которые «обеспечивают 99% отсутствия спама в результатах».

По словам эксперта, компания знает о попытках обмануть систему и работает над решением. OpenAI также сообщила, что предпринимает шаги для пресечения и выявления попыток скрытого влияния.

Вдобавок обе компании предупреждают, что их инструменты «могут ошибаться».

Старший технолог Electronic Frontier Foundation Купер Квинтин предупредил, что способов злоупотреблять этим бесчисленное множество. Речь идет об обмане людей и ущербе репутации, а также более опасных сценариях. 

В материале также приводятся примеры когда ИИ-обзоры опирались на рекламные тексты и пресс-релизы по чувствительным темам, включая продукты и финансовые услуги.

Эксперты предлагают более заметные оговорки и явное указание источников, особенно если исходный ресурс один или если данные приходят из пресс-релиза. Сам Жермен советует осторожнее использовать ИИ для медицинских, юридических и локальных рекомендаций.

По словам журналиста, необходимо каждый раз проверять ссылки и происхождение утверждений.

Напомним, мы писали, что США применили ИИ-модель Claude в операции против Мадуро.