В ИИ-бенчмарке OpenAI для проверки блокчейнов обнаружили ошибки

Компания по кибербезопасности OpenZeppelin провела аудит нового ИИ-бенчмарка EVMbench от OpenAI. Эксперты выявили методологические ошибки и «загрязнение» данных.

https://t.co/yW00RmRBZQ

Разработчик ChatGPT запустил EVMbench в середине февраля в партнерстве с инвестфондом Paradigm для оценки способности ИИ-агентов находить, исправлять и эксплуатировать уязвимости в смарт-контрактах.

Специалисты OpenZeppelin приветствовали инициативу, но решили проверить разработку по тем же стандартам, что и защищаемые протоколы (включая Aave, Lido и Uniswap).

Главная проблема связана с «загрязнением» тренировочных данных. EVMbench построен на подборке из 120 уязвимостей, выявленных в ходе аудитов 2024-2025 годов.

Однако ведущие модели, проходившие тестирование, имеют срез знаний до августа 2025 года. Модели могли «вспоминать» сведения об этих уязвимостях из обучающих данных. Даже при отключенном интернете это ставит под сомнение чистоту эксперимента: неизвестно, способен ли ИИ выявлять действительно новые угрозы.

В OpenZeppelin также указали на фактические ошибки в наборе данных EVMbench. Как минимум четыре уязвимости из категории «высокого риска» оказались неработоспособными. При этом ИИ-агенты получали правильные баллы за якобы верное обнаружение этих проблем.

«Это не субъективные разногласия по поводу серьезности; это случаи, когда описанная атака просто не срабатывает», — подчеркнули эксперты.

Специалисты подтвердили, что искусственный интеллект сыграет ключевую роль в будущем безопасности блокчейнов. Однако они предупредили: спешка с внедрением не должна идти в ущерб качеству данных и тестов.

«Вопрос не в том, изменит ли ИИ безопасность смарт-контрактов — он ее изменит. Вопрос в том, будут ли бенчмарки и данные, на которых мы строим эти инструменты, соответствовать тем же стандартам, что и контракты, которые они призваны защищать», — подытожили в OpenZeppelin.

Напомним, в ноябре эксперты Microsoft представили среду для тестирования ИИ-агентов и выявили уязвимости, присущие современным цифровым помощникам.

Подписывайтесь на ForkLog в социальных сетях

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

Источник