Anthropic предлагает законодательные полномочия для остановки запусков высокорискового ИИ

Anthropic предложил новые политические основы в области ИИ по мере того, как продвинутые системы приобретают более широкие возможности.

Компания хочет, чтобы правительства устанавливали правила для передовых моделей и готовили работников к экономическим последствиям ИИ. Её план охватывает опасное развёртывание, независимое тестирование, кибербезопасность и общественную устойчивость.

Anthropic добивается более широких полномочий в области безопасности ИИ

Anthropic представил два предложения в рамках плана «Политика на экспоненте ИИ». Продвинутая основа ИИ сосредоточена на мощных моделях, тогда как Основа экономической политики касается работников и распределения финансовых выгод. Компания утверждает, что ИИ сейчас развивается быстрее, чем нынешние системы выработки политики. Также компания заявила, что правительствам необходимы полномочия для блокировки или предотвращения опасного развёртывания моделей.

По плану гражданские штрафы будут привязаны к годовой глобальной выручке. Повторные нарушения повлекут более высокие штрафы согласно предложенной основе. Основа также призывает разработчиков передовых систем тестировать модели перед выпуском. Разработчики будут публиковать резюме, основы безопасности и карточки систем для мощных систем ИИ.

Независимые оценщики будут проверять результаты тестирования моделей и отчёты о рисках. Anthropic также хочет, чтобы разработчики поддерживали надёжные программы безопасности для весов моделей и обучающих систем. Предложение поддерживает законы о прозрачности в таких штатах, как Калифорния и Нью-Йорк. Однако компания утверждает, что публичное раскрытие информации само по себе больше не соответствует скорости развития ИИ.

Основа направлена на катастрофические риски ИИ

Предлагаемые правила будут применяться только к наиболее продвинутым системам ИИ. Anthropic установил порог для моделей, обученных при более чем 10²⁵ операций с плавающей точкой. Основа также охватит компании, получающие более 500 000 000 $ дохода, связанного с ИИ. Под её действие также попадут фирмы, тратящие более 1 000 000 000 $ на исследования и разработки в области ИИ.

Anthropic выделил четыре основные области риска в предложении. К ним относятся биологический риск, киберриск, потеря контроля и автоматизированные исследования ИИ. В отношении биологического риска компания предупредила, что небезопасные системы могут помочь злоумышленникам разрабатывать вредоносные вирусы. Также отмечается, что аналогичные инструменты ИИ могут содействовать открытию лекарств.

В отношении киберрисков передовые модели способны обнаруживать серьёзные программные уязвимости в большом масштабе. Anthropic заявил, что эти возможности вызывают озабоченность в отношении больниц, энергосетей и других ключевых систем. Компания также выделила риски от систем, действующих вне контроля разработчиков. Автоматизированные исследования ИИ могут усилить биологические, кибер- и контрольные риски в случае сбоя защитных механизмов.

Разработчики сталкиваются с обязанностями по тестированию и безопасности

Anthropic хочет, чтобы разработчики передовых систем публиковали регулярные отчёты о рисках. Эти отчёты будут описывать общую позицию разработчика по рискам и работу по обеспечению безопасности модели. Основа также предусматривает наличие как минимум одного квалифицированного независимого оценщика. Этот оценщик будет проверять оценки компаний и публиковать выводы по отчётам о рисках моделей.

Правительства и отрасль также будут устанавливать стандарты для таких оценщиков. В предложении говорится, что оценщикам необходимы финансирование и доступ к передовым моделям. Правила безопасности составляют ещё одну важную часть основы. Разработчики будут защищать всю среду разработки от внешних злоумышленников и внутренних угроз.

Компании будут публично описывать свои программы безопасности на высоком уровне. По запросу они также будут предоставлять более подробную информацию уполномоченному государственному органу. Anthropic заявил, что политики могут начать с более лёгких правил и корректировать их со временем. В основе говорится, что регулирование должно следовать возможностям модели и стандартам оценки.

Предложение включает меры по обеспечению устойчивости

Вторая часть основы сосредоточена на общественной устойчивости. Anthropic рекомендовал усилить планирование биологических, кибер- и связанных с контролем рисков ИИ. В части биологии предложение включает скрининг синтеза генов и раннее биобдительное наблюдение. Также упоминаются запасы защитного оборудования и инструменты для снижения воздушной передачи.

В части кибербезопасности основа призывает к укреплению интернет-программного обеспечения и поддержке операторов критической инфраструктуры. Также рекомендуется замена устаревших систем в ключевой инфраструктуре. Правительствам следует также отслеживать передовые кибервозможности через специализированную функцию. Anthropic предложил совместную работу правительства и отрасли над защитными механизмами для моделей.

Компания заявила, что работа по рискам потери контроля и автоматизированных исследований остаётся менее развитой. Было призвано к разработке лучших инструментов для обнаружения, сдерживания или отключения небезопасных систем. Anthropic призвал политиков действовать по мере того, как возможности моделей продолжают совершенствоваться. Компания заявила, что управление ИИ должно идти в ногу с технологиями.