В Кремниевой долине раскритиковали законопроект об «аварийном выключателе» ИИ
Технологические компании выступают против принятия закона о безопасности нейросетей в штате Калифорния. Власти хотят обязать разработчиков гарантировать безопасность их технологий и предусмотреть «аварийный выключатель» в мощных моделях ИИ. Законодательные ограничения коснутся всех компаний, работающих в штате, включая три крупнейших стартапа в области ИИ — OpenAI, Anthropic и Cohere.
Детали
Законопроект был принят Сенатом штата в мае, а в августе за него будет голосовать генеральная ассамблея, написала Financial Times. Согласно инициативе, технологические компании должны дать гарантии, что не будут разрабатывать модели ИИ с «опасными возможностями» — способные создавать биологическое или ядерное оружие или содействовать атакам в области кибербезопасности. Разработчики должны отчитываться о своих испытаниях и внедрить так называемый kill switch — экстренный аварийный выключатель для моделей ИИ, считают авторы законопроекта. Ограничения будут распространяться на все компании, работающие в штате, включая три ведущих стартапа в области ИИ — OpenAI, Anthropic и Cohere, а также на крупные языковые модели, управляемые гигантами вроде Meta.
«Я хочу, чтобы искусственный интеллект преуспел, а инновации продолжались, но для безопасности нужно попробовать обойти любые [потенциальные] риски», — цитирует FT сенатора штата Скотта Винера, представившего законопроект. Это «легкий законопроект: для его выполнения от разработчиков лишь требуется обучать модели ИИ выполнять базовые оценки безопасности, выявлять риски и предпринимать шаги для их смягчения», уверяет Винер.
Чья идея
«Спонсором» калифорнийского законопроекта FT называет Центр безопасности ИИ (CAIS) — это некоммерческая организация из Сан-Франциско, которой руководит ученый Дэн Хендрикс, консультант по безопасности стартапа Илона Маска xAI. По его словам, из-за конкурентного давления компании-разработчики экономят на безопасности, поэтому законопроект «реалистичный и разумный», поскольку большинство хотели «некоторого базового надзора» над ИИ.
В прошлом году Илон Маск, один из первых инвесторов OpenAI (создателя ChatGPT), назвал бум ИИ «экзистенциальной угрозой» человечеству, напоминает FT. На этой неделе группа нынешних и бывших сотрудников OpenAI опубликовала открытое письмо, предупреждающее, что «передовые компании в области ИИ» не имеют достаточного надзора со стороны правительств и представляют «серьезные риски» для человечества, пишет FT.
Что это значит
С тех пор, как в 2022 году был представлен ChatGPT, регуляторы и лидеры отрасли все больше беспокоятся о рисках нейросетей, способных генерировать текстовый и визуальный контент наравне с людьми и даже лучше. Вместе с тем, законопроект вызвал негативную реакцию со стороны компаний в Кремниевой долине.
«Если бы кто-то хотел разработать правила, подавляющие инновации, вряд ли можно было бы добиться большего», — говорит ученый Эндрю Нг, который руководил проектами ИИ в Google и Baidu, а сейчас входит в совет директоров Amazon (цитата по FT). «Это создает огромную ответственность за риски из научной фантастики и разжигает страх у любого, кто осмеливается внедрять инновации», — негодует эксперт.
Критики закона обвиняют Винера в том, что он предлагает чрезмерные ограничения. По их словам, соблюдения требований дорого обойдутся разработчикам, особенно небольшим компаниям. Кроме того, законопроект фокусируется на гипотетических угрозах, которые добавляют «чрезвычайный» риск ответственности для учредителей компаний, отмечает FT. Разработчики опасаются, что закон возлагает на них потенциальную ответственность за использование моделей ИИ с открытым исходным кодом другими.
Ведущий менеджер по генеративному ИИ Meta Арун Рао заявил в соцсети X, что законопроект «неработоспособен» и «положит конец открытому исходному коду в [Калифорнии]». «Эффект от разрушения индустрии ИИ и вытеснения компаний из штата может исчисляться миллиардами — уйдут не только компании, но и высокооплачиваемые работники», — уверен Рао.
«Это технологический сектор, он не любит никакого регулирования, — парирует Винер. — Для меня совершенно неудивительно, что возникает сопротивление».
Он утверждает, что планирует внести в законопроект поправки, уточняющие сферу его применения. В частности, разработчики моделей с открытым исходным кодом не будут нести ответственности за дальнейшие изменения, но к ним будет применяться требование предусмотреть kill switch. Кроме того, согласно поправкам, законопроект будет применяться только к крупным моделям нейросетей, обучение которых стоит не менее $100 млн и не повлияет на большинство небольших стартапов.
