Бет Барнс, один из самых влиятельных экспертов по надзору за индустрией ИИ, заявила в июле, что испытывает трудности с наймом талантливых исследователей для мониторинга рисков искусственного интеллекта. Ситуация начинает меняться. Исследователь Джо Бентон объявил на этой неделе, что покинул Anthropic ради некоммерческой организации Барнс под названием METR, написав, что опасается «рисков уровня вымирания» от этой технологии.

Эти комментарии прозвучали после того, как другой исследователь, Джейкоб Коксон, вызвал широкие опасения по всей стране своим вирусным постом о уходе из Anthropic. Он обвинил ведущие ИИ-лаборатории в том, что они «играют в кости с нашими жизнями». METR внезапно оказалась в центре крупнейшего сюжета в сфере искусственного интеллекта.

Организация, созданная в 2022 году, уже тесно сотрудничала с OpenAI, Anthropic, Google и Meta для изучения быстро меняющихся возможностей технологии. Этим летом исследователи из некоммерческой организации расследовали инцидент с безопасностью в OpenAI, а теперь планируют изучить проблемы безопасности в Anthropic, опираясь на внутренний доступ, предоставленный каждой из компаний.

«Общественность должна знать, движется ли разработка ИИ по опасному пути», — заявила в пятницу Жасмин Даливал, сотрудник отдела политики. «Это лежит в основе нашей миссии: предоставлять независимую научную оценку возможностей ИИ, мер согласования и контроля».

Бентон — не единственный, кто перешел из технологического гиганта в базирующуюся в Беркли организацию. Джош Энгельс, исследователь безопасности ИИ, также недавно присоединился к METR (Model Evaluation and Threat Research) из Google DeepMind. Барнс покинула OpenAI, чтобы основать некоммерческую организацию в 2022 году, и отмечает настолько жесткую конкуренцию за исследователей ИИ, что даже высокие зарплаты METR, достигающие 503 000 долларов в текущих вакансиях, не решают проблему нехватки кадров в некоммерческой организации.

«В идеале мы хотели бы вырасти очень сильно, но на практике мы смогли привлечь столько средств, сколько нам нужно, и узким местом являются именно таланты», — сказала Барнс.

Команда готовности человечества борется за рост. Инцидент с безопасностью, о котором OpenAI и Hugging Face объявили в июле, вызвал новую волну вопросов о том, как оценивать ИИ и управлять им. Более 1300 сотрудников ведущих лабораторий подписали в июле письмо с предупреждением о том, что разработка ИИ может опередить контроль.

За последний месяц как OpenAI, так и Anthropic заявили, что временно приостановили обучение моделей, чтобы лучше контролировать свои новые системы ИИ. Хотя инцидент с Hugging Face потряс значительную часть корпоративного мира, команда METR была удивлена гораздо меньше.

Правительства, компании и даже религиозные группы регулярно обращаются к некоммерческой организации за помощью в понимании и тестировании прогресса технологии. Тем не менее, внутри лаборатории, насчитывающей около 35 человек, царит атмосфера беспокойства.

Когда Business Insider посетил офис METR в Беркли во второй половине дня, когда OpenAI рассказала о своем взломе, Барнс охарактеризовала сферу безопасности ИИ как сильно ограниченную своими размерами. «Есть гораздо больше дел, чем наша емкость позволяет выполнить», — сказала Барнс.

По ее мнению, «разумная цивилизация» направляла бы гораздо больший процент инвестиций в ИИ на управление им и оценку технологии — особенно сейчас, когда общество сталкивается с моделями такой мощности. По мере того как ИИ-лаборатории выпускают новые модели, METR измеряет вероятность того, что они смогут выполнять задачи возрастающей продолжительности.

Эти измерения составляют самый известный продукт некоммерческой организации — широко цитируемый график, который показывает, как за последние шесть лет возможности ИИ удваивались примерно каждые семь месяцев. Крис Пейнтер, президент METR, описывает лабораторию как «команду готовности человечества», иронично кивая в сторону команд готовности в OpenAI и Anthropic, которые сообщают об угрозах безопасности своим генеральным директорам.

«Мы не перед кем не подотчетны, кроме общества и благополучия общества», — сказал Пейнтер. Барнс подчеркнула важность независимости METR, чтобы она могла проводить исследования, не привязанные к целям какой-либо компании.

Когда Барнс работала в OpenAI, она чувствовала потребность в исследовательской группе за пределами лабораторий, которая могла бы свободно комментировать разработку технологии. Хотя METR не принимает деньги от передовых ИИ-лабораторий или их сотрудников, организация принимает гранты на вычислительные мощности и работает с ними для анализа невыпущенных моделей.

Кроме того, сотрудники анализировали практику безопасности лабораторий, писали о влиянии ИИ на скорость работы инженеров-программистов и изучали преимущества использования моделей ИИ для мониторинга других моделей ИИ. Барнс сказала, что хотела бы расширить деятельность на прогнозирование следующих уровней возможностей ИИ и того, как эти изменения могут ускорить развитие искусственного интеллекта.

Нив Парих, исследователь METR, говорит, что нехватка кадров ограничивает количество вопросов, которые исследователи могут решить в отношении внутреннего мышления моделей ИИ. «Существует дефицит людей», — сказал Парих. «Я бы с радостью увидел расширение этой сферы в 10 раз».

METR играет большую роль в новом климате ИИ. В июле OpenAI объявила, что ее модели ИИ жульничали во время тестирования, взломав системы Hugging Face, чтобы найти ответы на тесты. Позже генеральный директор Сэм Альтман заявил, что это был «первый инцидент безопасности, который я почувствовал очень живо».

METR предвидела нечто подобное. В мае некоммерческая организация написала в отчете, что текущие агенты ИИ «могут правдоподобно начать автономное развертывание», но не будут обладать навыками, чтобы скрыть это.

Затем, в июне, METR протестировала еще не выпущенную модель OpenAI GPT-5.6 Sol и обнаружила, что она неоднократно жульничала на сложных тестах, в том числе извлекая скрытый исходный код для поиска ответов. Организация опубликовала отчет об этом и поделилась им с OpenAI до официального релиза GPT-5.6 Sol.

К июлю модель GPT-5.6 Sol стала частью инцидента безопасности OpenAI с Hugging Face. METR и другая некоммерческая организация, Redwood Research, оценивали инцидент в течение шести дней в офисе OpenAI и внесли свой вклад в собственный технический отчет компании.

«Теперь есть реальные инциденты, влияющие на бизнес, и мир заинтересован в том, чтобы это понимать», — сказал Пейнтер. Кибернавыки новейших моделей OpenAI и Anthropic вызвали волну страха и внимания, а также породили множество новых законопроектов в Вашингтоне.

Работа METR тесно связана с одним из возможных путей регулирования: текущий законопроект требует от разработчиков крупных моделей ИИ проходить аудиты безопасности от сторонних организаций. METR может выполнять такую роль; Пейнтер заявил, что они потенциально заинтересованы, хотя с этим направлением сфера еще разбирается.

Подобное предложение, по словам Пейнтера, могло бы помочь с проблемой найма в METR. Он предположил, что больше людей могли бы уйти из самих ИИ-компаний — на аналогичные зарплаты в METR, но без компенсации в виде акций, если бы система регулирования предоставила организациям, занимающимся исследованиями безопасности, большие полномочия.

«Здесь достаточно прецедентов для каждого типа соглашений о тестировании, — сказал Пейнтер, — так что я думаю, что при ясности со стороны индустрии относительно того, как это тестирование должно работать в долгосрочной перспективе, или со стороны правительства, эта сфера может развиваться очень быстро».

Аджейя Котра, руководившая написанием майского отчета METR о рисках ИИ, заявила в июле, что надзор за ИИ в настоящее время может казаться «хаотичным и непредсказуемым». Она по-прежнему оптимистична.

«Тенденция такова, что люди уделяют этой проблеме больше внимания, — сказала Котра. — И хотят регулировать ее более серьезным образом с течением времени».

Есть новость? Свяжитесь с этим репортером по электронной почте [email protected] или через текст, Signal, Telegram или WhatsApp по номеру 415-757-8198. Используйте личный адрес электронной почты, сеть Wi-Fi, не связанную с работой, и устройство, не связанное с работой; вот наше руководство по безопасному обмену информацией.