Исследователи за пределами Соединенных Штатов использовали передовые модели искусственного интеллекта для планирования экспериментов с высокопатогенным птичьим гриппом, чикунгуньей и другими биологическими агентами, имеющими потенциальное применение в качестве оружия. Об этом говорится в новом отчете об угрозах, опубликованном компанией Anthropic.

Исследователи использовали ИИ для изучения трансмиссивности вирусов и уклонения от иммунного ответа, исследования генов иммунного ответа ортопоксвирусов и помощи в разработке новых токсинов. При этом временами они предпринимали шаги для обхода средств защиты, призванных ограничить доступ к опасным биологическим возможностям.

В отчете, опубликованном в четверг, Anthropic подробно описала пять таких случаев, но не стала называть страны, учреждения и конкретные биологические агенты. Компания подчеркнула, что не утверждает, будто исследователи намеревались разрабатывать биологическое оружие.

Эти выводы дают конкретное представление об угрозе, которая долгое время обсуждалась в основном на гипотетическом уровне. Ученые, уже обладающие биологическими знаниями, материалами и доступом к лабораториям, используют все более мощные системы ИИ для ускорения чувствительных исследований двойного назначения.

Они также появляются на фоне возобновившихся дебатов о катастрофических рисках, связанных с искусственным интеллектом. Джейкоб Коксон, бывший исследователь Anthropic и OpenAI, недавно подал в отставку, обвинив компании в том, что они «мчат прямо к самосовершенствующемуся сверхмощному интеллекту и играют в азартные игры с нашими жизнями». Его предупреждение набрало более 100 миллионов просмотров в сети X.

Эван Хубингер, руководитель направления науки о выравнивании в Anthropic, отдельно заявил, что лично считает вероятность того, что ИИ уничтожит всех людей в следующее десятилетие, превышающей 10%.

Однако отчет Anthropic указывает на угрозу, которая уже приобретает осязаемые формы: исследователи используют передовой ИИ для потенциально опасной биологической работы, обходя географические ограничения и адаптируясь, когда защитные механизмы моделей встают у них на пути.

В одном из случаев Anthropic заблокировала заявку на грант для проведения исследований функции приобретения у вируса чикунгуньи в военном научно-исследовательском институте. Предложенная работа была сосредоточена на выявлении мутаций, которые могли бы увеличить передаваемость вируса и его способность уклоняться от иммунной системы.

Исследователи планировали внедрить эти мутации в инфекционные клоны и неоднократно пропускать вирус через живых животных, отбирая варианты, вызывающие наиболее тяжелое заболевание. Такая работа могла бы помочь ученым разработать лучшие вакцины и методы лечения чикунгуньи, но она также могла бы привести к созданию более опасного патогена, который было бы трудно отличить от естественной вспышки заболевания, заявили в Anthropic.

Исследователи получили доступ к Claude через платформу наук о жизни, которая направляла трафик через инфраструктуру США для обхода региональных ограничений Anthropic. Когда Claude отказывался отвечать на чувствительные запросы, платформа перенаправляла их на другую модель с более мягкими мерами защиты.

Anthropic сообщила, что исследования продолжились и после того, как компания заблокировала учетные записи, связанные с этой деятельностью. Оператор платформы в течение нескольких дней восстановил доступ с помощью новых учетных записей, в то время как Claude продолжал оказывать редакционную помощь в подготовке исследовательских материалов.

В другом случае исследователь в течение нескольких недель использовал Claude для планирования экспериментов, связанных с адаптацией к млекопитающим и воздушно-капельной передачей высокопатогенного птичьего гриппа. Исследователь изучал вирусные черты, которые могли бы позволить птичьему гриппу эффективнее распространяться среди млекопитающих и вызывать тяжелые заболевания за пределами дыхательной системы.

Согласно отчету, версия, способная к эффективной передаче от человека к человеку, представляла бы серьезную пандемическую угрозу. В Anthropic заявили, что исследователь, судя по всему, имел доступ к изоляторам вируса и объектам для работы с животными.

Компания ограничила работу более слабыми моделями, сведя помощь в основном к дизайну исследования, анализу данных и редакционной поддержке. По заявлению компании, этот случай предоставил доказательства активной исследовательской программы по разработке знаний и биологических материалов, необходимых для создания патогенов с повышенным пандемическим потенциалом.

Исследователь также предпринял шаги по сокрытию своей личности при доступе к моделям из неподдерживаемого региона. Другой пользователь, связанный с государственной лабораторией инфекционных заболеваний, использовал Claude для составления заявки на исследование ортопоксвирусов от начала и до конца примерно за час.

Ортопоксвирусы включают в себя вирус натуральной оспы, а также оспу обезьян. Заявка на грант предлагала изучение вирусных генов, которые отключают иммунный ответ человека, и включала центральную гипотезу, экспериментальный дизайн, дозировку, статистические планы и планы на случай непредвиденных обстоятельств.

Поскольку работа была построена вокруг ослабления вируса, защитные механизмы Claude не заблокировали помощь. Но в Anthropic заявили, что те же знания могут помочь исследователю сохранить или усилить способности вируса по уклонению от иммунитета.

Последние два случая касались пептидов ядов и токсинов. Один из исследователей использовал Claude для создания атласа пептидов токсинов из нескольких линий ядовитых животных, а затем создал генеративный конвейер для оптимизации их характеристик.

Заявленной целью было создание новых болеутоляющих средств, антидепрессантов и других лекарств. Однако атлас также включал структуры, связанные с паралитическими токсинами, которые потенциально могут использоваться в качестве средств нейтрализации.

Anthropic заявила, что эта работа являлась частью поддерживаемой государством исследовательской программы. В другом случае исследователь использовал Claude для компьютерного перепроектирования нескольких токсинов, включая бактериальный токсин и белок вируса геморрагической лихорадки, признанного Всемирной организацией здравоохранения приоритетной угрозой для здоровья.

Исследователь использовал Claude для помощи в подготовке отчетов о проделанной работе, но поручил модели держать личности токсинов в намеренной неопределенности.

Эти случаи иллюстрируют, почему биологическое злоупотребление может быть труднопредотвратимым с помощью одних лишь автоматических фильтров. Средства защиты Anthropic блокировали наиболее очевидные попытки, связанные с усиленными пандемическими патогенами, но они оказались менее эффективными, когда пользователи оформляли свою работу как медицинские, оборонительные или терапевтические исследования.

«Биологические возможности имеют двойное назначение», — заявили в Anthropic в отчете. Та же информация, которая может быть использована для разработки биологического оружия, может также применяться, например, для создания вакцины или лекарства от болезни.

Компания сообщила, что недавно проверила 30-дневную активность, связанную с враждебными государственными институтами, и обнаружила примерно 35 различных биологических исследовательских инициатив. Большинство из них касались обычной гражданской науки, но некоторые имели «значительный потенциал двойного назначения».

В Anthropic отметили, что полученные данные не свидетельствуют о том, что Claude сделала возможной неминуемую биологическую атаку. Однако они показывают, что исследователи, связанные с государственными программами, пытаются обойти контроль доступа и использовать передовые ИИ-модели в биологических исследованиях, которые могут иметь применение в военных целях.

Компания заявила, что будущие меры защиты, вероятно, потребуют большего, чем просто контентные фильтры, включая верификацию личности, институциональную проверку и более пристальный мониторинг пользователей, запрашивающих доступ к передовым биологическим возможностям.