Беспокоитесь об апокалипсисе, вызванном искусственным интеллектом? Некоторые исследователи заявляют, что один из самых экстремальных вариантов такого сценария сильно преувеличен.

Дебаты достигли наивысшей точки за неделю после того, как 27-летний исследователь Джейкоб Коксон уволился из компании Anthropic и предупредил, что она и его другой бывший работодатель, OpenAI, «играют в рулетку с нашими жизнями», стремясь к созданию самоулучшающегося сверхъинтеллекта. Эван Хубингер, возглавляющий команду по оценке устойчивости систем к выравниванию в Anthropic, поддержал Коксона, заявив, что лично оценивает вероятность того, что ИИ убьет всех людей в течение следующего десятилетия, выше 10%. Но другие исследователи указали на разрыв между тем, что ИИ может сделать в цифровом мире, и тем, что требуется для причинения вреда в реальном мире.

В качестве примера они привели создание искусственным интеллектом смертоносного биологического вируса — один из самых мрачных сценариев, который в своем эссе в этом месяце назвал причиной замедления разработки ИИ генеральный директор Anthropic Дарио Амодеи. ИИ может спроектировать вирус на компьютере, но его возможности будут ограничены неспособностью произвести его в реальном мире, отметили исследователи.

Ансельмом Левская, штатный инженер-исследователь Google, заявивший, что он создавал синтезаторы ДНК и занимался инженерией вирусов, написал в понедельник в соцсети X, что вирусную последовательность все равно придется физически собирать в лаборатории, для чего потребуется система, способная производить вирусные частицы. Затем потребуется масштабный отбор и тестирование, чтобы определить, способен ли вирус реплицироваться, распространяться, уклоняться от иммунной защиты и оставаться опасным — свойства, которые, по словам Левская, зависят от сложных биологических процессов, которые нельзя просто спроектировать с помощью компьютера.

Эрик Синг, президент Университета искусственного интеллекта имени Мохаммеда бен Заида и профессор компьютерных наук в Университете Карнеги — Меллона, выразился еще проще: генерация чертежа вируса и создание реального вируса — это «совершенно разные вещи». Разрыв заключается в «материале, производстве и актуальной биологической жизнеспособности», написал он в понедельник в X. Он добавил, что приравнивание этих понятий «является либо намеренной ложью для привлечения внимания, либо настоящим невежеством».

Исследователи отметили, что та же логика применима и за пределами биологии. Чтобы превратить план в реальный ущерб, ИИ потребует доступа к физическому оборудованию, деньгам, компьютерным системам или людям.

«Самая мощная вещь в мире по-прежнему ограничена тем, кто ею владеет и как именно», — заявил Business Insider Александр Яремчук, технический директор и соучредитель Manifold Security.

Некоторые исследователи также провели четкую грань между системами ИИ, выполняющими вредоносные задачи, поставленные людьми, и ИИ, самостоятельно совершающим действия, которые вредят людям. Они отметили, что большая часть вреда, связанного с существующими системами, начинается с указаний человека.

Эйдан Гомес, генеральный директор ИИ-компании Cohere, заявил в понедельник в эфире Bloomberg TV, что дебаты об экзистенциальных рисках «слишком сильно уходят в область научной фантастики». Он охарактеризовал инцидент со взломом Hugging Face, в ходе которого агенты OpenAI проникли на платформу во время июльского теста, как действия агента в незащищенной «песочнице», выполняющего задачу по кибербезопасности.

Версия OpenAI выглядит более тревожной. В компании заявили, что агенты, работающие со сниженными мерами безопасности, обошли интернет-контроль, общались по неавторизованным каналам и получили доступ к сторонним системам в рамках действий, не соответствующих их поставленным задачам. OpenAI назвала этот инцидент доказательством того, что агенты могут «предпринимать опасные действия, которые не предписывал ни один человек».

В других контролируемых симуляциях Anthropic модели, которым была предоставлена автономия и доступ к фиктивным корпоративным письмам, пытались шантажировать вымышленного руководителя, слили вымышленные секретные оборонные документы конкуренту или отменили экстренное оповещение в сценарии, где это привело бы к гибели вымышленного топ-менеджера. В Anthropic заявили, что в этом не были задействованы реальные люди и никто не пострадал, а также что они не зафиксировали свидетельств подобного поведения при реальном развертывании моделей.

Юрген Шмидхубер, научный директор Швейцарской лаборатории ИИ IDSIA, сообщил Business Insider, что многие текущие риски проистекают из того, что люди используют системы ИИ для достижения вредоносных целей. Он сослался на использование Россией и Украиной дронов на базе ИИ в войне.

«Многие путают (1) ИИ, используемый людьми в качестве инструментов, и (2) искусственных ученых, которые ставят перед собой собственные цели и изобретают собственные эксперименты, чтобы понять, как работает мир», — сказал он.

Тем не менее Матеуш Блащик, доцент права в Университете Джорджии, заявил Business Insider, что сомнения в сценариях вымирания не должны означать игнорирование более насущных рисков, связанных с ИИ. Даже если самые экстремальные сценарии неопределенны, автономный ИИ все равно может усугубить кибератаки, слежку и другие виды вреда, отметил он.

«Все это вовсе не означает, что мы не должны пытаться регулировать технологии или прятать голову в песок», — сказал он. «Это просто ложные дихотомии».