MIT Technology Review объясняет: наши авторы разбираются в сложном и запутанном мире технологий, чтобы помочь вам понять, что ждет нас в будущем. Вы можете прочитать больше материалов из этой серии здесь.

Когда в июле две модели OpenAI взломали веб-сайт Hugging Face, они не пытались заработать деньги или совершить диверсию — они просто искали ответы на тестовый вопрос. Согласно разбору инцидента от OpenAI, модели, лишенные своих стандартных функций безопасности для тестирования, решили решить задачу по кибербезопасности путем взлома из изолированной среды, в которой OpenAI пыталась их удерживать, в базы данных Hugging Face, где, как они рассуждали, мог храниться правильный ответ на проблему.

Инцидент с Hugging Face привлек к себе огромное внимание за последние пару недель. Это яркая иллюстрация того, насколько искусные навыки взлома приобрели модели ИИ: чтобы проникнуть в базы данных Hugging Face, модели должны были объединить несколько ранее неизвестных эксплойтов кибербезопасности.

Но это, пожалуй, еще более поразительный пример того, как и почему системы искусственного интеллекта лгут и жульничают. И по мере того, как модели становятся все более мощными, последствия могут оказаться гораздо более серьезными.

Что такое хакинг вознаграждения?

Исследователи уже некоторое время знают, что ИИ склонен применять творческие подходы к достижению поставленных перед ним целей. Еще в 2016 году соучредители Anthropic Дарио Амодей и Джек Кларк, которые тогда работали в OpenAI, опубликовали пост в блоге об ИИ-агенте, которого они обучали играть в гоночную Flash-игру Coast Runners под названием Coast Runners.

Вместо того чтобы ехать к финишной черте гонки, как ожидали исследователи, агент нашел угол трассы, где он мог крутиться, собирая бонусы, тем самым максимизируя свой результат. История с Coast Runners быстро стала одним из самых известных примеров хакинга вознаграждения (reward hacking) — явления, при котором ИИ-агенты выполняют задачи или зарабатывают высокие баллы, используя непредусмотренные стратегии.

Исторически исследователи обсуждали хакинг вознаграждения почти исключительно в контексте обучения с подкреплением, распространенного режима обучения ИИ. Подобно дрессировке собак, обучение с подкреплением предполагает выдачу субъекту вознаграждения при достижении цели; вознаграждения затем подкрепляют поведение, которое привело к этому достижению.

В случае обучения ИИ сами вознаграждения носят чисто математический характер, но по сути они эквивалентны собачьему лакомству: после получения награды агент с большей вероятностью повторит те действия, которые ее принесли. Однако написать хорошие правила о том, когда давать агенту вознаграждение, а когда нет, бывает непросто.

В случае с Coast Runners агент получал награду на основе своего счета в игре, и он нашел кратчайший путь к достижению максимально возможного результата, вращаясь кругами ради бонусов. Как только он наткнулся на эту стратегию и получил за нее награду, стратегия закрепилась, и агент полностью забросил гонку. Решением стало изменение вознаграждения: агенту стали давать меньше очков за сбор бонусов и больше за прохождение трассы.

Как хакинг вознаграждения работает для больших языковых моделей (LLM)?

С сегодняшними сложными агентами на базе LLM определение того, когда следует выдавать вознаграждение, а когда нет, может оказаться гораздо более сложной задачей. Если перед системой ИИ ставится задача решить проблему с кодом, она может упорно трудиться над поиском решения — поведение, которое компании, занимающиеся ИИ, хотят поощрять.

Но она также может изменить код, который оценивает, решена ли проблема, поискать решение в интернете или прибегнуть к другому жульничеству. Это поведение, которое компании, занимающиеся ИИ, хотят искоренить в своих моделях, но если модель жульничает достаточно убедительно, она вместо этого получит награду, и поведение закрепится.

Компания Anthropic заявила, что обнаружила некоторые случаи обмана в своих моделях во время обучения, что позволяет предположить, что другие формы жульничества остаются необнаруженными. Если это так, модели могут обучаться плохому поведению. (Эта проблема отличается от инцидентов безопасности Anthropic, о которых было объявлено на прошлой неделе, когда агентам случайно предоставили доступ в интернет, и они не взламывали свои изолированные среды намеренно, как это сделали модели OpenAI.)

«Мы вознаграждаем их на основе того, что хорошо выглядит для нас, и это означает, что мы непреднамеренно стимулируем модели лгать нам [и] жульничать», — говорит Джеффри Ладиш, директор некоммерческой организации по исследованию безопасности ИИ Palisade Research. «У нас нет способа зайти туда и сказать: “Нет, вам действительно нужно заботиться о том, о чем заботимся мы”. У нас нет никакой возможности сделать это».

Появление сложных моделей рассуждений сделало возможным новый вид хакинга вознаграждения, который менее тесно связан с конкретными деталями обучения моделей. В отличие от игровых ИИ-агентов прошлого, которые исключительно следовали стратегиям, усвоенным во время обучения, современные модели могут создавать совершенно новые подходы к решению проблем на ходу, поэтому они вполне могут жульничать, не получая за это награды ранее.

И поскольку эти модели прошли интенсивное обучение для достижения целей, поставленных перед ними пользователями-людьми, они могут быть склонны к обмену на жульничество, если не смогут найти другое решение — совсем как студент, который сильно мотивирован получить оценку «отлично» и не имеет особо сильного морального компаса.

Каковы риски?

Независимо от того, учатся ли сегодняшние модели хакингу вознаграждения во время обучения или принимают его в качестве стратегии позже, решение одно: сделать жульничество невыгодным. Но по мере того, как модели становятся умнее, они находят все более изощренные способы обмана, и обнаружение или предотвращение этого обмана становится намного сложнее.

«В конце концов, вы занимаетесь чем-то вроде игры в крота», — говорит Ладиш. «Вы загоняете это поведение все глубже и глубже. Но по мере того, как модель становится умнее, она все лучше и лучше скрывает это».

На данный момент поведение, связанное с хакингом вознаграждения, возможно, не доставляет слишком много хлопот, несмотря на драматизм инцидента с Hugging Face. «Это выглядит скорее как неприятность, чем как экзистенциальная угроза», — говорит Ариана Азарбал, научный сотрудник по безопасности ИИ в Anthropic.

Не похоже, чтобы модели OpenAI нанесли какой-то реальный вред при взломе Hugging Face, помимо репутационного ущерба для OpenAI. Но это не значит, что хакинг вознаграждения безвреден, отмечает Азарбал.

Многие исследователи ИИ надеются использовать ИИ-агентов, чтобы помочь им проводить исследования, которые сделают ИИ более безопасным и надежным. Если исследователь поставит перед склонным к хакингу вознаграждения агентом задачу, скажем, разработать новый подход к обучению ИИ, а затем написать статью, представляющую его результаты, агент может на самом деле не выполнить работу, а вместо этого сосредоточиться на составлении статьи, которая выглядит достаточно убедительно, чтобы убедить исследователя.

Человеческий исследователь сегодня, вероятно, смог бы обнаружить подделку, созданную агентом, но по мере развития ИИ он будет совершенствоваться в такого рода трюках. Со временем вся сфера безопасности ИИ может быть подорвана.

И если модели будут продолжать развиваться так же быстро, как в последнее время, они когда-нибудь смогут нанести существенный сопутствующий ущерб. Просто подумайте о мысленном эксперименте философа Ника Бострома со скрепкоделателем, в котором ИИ, получивший указание делать как можно больше скрепok, в конечном итоге потребляет всю материю во Вселенной в погоне за своей целью.

Мы пока не тонем в скрепках, но мощные системы могут нанести реальный вред на пути к достижению своих целей. ИИ, занимающиеся хакингом вознаграждения, не стремятся сеять хаос. Но это не делает их менее потенциально разрушительными.