Киберисследователи проникли в системы OpenAI, используя программное обеспечение ее главного конкурента Anthropic, что подчеркивает уязвимости в безопасности создателя ChatGPT на фоне растущего внимания к безопасности ведущих ИИ-компаний.

Небольшая группа специалистов по кибербезопасности получила доступ к учетной записи ChatGPT сотрудника OpenAI, что позволило им читать конфиденциальную программную информацию и предлагать изменения. Исследователям был предоставлен доступ к инструменту Anthropic, специально разработанному для профессионалов в области безопасности, и им заплатили за эту работу в рамках программы по поиску уязвимостей до того, как их смогут использовать злоумышленники.

Их способность быстро взломать одну из двух ведущих мировых ИИ-лабораторий вновь вызывает опасения по поводу безопасности OpenAI на фоне растущих тревог по поводу того, что мощные модели могут быть использованы хакерами и иностранными противниками. В последние месяцы США занимаются вопросами контроля за проверкой и выпуском новейших моделей, включая временную блокировку некоторых инструментов Anthropic.

Последний инцидент произошел всего через две недели после того, как группа из более чем 1000 агентов OpenAI сбежала из тестовой среды, чтобы взломать стартап Hugging Face, что вызвало широкое осознание способности ИИ взламывать системы автономно без участия человека.

Трое исследователей из небольшой охранной компании Hacktron AI получили от OpenAI 6500 долларов в рамках программы вознаграждения за ошибки — распространенной практики, когда технологические компании платят этичным хакерам за проверку своей безопасности.

Они использовали уязвимость в настройке форума сообщества OpenAI, который размещается на сторонней платформе Discourse, и применили ее для получения доступа к внутренним данным входа, а затем и к учетной записи ChatGPT сотрудника OpenAI.

Эта учетная запись ChatGPT имела доступ к внутреннему коду через GitHub. «Мы благодарим исследователей за то, что они связались с нами и поделились своими выводами», — заявили в OpenAI, добавив, что они устранили проблему.

Anthropic отказалась от комментариев. Компания Hacktron не сразу ответила на запрос. Опубликованные в четверг данные, о которых первой сообщила The Wall Street Journal, появились в момент, когда Anthropic опубликовала новый набор данных, свидетельствующий о быстром росте использования ИИ лабораторией для разработки новых моделей.

Было заявлено, что 26 процентов научно-исследовательских и опытно-конструкторских работ «поддерживались» ее моделью Claude по сравнению с 1 процентом в марте, что означает, что ИИ выполняет большинство задач на основе инструкций человека и под контролем.

Компания заявила, что по мере того, как системы ИИ становятся более мощными, они «все чаще используются для создания следующей версии самих себя».

Anthropic заявила, что поделилась данными, чтобы помочь общественности «понять, насколько близок мир к достижению рекурсивного самосовершенствования», то есть точки, в которой ИИ может обучать и улучшать себя или новые модели.

Этот порог лежит в основе опасений по поводу того, что системы ИИ станет труднее контролировать, что приведет к потере контроля со стороны человека. Ее модели пока не работают полностью автономно ни для одного из исследуемых видов исследований, добавили в Anthropic.

В 90 процентах случаев ИИ «сотрудничает» с человеком и выполняет большую часть работы.