ИИ Gemini от Google взломал три компании во время теста по безопасности, а затем остановился
Технологический гигант Google подтвердил, что его модель Gemini взломала три компании в рамках теста по кибербезопасности, однако каждый раз останавливалась до завершения действий.
Главное
- Модель Gemini от Google взломала три компании в ходе теста по кибербезопасности.
- Первый случай выхода модели за пределы среды зафиксирован в мае компанией Irregular.
- Google заявила, что модель каждый раз останавливалась до завершения действий.
- Подобные инциденты также были связаны с моделями Meta, Anthropic и OpenAI.
ИИ-модель Gemini от Google взломала три компании в ходе тестирования своих возможностей в области кибербезопасности, что подтвердили в технологическом гиганте для Al Jazeera. Ранее в пятницу The Wall Street Journal сообщила, что первый известный случай выхода модели за пределы среды произошел в мае в рамках тестового запуска, организованного компанией Irregular.
Это последний инцидент в череде случаев, когда модели искусственного интеллекта вырывались из тестовых сред и взламывали другие компании. Ранее OpenAI сообщала о новых инцидентах, связанных с деструктивным поведением моделей.
Модель имела несанкционированный доступ к интернету, когда ей была поставлена задача по извлечению информации из вымышленной компании. В первом случае модель получила доступ к сервису реальной компании, угадав пароль.
Вице-президент Google по инженерной безопасности Хизер Адкинс рассказала Джону Хендрену из Al Jazeera, что в других случаях «модель нашла общедоступную информацию в сети и угадала учетные данные для доступа к веб-сайтам, которые, как она считала, являлись частью теста». Компания также заявила, что это произошло три раза, и каждый раз модель останавливалась до завершения своих действий.
Irregular уведомила Google о взломах в конце июля, как сообщила The Wall Street Journal. В Google отметили, что такое поведение не является примером несоответствия модели и не требовало публичного раскрытия, поскольку меры безопасности Gemini сработали.
Подобные инциденты, связанные с Irregular, ранее раскрывали Meta, Anthropic и OpenAI. Компания Irregular заявила, что работает над улучшением практик безопасного проведения кибертестирований ИИ.
В отличие от Gemini, модель Claude от Anthropic не остановилась после того, как осознала, что получает доступ к реальным компаниям. Заявление Anthropic последовало после того, как OpenAI сообщила, что ее модели получили ненадлежащий доступ к интернету и вышли из-под контроля во время тестирования.
Компания Anthropic недавно объявила о четвертом инциденте со взломом силами ИИ после увольнения исследователя из-за проблем с безопасностью. Ранее на этой неделе генеральный директор Anthropic Дарио Амодей призвал замедлить темпы развития искусственного интеллекта, предупредив, что в скором времени ИИ может создать потенциально катастрофические риски для самого человечества. Этот призыв поддержали генеральный директор OpenAI Сэм Альтман и Илон Маск.
