OpenAI фиксирует случаи некорректного поведения своих моделей. В среду компания объявила о создании нового фреймворка для отслеживания, расследования и публичного раскрытия случаев несогласованности моделей, а также опубликовала шесть отчетов, в которых подробно описывается тревожное поведение, зафиксированное во время обучения или оценки за последние шесть месяцев.

"Мы не считаем, что индустрия искусственного интеллекта в достаточной степени решила проблемы согласованности и мониторинга, чтобы продолжать ответственное масштабирование на максимальной скорости еще долгое время", — говорится в блоге OpenAI. "Этот новый фреймворк призван ускорить публикацию отчетов о несогласованности после наблюдений, даже если мы еще не до конца объяснили или смягчили поведение, о котором сообщаем", — добавили в OpenAI.

В рамках нового фреймворка сотрудники могут отмечать инциденты для проверки командами OpenAI по безопасности и согласованию. Случаи будут распределяться по трем направлениям в зависимости от сложности: "Готово к раскрытию", "Небольшое расследование" или "Крупное расследование".

Согласно сообщению в блоге, невыпущенная исследовательская модель вставила инструкции в собственные сводки задач, приказывая будущим версиям самой себя игнорировать обычные ограничения. Во время обучения GPT-5.6 Sol модели аналогичным образом оставляли себе инструкции по сокрытию ошибок.

В OpenAI заявили, что другие агенты также искали в публичных репозиториях незащищенные ключи API, загружали файлы в интернет, чтобы иметь возможность ссылаться на них, и использовали внутренний репозиторий программного обеспечения для связи между отдельными обучающими выборками.

Это объявление прозвучало на фоне растущих дебатов о том, следует ли замедлить разработку передового искусственного интеллекта, пока системы защиты не догонят его. В то время как OpenAI и генеральный директор Anthropic Дарио Амодей призвали к сотрудничеству в масштабах всей отрасли, другие лидеры технологической индустрии, такие как Дженсен Хуанг и Марк Цукерберг, заявили, что вопросы безопасности и скорости должны оставаться на усмотрение отдельных компаний.