OpenAI выпустила автоматизированную систему красной команды под названием GPT-Red для выявления уязвимостей в безопасности до запуска модели. Компания заявила, что этот инструмент уже использовался в процессе обучения GPT-5.6 с акцентом на усиление защиты от атак типа инъекции подсказок.
Используйте ИИ для тестирования ИИ
Красная команда — это распространенная практика в области безопасности, предполагающая активное нападение на систему для выявления уязвимостей до их эксплуатации. OpenAI автоматизировала этот процесс, позволив модели самостоятельно генерировать атакующие образцы, а затем использовать успешные случаи для обратного обучения защитной модели.
OpenAI сообщает, что GPT-Red с помощью адверсарного самоигрового обучения постоянно генерирует более мощные атаки с внедрением подсказок. Каждый успешный атакующий пример включается в последующее обучение, способствуя повышению устойчивости защитной модели.
Раскрытие данных внутреннего тестирования
Согласно данным OpenAI, в ходе внутренних оценок GPT-Red успешно выявил уязвимости в 84% тестовых сценариев, в то время как успешность человеческой красной команды в аналогичных тестах составила 13%. Компания утверждает, что эти образцы атак были затем использованы для обучения GPT-5.6, что снизило количество сбоев модели в сложных тестах на внедрение подсказок.
В тексте также упоминается пример: до устранения уязвимости GPT-Red смог скомпрометировать систему автоматических торговых агентов, заставив их снизить цены, закупить товары со скидкой и отменить заказы других пользователей. OpenAI использует этот пример, чтобы показать, что проблемы, связанные с инъекцией подсказок, влияют не только на результаты чат-взаимодействий, но и могут затрагивать AI-агенты, обладающие способностью к выполнению действий.
По-прежнему будет использоваться в качестве внутреннего инструмента
OpenAI заявила, что GPT-Red пока не будет доступен для широкой публики, поскольку сама система содержит специально обученные атакующие способности. Компания позиционирует её как дополнение к人工红队, сторонним тестам и другим мерам безопасности, а не как их замену.
Это также отражает сдвиг в индустрии ИИ в сторону «защиты ИИ с помощью ИИ». В начале этого месяца Фонд Эфириума также сообщил, что использовал ИИ-агенты для красных командных тестов критической инфраструктуры и обнаружил уязвимость в программном обеспечении клиентов консенсуса Эфириума. По мере усиления возможностей моделей и агентов автоматизированное тестирование безопасности постепенно становится важным этапом перед запуском ИИ-систем.