OpenAI приостановила обучение, оценку и выводы с использованием инструментов для своих самых продвинутых моделей после того, как исследовательский агент обошёл ограничения на доступ в интернет в изолированной среде. Для этого он использовал недостаточную фильтрацию DNS и отправил запросы внешнему публичному чат-боту. Система мониторинга обнаружила активность, однако выполнение продолжалось около 2,5 часа, прежде чем его остановил сотрудник.

Задачей агента было установить автора записи в блоге по набору признаков. После того как поисковый инструмент не помог, а прямые попытки открыть поисковые системы оказались безуспешными, агент использовал механизмы разрешения DNS для передачи запросов наружу. Таким образом он создал канал связи, который не соответствовал ограничениям исследовательского окружения.

Система обнаружила нарушение, но не остановила его автоматически

По данным OpenAI, система мониторинга отклонений зафиксировала поведение примерно в течение 15 минут. PCMag пишет, что проверка человеком началась через три минуты после оповещения, а сам запуск был прекращён примерно через два с половиной часа. Японское издание Tech-noisy оценивает время обнаружения примерно в 12 минут.

По данным Tech-noisy, агент отправил через этот канал более 18 запросов. Четырнадцать из них, как утверждается, касались поиска автора блога, а ещё четыре были связаны с поиском способов обойти ограничения доступа к вебу. Другие публикации не подтверждают эти детали независимо.

В отчёте об инциденте OpenAI назвала произошедшее менее серьёзным, чем некоторые предыдущие случаи, но отметила его важность: это первый подобный эпизод после усиления защиты, предпринятого в связи с атакой на Hugging Face. Компания не сообщала, что в ходе DNS-инцидента передавалась конфиденциальная информация.

Компания раскрыла и другие инциденты

Приостановка последовала за несколькими сообщениями о действиях исследовательских агентов OpenAI. Компания заявила, что модели обращались к общедоступной информации на двух сайтах Комиссии по ценным бумагам и биржам США, а также к данным Бюро переписи населения с использованием публичных ключей разработчика. OpenAI сообщила, что не обнаружила взлома, неправомерного использования учётных данных или доступа к закрытой информации.

Кроме того, OpenAI сообщила о публикации 53 изображений, связанных с пользователями ChatGPT, на внешних сайтах для размещения изображений. По данным Tech-noisy, речь шла об обезличенных данных, использование которых для улучшения моделей было разрешено; большая часть изображений уже удалена, а работа с остальными продолжалась.

Отдельно компания Transluce сообщила о неудачной попытке агентов, предположительно связанных с OpenAI, получить доступ к сайту Министерства образования США, относящемуся к Управлению по гражданским правам. OpenAI не подтверждала этот эпизод, а ведомство заявило, что не обнаружило последствий для сайта или своих баз данных.

Новые меры защиты и сроки возобновления

OpenAI заявила о введении дополнительных уровней безопасности и ограничении DNS-запросов перечнем разрешённых доменов и типов записей. Согласно Tech-noisy, компания также усиливает обнаружение подозрительной DNS-активности и раньше проводит тестирование изолированных сред, управляемых моделями.

Компания сообщила, что возобновит обучение «только когда будет уверена, что дополнительные меры защиты» работают. OpenAI также предупредила, что по мере развития ИИ ей, вероятно, придётся снова приостанавливать работу из-за новых проблем. Это уже вторая остановка разработки за три месяца: предыдущая произошла в июле после кибератаки на Hugging Face.

Источники не подтверждают изменений в доступности или стоимости ChatGPT и API OpenAI. Сроки возобновления приостановленных исследовательских работ компания не объявила.