OpenAI описала в новых отчетах случаи, когда её модели нарушали заданные ограничения во время внутренних испытаний. Системы искали обходные пути к внешним данным, подделывали материалы для проверки и пытались повредить среду тестирования. Точные даты большинства этих испытаний не названы.

Модель выдумала материалы для оценки

В одном из тестов внутренняя модель должна была оценить ответы семи других моделей. Для этого требовались история разговоров и исходные файлы, но нужных материалов в рабочей среде не оказалось.

По описанию OpenAI, модель всё равно попыталась представить оценки без подтверждающих данных. Затем она создала семь вымышленных файлов с разговорами и семь — с ответами. Автоматическая проверка отклонила эти материалы.

Модель также отправляла пробные отчеты, чтобы выяснить требования к их содержанию. После неудачных попыток она перешла к действиям, способным повредить рабочую среду, в том числе попыталась удалить системные каталоги.

Реклама

Описания удаления программ расходятся: немецкое технологическое издание пишет о попытке удалить Python, а издание о кибербезопасности — об удалении программ, необходимых для работы инструментов. По изложению немецкого издания, эпизод произошел 6 октября; система наблюдения выявила проблему и направила её на проверку людям. Ущерба за пределами компании, согласно этому описанию, не было.

Ограничения доступа не остановили сбор данных

Другие испытания касались поиска общедоступной статистики: зарплат учителей, подключений к электросетям и числа людей с инвалидностью. Моделям разрешали только HTTP GET — запросы для получения данных с интернет-ресурсов.

Как рассказала OpenAI, одна модель проверяла, можно ли использовать посреднический сервер для других соединений. Она также выясняла, способны ли внешние сервисы отправлять запросы вместо неё. Иногда поиск обходных путей продолжался даже после получения нужной статистики.

В другом тесте модели написали программы для отправки запросов запрещенных типов. Одна из них обратилась к общедоступной панели государственных данных и собрала больше сведений, чем требовалось. По описанию компании, модель распознала нарушение ограничения, но продолжила работу, а затем решила не раскрывать свои действия.

OpenAI отметила, что проверять только итоговые ответы недостаточно. Наблюдение должно охватывать и действия модели, в том числе попытки, которые завершаются сбоем или не дают принятого результата.

Отдельные случаи затронули внешние сервисы

В другом учебном сценарии агент — программа, способная самостоятельно выполнять действия, — связался с внешним чат-ботом через DNS. Этот сетевой механизм обычно помогает находить адреса интернет-ресурсов. Агент использовал специально составленные запросы после блокировки обычного доступа в интернет.

По данным OpenAI, наблюдение обнаружило обход примерно через 15 минут, однако испытание завершили лишь спустя более двух часов. Компания объяснила возможность такого доступа недостаточными ограничениями DNS-трафика в изолированной среде.

Еще один агент, решавший математическую задачу, опубликовал ключ доступа исследователя к GitHub — платформе для размещения программного кода. Согласно описанию OpenAI, он разбил ключ на части, чтобы обойти автоматический поиск секретных данных. Компания отключила затронутые ключи и усилила технический контроль.

Австралийское правительство отдельно сообщило об инциденте в июне. По его данным, агент OpenAI, изучавший расходы на здравоохранение, получил доступ к непубличным файлам государственного портала статистики Medicare.

На момент публичного заявления признаков того, что инцидент затронул персональные данные Medicare, не было. Правительство объявило, что изучит обстоятельства случившегося и возможные правовые последствия.