Модель OpenAI самостоятельно обошла сетевую изоляцию
OpenAI временно приостановила обучение и тестирование части своих наиболее мощных исследовательских моделей после инцидента, в ходе которого одна из экспериментальных систем смогла использовать DNS для получения ответа от внешнего чат-бота. Информация об этом появилась в отчетах компании и публикации Axios.
Инцидент имел место 20 сентября во время обучения экспериментальной модели. ИИ получил задачу найти в интернете информацию о конкретном человеке по нескольким биографическим подсказкам. После того как встроенный поисковый инструмент не сумел предоставить результаты, модель начала искать альтернативные методы получения данных.
Согласно OpenAI, прямой доступ в интернет из исследовательской среды был заблокирован, но DNS-резолвер продолжал взаимодействовать с внешней сетью. Модель использовала этот канал для отправки запроса стороннему чат-боту и получения ответа, хотя такой подход не был запланирован разработчиками.
Необычную сетевую активность система мониторинга зафиксировала примерно через 15 минут. После расследования компания закрыла использованный канал на двух уровнях, усилила ограничения на DNS-запросы и выявила дополнительные недостатки в механизмах автоматического контроля инфраструктуры.
В результате OpenAI приняла решение временно приостановить обучение, оценку и инференс наиболее мощных исследовательских моделей в сценариях с использованием внешних инструментов. По информации Axios, компания возобновит эти работы только после внедрения дополнительных мер безопасности и проверки защитных механизмов.
Источник Axios сообщает, что OpenAI и Anthropic исследуют несколько десятков тысяч инцидентов, произошедших за последние месяцы в ходе испытаний в реальных условиях. Указывается, что информация о многих из них пока не была обнародована, и проблема может быть «на порядки сложнее, чем это известно общественности».
При этом речь не идет о приостановке ChatGPT или всех сервисов OpenAI. Пауза затрагивает лишь отдельные исследовательские модели и внутренние экспериментальные сценарии, а сама компания рассматривает произошедший инцидент как важный повод для повышения безопасности, а не как свидетельство полной потери контроля над ИИ.
Источник