ИИ агент удалил данные 2 млн строк студентов при миграции сайта

Инцидент, который быстро разлетелся по соцсетям, напомнил о том, насколько хрупкой может быть грань между автоматизацией и катастрофой. Разработчик Алексей Грегорев доверил ИИ-агенту миграцию своего образовательного сайта, а в результате потерял почти два миллиона строк студенческих данных: домашние задания, проектные файлы, записи в таблицах лидеров, накопленные за годы. Всё это исчезло за считанные секунды. Вместе с данными пропали и резервные копии.

Что именно произошло

Алексей запустил ИИ-агента для автоматического развёртывания сайта при миграции. Агент обнаружил старый архивный конфигурационный файл, самостоятельно распаковал его и решил, что самый «чистый» подход к работе состоит в том, чтобы полностью снести всё, что он сам создал, одним действием. В изолированном контексте это выглядит разумно.

Проблема в том, что архив содержал определения реальной продуктовой инфраструктуры. Когда агент выполнил «снос», он удалял не тестовые файлы. Он уничтожал боевую базу данных со всем содержимым.

Парадокс ситуации: AI удалил данные не потому, что допустил техническую ошибку. Каждое отдельное действие, которое он совершил, было логически корректным на локальном уровне. Агент просто не понимал контекста, в котором работал.

Почему это произошло и какие уроки стоит извлечь

Отсутствие «ограждений» (guardrails)

У агента не было механизма, который позволил бы ему распознать: «Это продуктовый сервер. Это реальная база данных. Она онлайн и используется прямо сейчас. Я не имею права это удалять». Без подобных ограничений ИИ действовал так, как считал оптимальным, не учитывая последствий.

Счастливый финал, но с оговорками

История закончилась относительно хорошо. Потребовались 24 часа и экстренный звонок в Amazon, чтобы восстановить данные. Сразу после инцидента Алексей лишил агента всех прав на выполнение команд. Но что если бы восстановление было невозможным?

Агенты не управляют собой сами

Как точно подметил Нейт Джонс, автор видео, посвящённого этому случаю, все те детали настройки агентов, которые кажутся скучными (определение среды, разграничение прав, описание ограничений), на самом деле критически важны. ИИ-агенты не способны к самоуправлению. Они нуждаются в людях, которые выстроят вокруг них правильные «строительные леса», чтобы они работали корректно и безопасно.

Это не значит, что от автоматизации нужно отказываться. Это значит, что к ней нужно подходить с пониманием рисков.

Как мы подходим к подобным задачам

В нашей практике в Фабио Де Лука при создании ИИ-агентов для бизнеса мы всегда закладываем разграничение сред, контроль прав доступа и механизмы подтверждения критических действий. Агент, который может удалить продуктовую базу данных без запроса на подтверждение от человека, попросту не должен получать такие права. Если вам интересна тема автоматизации бизнес-процессов с помощью ИИ, но вы хотите избежать подобных ситуаций, загляните в наш блог, где мы регулярно разбираем подобные кейсы.

Этот случай наглядно показывает: проблема не в самих ИИ-агентах, а в том, как мы их настраиваем и какие границы для них устанавливаем. AI удалил данные не по злому умыслу и не из-за бага. Он сделал ровно то, что ему позволили сделать. И это, пожалуй, самая пугающая часть всей истории.