
Инцидент, о котором стало известно в марте 2026 года, наглядно показал, к чему может привести чрезмерное доверие к автономным ИИ-агентам внутри крупных технологических компаний. Сотрудник Meta обратился с инженерным вопросом на внутреннем форуме, и ИИ-агент предложил решение. Человек его реализовал, после чего значительный объём пользовательских и корпоративных данных оказался доступен инженерам компании.
Сбой ИИ Meta длился около двух часов. За это время конфиденциальная информация была видна части сотрудников, имевших доступ к внутренним системам. Представитель Meta заявил, что пользовательские данные не были использованы неправомерно, и подчеркнул: подобную ошибочную рекомендацию мог дать и живой специалист. Инцидент спровоцировал серьёзную внутреннюю проверку безопасности.
Случай Meta не единственный. Месяцем ранее Amazon столкнулась как минимум с двумя сбоями, связанными с внедрением внутренних ИИ-инструментов. Несколько сотрудников Amazon рассказали журналистам о хаотичном подходе компании к интеграции ИИ в рабочие процессы, который приводил к ошибкам в коде и снижению продуктивности.
Специалист по безопасности Джеймисон О'Рейли объяснил ключевую разницу между человеком и ИИ-агентом. Инженер, проработавший в компании пару лет, накапливает неявное понимание того, что важно, что может сломаться в два часа ночи, какие системы связаны с пользователями. Это знание живёт в долговременной памяти человека. У ИИ-агента ничего подобного нет. Он оперирует так называемым context window, своего рода рабочей памятью, куда помещаются инструкции. Но эти инструкции могут «выпадать» по мере работы, и агент теряет понимание границ допустимого.
Проще говоря, человек понимает, что нельзя поджечь диван, чтобы обогреть комнату. ИИ-агент этого не понимает, если ему об этом не сказали явно.
Тарек Нсейр, сооснователь консалтинговой компании в сфере ИИ, прямо сказал: Meta и Amazon находятся в экспериментальной фазе. Они не проводят достаточную оценку рисков перед развертыванием агентов. Его сравнение красноречиво: «Если бы вы посадили на эту задачу стажёра-новичка, вы бы никогда не дали ему доступ к критически важным HR-данным». Уязвимость, по его словам, должна была быть очевидна Meta, если не в момент инцидента, то уж точно после него.
Нсейр предупредил: «Неизбежно будет ещё больше ошибок».
Случаи вроде сбоя ИИ Meta показывают, что внедрение автономных агентов требует продуманной архитектуры безопасности. ИИ-агенты уже умеют автономно выполнять сложные цепочки действий, но контроль и ограничение их полномочий остаются задачей людей. Если вы рассматриваете автоматизацию бизнес-процессов с ИИ, стоит обращаться к специалистам, которые учитывают подобные риски на этапе проектирования. Наша компания Фабио Де Лука разрабатывает ИИ-агентов с настраиваемыми ограничениями и встроенными механизмами контроля, что позволяет минимизировать вероятность подобных инцидентов.
Этот случай ещё раз подтверждает простую мысль: ИИ-агенты могут быть очень полезны, но полностью доверять им без человеческого надзора пока рано. И чем крупнее компания, тем выше цена каждой такой ошибки.