Пентагон ИИ под следствием: автономный ИИ атаковал школу в Иране

Пентагон начал расследование инцидента, связанного с применением искусственного интеллекта в ходе военной операции, которая привела к удару по школе в Иране. Эта новость облетела соцсети после публикации видео от автора Nate B. Jones, который разобрал ситуацию в деталях. Давайте разберёмся, что именно произошло и почему это вызывает столько вопросов.

Что известно об инциденте

По имеющимся данным, пентагон ии использовал в операции по выбору целей систему Claude от компании Anthropic. Это не предположение: военное ведомство само подтвердило, что Claude был задействован в указанной операции. При этом уже известно о серьёзном конфликте между Пентагоном и Anthropic, но факт использования системы остаётся бесспорным.

Отдельно стоит обратить внимание на заявление Пентагона о том, что на полное удаление Claude из всех военных систем потребуется около шести месяцев. То есть эта технология интегрирована достаточно глубоко, и быстро от неё отказаться не получится.

Почему это вызывает такую тревогу

Позиция разработчиков ИИ

Дарио Амодеи, глава Anthropic, неоднократно говорил Пентагону, что ИИ не должен использоваться автономно при принятии решений, связанных с жизнями людей. Сэм Альтман из OpenAI придерживается той же позиции. Существует директива Министерства обороны США, которая прямо требует присутствия человека в цепочке принятия решений, так называемый принцип human in the loop.

И вот тут возникают два неприятных сценария. Первый: Пентагон ищет, на кого переложить ответственность за удар по школе, и удобной мишенью стала компания-разработчик ИИ. Второй, куда более тревожный: военные не соблюдали собственную директиву и позволили системе действовать автономно. Если Claude принимал решения без контроля человека и допустил ошибку, это именно тот сценарий, от которого предостерегал Амодеи.

Где ИИ уместен, а где нет

Ошибка ИИ в корпоративном софте или в личной продуктивности это одно. Неправильно сгенерированный отчёт или неточный перевод можно исправить. Но когда ставка это человеческие жизни, цена ошибки несоизмерима. Все крупные игроки в сфере ИИ, OpenAI, Anthropic, и другие, сходятся в одном: при решениях, связанных с жизнью и смертью, человек обязан оставаться в контуре управления. Без исключений.

Любопытно, что сами разработчики технологий здесь выступают единым фронтом. Вопрос не в том, согласны ли они, а в том, слушают ли их те, кто эти технологии применяет.

Что это значит для будущего военного ИИ

Этот инцидент может стать переломным моментом в дискуссии об автономном использовании ИИ в военных операциях. Если расследование подтвердит, что система пентагон ии работала без надлежащего контроля человека, это поставит под вопрос все существующие протоколы и может привести к серьёзному ужесточению регулирования.

Для нас, как компании, которая занимается разработкой ИИ-агентов и автоматизациями, этот случай служит напоминанием о фундаментальной ответственности при проектировании любых автономных систем. Даже в бизнес-задачах мы придерживаемся принципа, что ИИ должен помогать человеку принимать решения, а не заменять его в критических точках.

Источник новости: видео Nate B. Jones.

Этот инцидент ещё раз показывает, что технологии ИИ сами по себе не хороши и не плохи, всё зависит от того, как и кем они применяются. Когда речь идёт о жизнях людей, компромиссов в вопросе человеческого контроля быть не должно.