ChatGPT защита оказалась под вопросом после дела об отравлениях в Южной Корее

В Южной Корее разворачивается судебный процесс, который ставит неудобные вопросы перед всей индустрией искусственного интеллекта. Женщина по имени Ким Со-ён обвиняется в отравлении трёх мужчин, двое из которых скончались. Полиция утверждает, что перед преступлениями она консультировалась с ChatGPT, задавая вопросы о смертельных дозах снотворного в сочетании с алкоголем. Этот случай заставляет задуматься: насколько надёжна ChatGPT защита пользователей от получения потенциально опасной информации?

Что произошло и почему это важно

По данным следствия, в декабре 2024 года Ким начала знакомиться с мужчинами, приглашала их в мотели и предлагала напитки, содержащие бензодиазепины, под видом средства от похмелья. Первая жертва выжила после двухдневной комы. После этого, как утверждает полиция, Ким обратилась к ChatGPT с вопросами о дозировках и скорректировала их. Второй и третий мужчины погибли.

Ключевой момент дела: логи переписки с ChatGPT, извлечённые из телефона обвиняемой, могут стать прямым доказательством умысла на убийство. Сама Ким утверждает, что смерти были случайными. Её адвокат настаивает на отсутствии намерения убивать. Следующее заседание назначено на июнь 2026 года.

Не единичный случай

Южнокорейское дело встраивается в целую серию подобных инцидентов по всему миру. После стрельбы в Тамблер-Ридже (Канада) в феврале 2026 года выяснилось, что преступник описывал ChatGPT сценарии с применением огнестрельного оружия за несколько дней до того, как аккаунт заблокировали. OpenAI не сообщила полиции. Семь федеральных исков были поданы против компании в апреле. Стрельба в Университете Флориды в апреле 2025 года тоже сопровождалась, по словам генпрокурора штата, «постоянной коммуникацией» с чат-ботом. Даже взрыв Tesla у отеля Трампа в Лас-Вегасе в январе 2025 года связали с использованием генеративного ИИ для изучения взрывчатых веществ.

Проблема этической фильтрации

Адвокат семьи одной из жертв в южнокорейском деле, Нам Онхо, подчеркнул важную деталь. Если бы обвиняемая задала подобные вопросы живому человеку, тот бы немедленно насторожился. Зачем кому-то нужна точная информация о дозировках яда? Но ChatGPT не пропускает такие запросы через этическую оценку. Формат диалога создаёт у потенциального преступника ощущение, что он общается без осуждения.

Что говорит OpenAI

Компания на запросы журналистов по корейскому делу не ответила. В прошлых инцидентах OpenAI ссылалась на то, что информация, предоставленная чат-ботом, доступна и в открытых источниках. Сэм Альтман написал письмо с извинениями жителям Тамблер-Ридж, пообещав сотрудничать с властями. Но конкретных данных о том, как часто компания передаёт информацию правоохранительным органам, до сих пор нет.

Физик и исследователь из MIT Макс Тегмарк высказался прямо: «Стандартов безопасности для ИИ меньше, чем для сэндвичей». Он призвал к обязательным стандартам, запрещающим выпуск систем, которые не умеют отказывать в содействии преступной деятельности.

Что это значит для бизнеса и технологий

Вопрос ChatGPT защита от злоупотреблений касается не только криминальных случаев. Любая компания, которая внедряет ИИ-решения, должна задумываться о встроенных ограничениях и этических фильтрах. Если вы используете ИИ-агентов или чат-ботов в своём бизнесе, грамотная настройка правил поведения системы становится не просто рекомендацией, а необходимостью. Мы в Фабио Де Лука при разработке ИИ-агентов уделяем этому отдельное внимание, настраивая чёткие границы допустимых ответов.

Дело в Южной Корее ещё далеко от завершения, но оно уже стало поворотным моментом для дискуссии о регулировании генеративного ИИ. Вероятно, в ближайшие годы мы увидим появление обязательных стандартов безопасности для подобных систем. А пока каждый случай злоупотребления лишь подтверждает: технология сама по себе нейтральна, но ответственность за её применение лежит и на разработчиках, и на пользователях.