Google временно отозвал свою модель искусственного интеллекта Gemma из платформы AI Studio после того, как сенатор США Марша Блэкберн обвинила систему в распространении ложной информации о ней. Инцидент высветил растущую проблему галлюцинаций ИИ и их потенциальные юридические последствия для технологических компаний.
Сенатор Блэкберн из Теннесси публично заявила, что модель Gemma генерировала недостоверную информацию о её биографии и политической деятельности. Google удалил Gemma из публичного доступа в AI Studio практически сразу после получения жалобы от офиса сенатора. Компания подтвердила, что модель была временно отключена для проведения внутреннего расследования и устранения проблем с точностью генерируемого контента.
Представители Google заявили, что серьёзно относятся к вопросам достоверности информации, особенно когда речь идёт о публичных фигурах. Однако это далеко не первый случай, когда большие языковые модели генерируют ложную или вводящую в заблуждение информацию о реальных людях.
Gemma, как и другие языковые модели, обучается на огромных массивах данных из интернета. Проблема в том, что модель не всегда может отличить достоверные факты от дезинформации или устаревших данных. В результате система может "галлюцинировать" — генерировать правдоподобно звучащую, но совершенно ложную информацию.
Эта проблема особенно актуальна при запросах о конкретных людях, организациях или событиях. Модель может смешивать данные из разных источников, создавая искажённую картину реальности.
Обвинения в диффамации со стороны сенатора Блэкберн могут создать опасный прецедент для всей индустрии искусственного интеллекта. Если суды начнут признавать компании-разработчики ИИ ответственными за "высказывания" их моделей, это может существенно изменить подход к разработке и развертыванию систем генеративного ИИ.
Американские законодатели всё чаще обращают внимание на необходимость регулирования технологий искусственного интеллекта. Сенатор Блэкберн сама активно участвует в разработке законопроектов, касающихся ИИ и защиты данных пользователей. Её публичное противостояние с Google может ускорить принятие более строгих норм для ИИ-компаний.
Похожие проблемы возникают и в других странах. Европейский союз уже принял AI Act, который устанавливает жёсткие требования к системам искусственного интеллекта, особенно к тем, что работают с персональными данными. Россия также разрабатывает собственную нормативную базу для регулирования ИИ-технологий.
Инцидент с Gemma показывает важность тщательного тестирования моделей перед их публичным запуском. Компании, разрабатывающие ИИ-решения, должны учитывать риски генерации недостоверной информации, особенно о реальных людях.
При создании автоматизаций и продуктов с использованием ИИ критически важно внедрять системы проверки фактов и модерации контента. Платформы вроде Make.com, N8N и другие инструменты для автоматизации позволяют интегрировать дополнительные слои контроля качества, используя комбинацию различных моделей и сервисов верификации данных.
Компании, использующие ИИ в своих процессах, могут минимизировать риски, комбинируя несколько моделей — OpenAI, Anthropic Claude, Google Gemini AI — и сравнивая их выводы. Такой подход позволяет выявлять потенциальные галлюцинации и повышать точность генерируемого контента.
| Модель ИИ | Сильные стороны | Риски галлюцинаций |
|---|---|---|
| GPT-4 | Широкий контекст, качественная генерация текста | Средний |
| Claude | Улучшенная безопасность, меньше токсичного контента | Ниже среднего |
| Gemini | Интеграция с сервисами Google, мультимодальность | Средний |
| Gemma | Открытый код, настраиваемость | Выше среднего (как показал инцидент) |
Будущее Gemma остаётся неопределённым. Google не сообщил точных сроков возвращения модели в AI Studio, указав лишь, что работает над устранением проблем с точностью. Этот случай напоминает о необходимости балансировать между инновациями в области ИИ и ответственностью за качество генерируемого контента.
Для компаний, которые хотят внедрить ИИ-решения безопасным способом, важно работать с опытными разработчиками, понимающими специфику различных моделей и умеющими настраивать системы контроля качества. Автоматизации с использованием ИИ должны включать механизмы проверки и валидации данных, особенно когда речь идёт о публичной информации или данных о реальных людях.