Cloudflare AI Platform: единый слой вывода с доступом к 70 моделям

Cloudflare объявила о превращении своей платформы в единый слой вывода для работы с AI-моделями. Что это значит на практике и зачем это может быть нужно вашему бизнесу?

Один API для всех моделей

Суть обновления в том, что теперь через единый интерфейс Cloudflare можно получить доступ к более чем 70 моделям от 12 провайдеров. Среди них модели от OpenAI, Google, Alibaba Cloud, AssemblyAI, Bytedance, MiniMax, Runway, Recraft и других. Переключение между моделями разных провайдеров занимает буквально одну строку кода.

Зачем это вообще нужно? Представьте ситуацию: ваш AI-агент для поддержки клиентов использует быструю дешевую модель для классификации сообщений, мощную reasoning-модель для планирования действий и легковесную модель для выполнения задач. Три разных провайдера, три разных API, три разных биллинга. Платформа cloudflare ai решает эту проблему, объединяя всё в одну точку входа.

Особенно это критично для агентных сценариев. Простой чат-бот делает один запрос на промпт пользователя. Агент может выстроить цепочку из десяти вызовов для одной задачи. Если один провайдер тормозит на 50 мс, в цепочке это превращается в 500 мс задержки. А если запрос упал, начинается каскад ошибок по всей цепочке.

Мониторинг расходов и автоматическое переключение

Единый центр управления затратами

По данным Cloudflare, компании в среднем используют 3,5 модели от разных провайдеров. Ни один из них по отдельности не даёт полной картины расходов на AI. Через AI Gateway можно отслеживать все затраты в одном месте, добавляя к запросам метаданные: разбивка по бесплатным и платным пользователям, по конкретным клиентам или рабочим процессам.

Автоматический failover

Если провайдер, к которому вы обращаетесь, упал, платформа автоматически перенаправит запрос к другому доступному провайдеру. Никакой дополнительной логики переключения писать не нужно. Для длительных агентных процессов AI Gateway буферизирует потоковые ответы независимо от жизненного цикла вашего агента. Если агент прервался посреди вывода, он может переподключиться и получить ответ без повторного запроса и двойной оплаты.

Скорость первого токена

Сеть Cloudflare охватывает дата-центры в 330 городах мира. AI Gateway расположен близко и к пользователям, и к эндпоинтам вывода. Для моделей, размещённых на Workers AI (включая Kimi K2.5 и модели реального времени для голоса), запросы вообще не покидают внутреннюю сеть, что даёт минимальную задержку.

Свои модели на платформе

Cloudflare также работает над возможностью загрузки пользовательских моделей. Используя технологию Cog от Replicate (чья команда теперь входит в состав Cloudflare AI Platform), можно контейнеризировать свою ML-модель и развернуть её через Workers AI.

Если вы строите автоматизации с использованием нескольких AI-моделей, такой подход к инфраструктуре заслуживает внимания. Мы в Фабио Де Лука активно используем модели OpenAI, Anthropic Claude, Google Gemini и другие при разработке AI-агентов и автоматизаций для бизнеса. Инструменты вроде платформы cloudflare ai могут быть интегрированы в любое решение, которое мы создаём для клиентов.

Единый слой вывода с доступом к десяткам моделей, автоматическим переключением и контролем расходов это то направление, в котором движется вся индустрия, и Cloudflare здесь делает заметный шаг вперёд.