Google TurboQuant сжимает кэш память KV в 5 раз, сохраняя контекст модели

Каждый раз, когда вы ведёте длинный диалог с языковой моделью, скажем, на 20-30 сообщений вглубь, модель удерживает весь этот разговор в активной памяти. Эта память называется KV Cache, и она растёт с каждым новым сообщением. Чем длиннее беседа, тем больше ресурсов потребляется и тем медленнее работает система. Именно это остаётся одним из самых дорогих узких мест в современном AI-инференсе. И вот буквально на днях исследователи из Google опубликовали работу под названием TurboQuant, которая, возможно, предлагает решение этой проблемы.

Как работает TurboQuant и почему это важно

Давайте разберёмся, в чём суть. Представьте, что вы отправили модели уже 30 сообщений. Каждое слово в этом диалоге преобразуется в векторы, то есть текст превращается в числа. В стандартном режиме каждое такое число занимает 16 бит памяти. Если умножить это на тысячи чисел в каждом сообщении и на все сообщения в диалоге, получается огромный объём данных, который нужно постоянно хранить в оперативной памяти, просто чтобы разговор не прерывался.

TurboQuant предлагает простую, но эффективную схему сжатия: каждое такое число уменьшается с 16 бит до 3,5 бит. Это примерно пятикратное сокращение. И что самое любопытное, когда модель считывает эти сжатые данные обратно, результат на выходе практически идентичен оригиналу. Модель не теряет контекст разговора, кэш память просто занимает в пять раз меньше места.

Что это даёт на практике

Здесь стоит быть честным и не преувеличивать. Я видел, как некоторые авторы уже заявляют, что подобные разработки перенесут полноценные языковые модели на ваш смартфон. Это, мягко говоря, преждевременный вывод. Чтобы запустить языковую модель на устройстве, нужно выполнить три условия:

• Веса модели должны помещаться в память устройства.
• Процессор должен быть достаточно быстрым для выполнения вычислений.
• Нужен эффективно работающий KV-кэш.

TurboQuant потенциально решает только третий пункт. До запуска больших моделей на телефоне остаётся ещё много нерешённых задач. Но вот что эта компрессия точно может дать: более длинные диалоги без деградации качества, более быстрые ответы модели и, что критично для бизнеса, снижение затрат на серверный инференс.

Зачем это знать бизнесу

Если ваша компания уже использует AI-ассистентов, чат-ботов или обрабатывает большие объёмы текстовых запросов, стоимость инференса напрямую влияет на бюджет. Оптимизация кэш памяти на уровне, который предлагает TurboQuant, может означать существенную экономию при масштабировании. А для тех, кто строит сложные AI-агенты с длинным контекстом, это вообще меняет расклад по допустимой длине диалога.

Мы в Фабио Де Лука разрабатываем AI-автоматизации для бизнеса, включая интеллектуальных AI-агентов и решения с ИИ, и подобные исследования мы отслеживаем внимательно, потому что они напрямую влияют на производительность и стоимость решений, которые мы создаём для клиентов.

Итог

TurboQuant от Google не революция, которая завтра превратит ваш телефон в мощный AI-сервер. Но это очень конкретный шаг к тому, чтобы серверный инференс стал дешевле и быстрее, а диалоги с моделями могли быть значительно длиннее без потери качества. Если тренд на сжатие KV-кэша продолжится, через год-два мы будем работать с AI-системами, которые обходятся бизнесу в разы дешевле при том же уровне качества. Следите за новостями AI и автоматизации в нашем Telegram-канале и на блоге.