Стоимость памяти для ИИ растёт в 7 раз, оптимизация кэша снижает расходы на инференс

Когда речь заходит об инфраструктуре искусственного интеллекта, большинство сразу думает о GPU и Nvidia. Но есть ещё один компонент, который всё сильнее влияет на экономику ИИ-проектов, — оперативная память. За последний год стоимость памяти для ИИ выросла примерно в семь раз, и это уже меняет расклад сил на рынке.

Почему память дорожает и при чём тут дата-центры

Гиперскейлеры — крупнейшие облачные провайдеры — активно строят новые дата-центры на десятки миллиардов долларов. Спрос на микросхемы DRAM резко подскочил, а предложение за ним не поспевает. Результат? Цены взлетели в семь раз за год. Полупроводниковый аналитик Дэн О'Лафлин и Вэл Берцович, директор по ИИ в компании Weka, подробно разбирают эту ситуацию: рост стоимости чипов памяти — не временный всплеск, а структурный сдвиг, связанный с масштабированием AI-инфраструктуры.

Важно понимать, что дело не только в DRAM. В дата-центрах используются разные типы памяти — HBM (High Bandwidth Memory) и классическая DRAM решают разные задачи, и выбор между ними влияет на итоговую стоимость инференса. Оптимальное распределение нагрузки между этими типами памяти — отдельная инженерная дисциплина, которая только формируется.

Кэширование как способ снизить расходы на инференс

А вот что действительно любопытно — это то, как компании пытаются компенсировать растущую стоимость памяти для ИИ через грамотное управление кэшем. Показательный пример: документация Anthropic по кэшированию промптов для Claude. Полгода назад это была простая страница с советом «используйте кэш, это дешевле». Сейчас — целая энциклопедия с таблицами тарифов, окнами кэширования на 5 минут или 1 час, рекомендациями по предварительной покупке cache writes.

Как это работает на практике

Суть механизма: вы платите за то, чтобы данные оставались в кэше определённое время. Обращение к данным из кэша обходится значительно дешевле, чем повторная обработка с нуля. Но есть подвох — каждый новый фрагмент данных, добавленный в запрос, может вытеснить что-то из кэша. Управление этим процессом требует точного расчёта.

Кто выиграет в итоге

Компании, которые научатся грамотно оркестрировать память, будут тратить меньше токенов на те же запросы. А это прямая экономия. Одновременно сами модели становятся эффективнее в обработке каждого токена, что дополнительно снижает стоимость. Когда эти два тренда сойдутся, многие приложения, которые сегодня кажутся нерентабельными, станут прибыльными.

Уже появляются стартапы, специализирующиеся на отдельных слоях этого стека — например, TensorMesh работает именно над оптимизацией кэша. Выше по стеку пользователи учатся структурировать свои «рои моделей» так, чтобы использовать общий кэш.

Что это значит для бизнеса

Для компаний, которые строят продукты на базе ИИ, вопрос управления памятью и кэшем перестаёт быть чисто техническим. Это напрямую влияет на себестоимость каждого запроса. Если вы разрабатываете автоматизации с использованием больших языковых моделей — например, чат-боты, SEO-генерацию контента или ИИ-агентов для бизнес-процессов — понимание этих механизмов поможет существенно сократить операционные расходы.

Рост стоимости памяти для ИИ — серьёзный вызов для индустрии, но именно он подталкивает к появлению новых подходов к оптимизации. Те, кто освоит управление кэшем и памятью раньше других, получат реальное конкурентное преимущество в эпоху, когда инференс становится массовым.