GPT-6: улучшенное кэширование промптов

OpenAI сообщила об изменениях в механизме кэширования промптов для GPT-6. Обновление касается повторного использования уже обработанных частей запроса: это должно помочь сократить задержку ответа и расходы в сценариях, где к модели регулярно отправляют похожий контекст.

Что изменилось

По сообщению OpenAI, GPT-6 получил более высокую вероятность попадания запроса в кэш. Иными словами, модель чаще сможет использовать результаты обработки ранее отправленных фрагментов промпта, если они совпадают с новыми запросами.

Также разработчик анонсировал:

• новые средства диагностики кэширования;
• явные точки разрыва кэша;
• элементы управления, связанные с сокращением задержки и стоимости запросов.

Зачем это может быть бизнесу

Кэширование особенно важно в задачах с постоянной базовой инструкцией: например, когда в каждом запросе передают правила работы ассистента, описание бренда, каталог, регламент поддержки или большой набор документов.

Явные точки разрыва могут пригодиться для управления тем, какие части промпта должны считаться неизменными, а какие обновляются от запроса к запросу. Диагностика, в свою очередь, может помочь понять, срабатывает ли кэш в конкретной интеграции.

Что можно проверить на своей задаче

Пример задачи для теста: разделить большой промпт корпоративного помощника на постоянную часть с правилами и переменную часть с данными клиента. Затем проверить диагностику кэша, задержку ответов и стоимость серии похожих запросов.

В коротком пресс релизе не указаны цены, лимиты, размер контекста, конкретные показатели роста попаданий в кэш и условия доступности новых функций. Поэтому фактический эффект для конкретного продукта потребуется оценивать отдельно.

https://openai.com/index/better-prompt-caching-for-gpt-6