"Записки научных семинаров ПОМИ"
Том 552, стр. 25-62
Клиентообусловленное спекулятивное декодирование для больших
языковых моделей в мультиарендных сервисах
Г. Э. Ангени, В. А. Ершов
Лаборатория искусственного интеллекта, математики
и компьютерных наук им. А. А. Маркова,
199034, Университетская наб. 9, Санкт-Петербург, Россия
geaned@yandex-team.ru
noxoomo@yandex-team.ru
- Аннотация:
Данная работа направлена на оптимизацию применения больших
языковых моделей (LLM) в мультиарендных сервисах. Приводится
подробный обзор современных методов спекулятивного декодирования,
а для внедрения персонализации предсказаний без оказания влияния
на их качество предлагается метод клиентообусловленного
спекулятивного декодирования CCSD (Client-Conditioned Speculative Decoding).
Метод интегрируется поверх существующих методов спекулятивного
декодирования и использует n-граммные статистики по генерациям
отдельных клиентов, обновляемые в онлайн-режиме и адаптирующие
распределение кандидатов драфтовой модели при осуществлении
спекулятивного сэмплирования (speculative sampling). Установлено,
что на клиентских срезах с предсказуемыми ответами использование
биграммных статистик влечёт ускорение до +36\% токенов,
генерируемых за секунду, при росте acceptance rate до +82%.
Также возможность адаптации CCSD в процессе работы LLM к
изменениям в распределении запросов от клиента позволяет обеспечивать
сохранение более значительного прироста от использования спекулятивного
декодирования по сравнению с переобучением драфтовой модели под клиента.
Библ. --- 9 назв.
- Ключевые слова: спекулятивное декодирование, ReDrafter,
мультиарендные сервисы, персонализация, пропускная способность,
acceptance rate, n-граммные модели
[speculative decoding, ReDrafter, multi-tenant services,
personalization, throughput, acceptance rate, n-gram models]
Полный текст(.pdf)