"Записки научных семинаров ПОМИ"
Том 540, стр. 162-177
Улучшение RAG с помощью дообучения LoRA для генерации текста персонажа
В. Павлюкевич, А. Жердева, О. Махныткина, Д. Дырмовский
ITMO University; Speech Technology Center, Saint Petersburg, Russia
makhnytkina@itmo.ru
ddv@speechpro.com
- Аннотация:
В статье рассматривается задача поддержания согласованности в системах порождения
текста с использованием поиска (Retrieval-Augmented Generation, RAG)
для порождения текста персонажей в случаях, когда базы данных подвержены
частым обновлениям, и стандартное дообучение больших языковых моделей (LLM)
оказывается недостаточной. Мы предлагаем подход, который улучшает существующую
систему RAG, применяемую для поиска информации, основанной на персонажах
в диалоговых агентах, посредством дообучения с использованием Low-Rank Adaptation
на синтетических данных. Нами было установлено, что данный метод улучшает логику
и точность системы на 5% по оценкам SSA и обеспечивает создание более
связного и контекстуально релевантного контента.
Библ. -- 23 назв.
- Ключевые слова: порождение с помощью поиска, большие языковые модели, дообучение
[retrieval-augmented generation \and large language models \and fine-tuning]
Полный текст(.pdf)