"Записки научных семинаров ПОМИ"

Том 552, стр. 327-349

Распознавание галлюцинаций в больших языковых моделях с RAG на основе вероятностных расстояний

Р. Обловатный, А. Кулешова, К. Полев, А. Зайцев

Markov Lab, Department of Mathematics and Computer Science, St. Petersburg University, St. Petersburg, Russia

oblovatnyi@gmail.com

AI Center, Skoltech, Moscow, Russia

A.Bazarova@skoltech.ru

SB AI Lab, Moscow, Russia

endless.dipole@gmail.com

AI Center, Skoltech, Risk Department, Sber, Moscow, Russia

A.Zaytsev@skoltech.ru

Аннотация: Распознавание галлюцинаций в больших языковых моделях (large language models, LLM) критически важно для их безопасного применения во многих задачах. Без надёжного детектирования такие системы зачастую выдают вредоносные и недостоверные ответы. В последние годы LLM активно используются в системах генерации с дополненной выборкой (retrieval-augmented generation, RAG). Однако галлюцинации сохраняются и в этом сценарии, и, хотя было предложено множество методов детектирования галлюцинаций, большинство подходов не разработаны специально для RAG-систем. Чтобы преодолеть это ограничение, мы предлагаем метод детектирования галлюцинаций, основанный на оценке расстояний между распределениями эмбеддингов токенов запроса и эмбеддингов токенов ответа языковой модели. Метод анализирует геометрическую структуру скрытых состояний токенов, чтобы надёжно извлекать сигнал фактологичности текста, оставаясь при этом применимым к длинным последовательностям. Многочисленные эксперименты показывают, что наш метод достигает наилучших или конкурентоспособных результатов. Кроме того, он обладает переносимостью с задачи NLI на задачу детектирования галлюцинаций, что делает его полностью неконтролируемым и эффективным методом с конкурентоспособным качеством на итоговой задаче. Библ. --- 37 назв.
Ключевые слова: детектирование галлюцинаций, большие языковые модели, RAG-системы, NLI [hallucination detection, large language models, RAG systems, NLI]

Полный текст(.pdf)