"Записки научных семинаров ПОМИ"
Том 529, стр. 72-85
KRGP: порождение ответов с использованием знаний и персоналии
Д. Косенко, Д. Жарикова
Moscow Institute of Physics and Technology, Moscow, Russia
dimweb.tech@mail.ru
dilyara.rimovna@gmail.com
- Аннотация:
Чтобы создать персонализированный ответ, порождающая модель должна учитывать личную
информацию о пользователе, заданный вопрос и знания о предметной области. Поэтому необходимо
научиться извлекать релевантную информацию, которая поможет порождающей модели
составить ответ пользователю. В настоящей работе мы предлагаем разбить процесс
на три этапа: отбор релевантных предложений из текстовой базы знаний, отбор наиболее
подходящих предложений из текстового описания личности с учетом извлеченных знаний и
формирование ответа на основе полученных знаний и персоналии. Мы используем Sentence Transformer
и адаптируем алгоритм из работы о модели CLIP для получения контекстнозависимых представлений
предложений и извлечения наиболее релевантных фрагментов текста из базы знаний. Мы обнаружили,
что фокусная функция ошибки (focal loss) показывает лучшие результаты в задачах бинарной
классификации персоналии на примере несбалансированного набора данных FoCus. Мы также показали,
что text2text Transformer BART хорошо справляется с задачами порождения условного ответа в диалоге.
Разработанная нами система заняла первое место в таблице лидеров The 1st Workshop on Customized Chat
Grounding Persona. Исходный код разработанных моделей доступен на GitHub по адресу
{\tt https://github.com/dmitrymailk/deeppavlov_focus}
Библ. -- 26 назв.
- Ключевые слова: использование знаний, порождение на основе персоналии,
порождение на основе знаний, диалоговые системы
[knowledge grounding, persona-based generation, knowledge-based generation, dialog systems]
Полный текст(.pdf)