"Записки научных семинаров ПОМИ"
Том 552, стр. 350-380
Пожалуйста, проголосуйте: ранжирование ответов на Stack Overflow
в текстовой постановке
Е. Орлов, В. Малых
AI Talent Hub,
ITMO University, Saint Petersburg, Russia;
Slavic-Greek-Latin Academy,
Moscow, Russia
eugene200020@gmail.com
ITMO University,
St. Petersburg, Russia
valentin.malykh@phystech.edu
- Аннотация:
Stack Overflow (SO) -- давний ресурс для обмена знаниями о программировании,
однако в последние годы наблюдается снижение активности пользователей
и числа задаваемых вопросов. Одним из факторов, обсуждаемых в предшествующих
работах и сообщениях сообщества, является социальное напряжение,
связанное с заданием вопросов, особенно для новичков, включая опасения
по поводу негативной обратной связи и модерации. Совершенствование
автоматических вспомогательных инструментов могло бы помочь сократить
число бесполезных взаимодействий и сделать участие более доступным.
В данной работе мы исследуем одну из ключевых составляющих ответов на
вопросы в сообществе SO: ранжирование ответов на заданный вопрос,
которое может служить опорой для инструментов модерации и курирования контента.
В отличие от предыдущих работ, опирающихся на метаданные постов и
пользователей, мы рассматриваем текстовую постановку, использующую только
содержание вопроса и ответа. Такая постановка позволяет ранжировать ответы
для недавно созданных учётных записей без надёжных признаков профиля и
снижает риск усиления смещений, связанных с репутацией. Мы обучаем набор
ранжировщиков на основе языковых моделей, предобученных на данных SO,
используя два различных подхода к ранжированию и две архитектуры кодировщиков.
Мы наблюдаем, что дообученные модели стабильно превосходят свои аналоги,
основанные на замороженных эмбеддингах, по метрике nDCG. Наша лучшая модель
превосходит сильную текстовую базовую модель на основе случайного леса из
предшествующих работ. Она также превосходит ранжировщики на основе языковых
моделей общего назначения сопоставимого размера, что подчёркивает ценность
предобучения в предметной области. Наконец, мы анализируем качество в
зависимости от тегов вопросов и выделяем группу тегов, для которых различия
статистически значимы.
Библ. --- 55 назв.
- Ключевые слова: Stack Overflow, ответы на вопросы в сообществе
(CQA), ранжирование ответов, обучение ранжированию,
трансформерные модели, nDCG
[Stack Overflow, community question answering (CQA),
answer ranking, learning to rank, transformer models, nDCG]
Полный текст(.pdf)