"Записки научных семинаров ПОМИ"
Том 552, стр. 254-279
Методы фильтрации и оценки данных для больших языковых моделей
С. И. Николенко
С.Петербургское отделение Математического института
им. В. А. Стеклова РАН,
наб. р. Фонтанки, 27, 191023,
Санкт-Петербург, Россия
sergey@logic.pdmi.ras.ru
- Аннотация:
Современные большие языковые модели критически зависят от качества
и состава обучающих данных. Настоящий обзор систематически
рассматривает методы фильтрации и оценки обучающих данных для LLM,
охватывая широкий спектр подходов: от детерминированных правил
фильтрации (ограничения по длине, языку, токсичности, дедупликация)
до методов на основе данных-образцов (сходство с референтными корпусами,
разница кросс-энтропии), методов на основе моделей (дообученные LLM-оценщики,
разреженные автокодировщики, зондирование в контексте), методов
на основе энтропии и функции потерь, а также подходов с использованием
LLM-судей и классификаторов качества. Мы анализируем преимущества и
ограничения каждого класса методов и показываем, что при всём их
разнообразии они не обеспечивают принципиальной связи с контрфактическими
оценками влияния отдельных примеров на поведение модели. Для решения
задач атрибуции данных существует отдельный класс методов -- функции влияния,
рассматриваемые во второй части обзора.
Библ. --- 46 назв.
- Ключевые слова: большие языковые модели, фильтрация данных,
подбор данных
[large language models, data filtering, data selection]
Полный текст(.pdf)