"Записки научных семинаров ПОМИ"
Том 552, стр. 280-326
Функции влияния данных для больших языковых моделей
С. И. Николенко
С.Петербургское отделение Математического института
им. В. А. Стеклова РАН,
наб. р. Фонтанки, 27, 191023,
Санкт-Петербург, Россия
sergey@logic.pdmi.ras.ru
- Аннотация:
Функции влияния представляют собой математический инструмент для
оценки того, как отдельные обучающие примеры влияют на поведение
обученных моделей машинного обучения. В отличие от методов фильтрации
и оценки качества данных, рассмотренных в первой части обзора,
функции влияния обеспечивают принципиальную аппроксимацию
контрфактических leave-one-out оценок через локальную линеаризацию
и учёт геометрии пространства параметров. Настоящий обзор систематически
излагает теорию функций влияния -- от классического вывода через
повышение весов и теорему о неявной функции до современных масштабируемых
аппроксимаций. Мы детально разбираем методы вычисления обратных
произведений гессиана на вектор (LiSSA, K-FAC/EK-FAC) и представляем техники,
делающие атрибуцию данных практически возможной для моделей с миллиардами
параметров: проекционные методы (TRAK, LoGra), методы первого порядка
(RapidIn), а также подходы на ранних стадиях обучения (LinFIK, ALinFIK).
В заключение мы обсуждаем сильные стороны и ограничения различных подходов
и даём рекомендации по выбору методов для конкретных задач атрибуции
и отбора данных.
Библ. --- 114 назв.
- Ключевые слова: функции влияния, большие языковые модели
[influence functions, large language models]
Полный текст(.pdf)