"Записки научных семинаров ПОМИ"

Том 552, стр. 191-222

Оптимизация конвейера конструирования признаков в процессе AutoML с использованием больших языковых моделей

И. Л. Иов, Н. О. Никитин

ITMO University, Kronverksky Prospekt 49, bldg. A, St. Petersburg, 197101, Russia

illariov1809@gmail.com

nicl.nno@gmail.com

Аннотация: Одним из важных путей повышения эффективности автоматизированного машинного обучения является привлечение метаоптимизации на всех этапах построения конвейера. В работе предлагается использовать большие языковые модели на этапах конструирования признаков одновременно в роли оптимизаторов и экспертов предметной области. Конвейер конструирования признаков кодируется на естественном языке в виде последовательности атомарных операций. Оптимизация методом ``чёрного ящика'' реализуется путём запроса конвейера конструирования признаков у большой языковой модели с помощью промпта, включающего заранее заданные инструкции, описание набора данных и ранее оценённые конвейеры. Для повышения временной эффективности и устойчивости оптимизации применяется популяционный алгоритм, порождающий на каждый ответ модели набор конвейеров, а не единственный. Для предоставления модели дополнительных знаний предметной области применяется многошаговая оптимизация. Для оценки применимости предложенного подхода проведён ряд экспериментов на открытых наборах данных. В качестве базового метода для задачи оптимизации выбран случайный поиск. Результаты, полученные напрямую с помощью модели gpt-3.5-turbo, близки к базовому методу при тех же временных затратах. Популяционная генерация конвейеров превосходит и базовый метод, и другие подходы. Это подтверждает, что предложенный подход способен повысить общую производительность моделей машинного обучения при тех же временных затратах на оптимизацию и меньшем числе токенов для получения результата. Библ. --- 59 назв.
Ключевые слова: AutoML, большие языковые модели, конструирование признаков, оптимизация чёрного ящика [AutoML, Large Language Models, Feature Engineering, Black-box optimisation]

Полный текст(.pdf)