"Записки научных семинаров ПОМИ"
Том 552, стр. 87-99
Эффективное планирование распределённых AutoML-конвейеров с
учётом дедлайнов
Н. Бутаков, А. Вахрушев, М. Ходорченко, А. Захарова,
А. Рыжков, О. Плосская, А. Гайнетдинов, Р. Дамдинов,
Д. Александров, Д. Насонов, М. Савченко
ITMO University, St.Petersburg, Russia
alipoov.nb@gmail.com
Sber AI Lab, Moscow, Russia
btbpanda@gmail.com
ITMO University, St.Petersburg, Russia
mariyaxod@yandex.ru
nastyazakharova.nz@gmail.com
Sber AI Lab, Moscow, Russia
alexmryzhkov@gmail.com
nonflame@gmail.com
ITMO University, Saint-Petersburg, Russia
Mr.g.azamat@gmail.com
Sber AI Lab, Moscow, Russia
damdinovr@gmail.com
- Аннотация:
Ежедневное обновление ML-решений в эксплуатации сегодня является
распространённой практикой. Создание новых версий требует
не только наличия готовых конвейеров автоматизированного машинного
обучения (AutoML) для немедленной обработки обновлённых данных,
но и своевременной доставки результата, зачастую в рамках жёстких сроков,
составляющих всего несколько часов. Чтобы справляться с такими ограничениями,
критически важно встраивать таймеры в AutoML-решения, поскольку
это позволяет распределять время между несколькими ML-моделями
и исследовать различные параметры для обеспечения хорошего качества.
Это порождает сложности при выборе того, как именно конвейеры должны
выполнять вычисления для достижения оптимальной производительности.
Масштабируемые распределённые фреймворки, такие как Apache Spark,
при использовании в качестве основы для AutoML-фреймворков могут
предоставлять возможности для совмещения режимов параллелизма по данным
и параллелизма по вычислениям в гибридный режим, способный обеспечить
лучшую общую производительность при ограничениях по срокам.
Однако настройка параметров параллелизма для нескольких компонентов
с различным поведением масштабируемости может оказаться непростой задачей,
требующей учёта инфраструктуры, объёма набора данных, параметров
ML-модели и закона её масштабируемости. В свете этих сложностей в данной
работе предлагается новый метод оптимизации связанных с параллелизмом
параметров AutoML-конвейера и распределения времени между несколькими
ML-моделями в рамках ограничения по дедлайну.
Библ. --- 18 назв.
- Ключевые слова: autoML, планирование с учётом дедлайнов,
распределённая система
[autoML, deadline-based scheduling, distributed system]
Полный текст(.pdf)