"Записки научных семинаров ПОМИ"
Том 552, стр. 134-152
Направленный шум и неявное смещение в методе Lion
С. Елистратов, А. Подивилов, Т. Южаков, Д. Ветров
Lomonosov Moscow State University, Moscow, Russia
semenelist@gmail.com
St.Petersburg State University, St. Petersburg, Russia
andrey.podivilov@gmail.com
Constructor University, Bremen, Germany;
HSE University, Moscow, Russia
tiuzhakov@constructor.university
dvetrov@constructor.university
- Аннотация:
Lion -- новый метод оптимизации, превосходящий традиционные оптимизаторы,
такие как Adam, в широком спектре задач. Несмотря на эмпирический успех,
причины превосходства Lion остаются неясными. В данной работе мы
исследуем механизмы, обеспечивающие повышенную эффективность Lion,
уделяя основное внимание структурированному шуму, возникающему из-за
использования знаковой функции (sign) при обновлении градиента.
Мы характеризуем этот шум углом поворота между вектором и его знаком.
Мы вводим этот шум в виде случайного поворота на фиксированный угол
в нормализованные обновления и анализируем, как эффективность такого
метода соотносится с эффективностью Lion. Мы также приводим теоретический
анализ, показывающий, как этот направленный шум изменяет неявное смещение
оптимизатора, перенося индуцированный штраф за остроту/кривизну с направления
градиента на ортогональную компоненту. Мы демонстрируем, что в нашей
постановке этот метод обладает более высокой эффективностью, чем Lion.
Такой подход выявляет связь между скоростью обучения и шумом, специфическую
для метода Lion, и проливает свет на причины улучшения его показателей.
Кроме того, мы выявляем эффект, который мы называем ``отслеживанием импульса''
(momentum tracing), в нейронных сетях со слоями нормализации и активациями
ReLU, способный существенно дестабилизировать процесс обучения.
Наш анализ показывает, что присущий Lion шум поворота смягчает негативное
влияние ``отслеживания импульса'', обеспечивая более стабильное обучение.
Эти результаты дают теоретическое обоснование эффективности Lion и намечают
пути разработки более устойчивых алгоритмов оптимизации.
Библ. --- 23 назв.
- Ключевые слова: оптимизация в глубоком обучении,
ландшафт функции потерь
[optimization in deep learning, loss landscape]
Полный текст(.pdf)