"Записки научных семинаров ПОМИ"
Том 552, стр. 223-234
Иерархическая инициализация временных масштабов в Mamba-2
для многомасштабного моделирования последовательностей
А. А. Лаэтин, Б. Пулфер, С. К. Смирнов
СПбГУ, Санкт-Петербург, Россия
a.laetin@spbu.ru
Женевский университет, Женева, Швейцария
Brian.Pulfer@unige.ch
Женевский университет, Женева, Швейцария;
СПбГУ, Санкт-Петербург, Россия
sksmirnov@gmail.com
- Аннотация:
В работе исследуется влияние послойной инициализации параметра
$\Delta_{bias}$ в архитектуре Mamba-2 на качество языкового
моделирования. Рассматриваются три стратегии инициализации:
убывающая, возрастающая и равномерная. Проверяемая гипотеза
состоит в том, что убывающая стратегия, при которой нижние слои
инициализируются с большими $\Delta t$, а верхние -- с меньшими,
способствует формированию многомасштабной обработки информации
без изменения архитектуры модели. Эксперименты проведены на модели
Mamba-2 размером около 40M параметров в режиме предварительного
обучения на корпусе OpenWebText с последующей оценкой на наборах
TinyStories, SQuAD и Wiki-EN. В проведенных экспериментах убывающая
инициализация улучшала сходимость по сравнению с равномерной
стратегией и в ряде внешних оценок давала более низкую perplexity,
тогда как возрастающая стратегия в большинстве сравнений
ухудшала качество. Предложенный подход не увеличивает число
параметров и может рассматриваться как простой способ повышения
эффективности обучения моделей семейства Mamba.
Библ. --- 11 назв.
- Ключевые слова: модели пространства состояний, Mamba,
инициализация параметров, языковое моделирование,
многомасштабная обработка
[state space models, Mamba, parameter initialization,
language modeling, multi-scale processing]
Полный текст(.pdf)