"Записки научных семинаров ПОМИ"
Том 540, стр. 113-131
Ti-Patch: плиточный физический адверсиальный патч для метрик качества видео без эталона
В. Леоненкова, Е. Шумитская, А. Анциферова, Д. Ватолин
Lomonosov Moscow State University, Moscow, Russia
victoria.leonenkova@graphics.cs.msu.ru
ISP RAS Research Center for Trusted Artificial Intelligence,
Ivannikov Institute for System Programming of the RAS;
MSU Institute for Artificial Intelligence;
Lomonosov Moscow State University, Moscow, Russia
ekaterina.shumitskaya@graphics.cs.msu.ru
MSU Institute for Artificial Intelligence;
ISP RAS Research Center for Trusted Artificial Intelligence,
Ivannikov Institute for System Programming of the RAS;
Moscow, Russia
aantsiferova@graphics.cs.msu.ru
MSU Institute for Artificial Intelligence;
ISP RAS Research Center for Trusted Artificial Intelligence,
Ivannikov Institute for System Programming of the RAS;
Lomonosov Moscow State University, Moscow, Russia
dmitriy@graphics.cs.msu.ru
- Аннотация:
Объективные метрики качества изображений и видео без эталона играют ключевую
роль во многих задачах компьютерного зрения. Однако современные метрики
без эталона стали основываться на обучении и уязвимы перед состязательными атаками.
Уязвимость метрик качества накладывает ограничения на использование таких
метрик в системах контроля качества и при сравнении объективных алгоритмов.
Кроме того, использование уязвимых метрик в качестве функции потерь при обучении
моделей глубокого обучения может привести к ухудшению визуального качества.
В связи с этим тестирование метрик качества на уязвимость является
актуальной задачей. В настоящей работе предлагается новый метод тестирования
уязвимости метрик качества в физическом пространстве. Насколько нам известно,
метрики качества ранее не тестировались на уязвимость к такой атаке;
они тестировались только в пиксельном пространстве. Мы применили физическую
состязательную атаку Ti-Patch -- плиточный патч -- к метрикам качества
и провели эксперименты как в пиксельном, так и в физическом пространстве.
Также мы провели эксперименты по реализации физических состязательных ``обоев''.
Предложенный метод может быть использован как дополнительная метрика качества
при оценке уязвимости, дополняя традиционные субъективные сравнения и
тесты уязвимости в пиксельном пространстве. Мы разместили наш код и
адверсиальные видео на GitHub: https://github.com/leonenkova/Ti-Patch.
Библ. -- 39 назв.
- Ключевые слова: состязательные патчи,
физические состязательные атаки, метрики качества видео
[adversarial patch, physical attack, video quality metrics]
Полный текст(.pdf)