"Записки научных семинаров ПОМИ"
Том 552, стр. 235-253
Методология сбора и анализа субъективной заметности артефактов
нейросетевых моделей суперразрешения
И. А. Молодецких, К. В. Малышев, М. Р. Миргалеев,
Е. Н. Богатырёв, Д. С. Ватолин
Московский государственный университет имени М.В. Ломоносова,
Россия, 119991, Москва, Ленинские горы, д. 1.
Центр искусственного интеллекта МГУ
ivan.molodetskikh@graphics.cs.msu.ru
Московский государственный университет имени М.В. Ломоносова,
Россия, 119991, Москва, Ленинские горы, д. 1.
kirill.malyshev@graphics.cs.msu.ru
mark.mirgaleev@graphics.cs.msu.ru
evgeney.zimin@graphics.cs.msu.ru
Московский государственный университет имени М.В. Ломоносова,
Россия, 119991, Москва, Ленинские горы, д. 1;
Центр искусственного интеллекта МГУ.
Институт искусственного интеллекта МГУ
dmitriy@graphics.cs.msu.ru
- Аннотация:
Современные методы суперразрешения изображений, основанные на глубоких
нейронных сетях, способны генерировать результаты высокого качества
и детализации, однако часто порождают артефакты -- ошибочные детали,
снижающие визуальное качество изображения. Важно, что их восприятие
человеком различается: одни артефакты почти незаметны, тогда как другие
серьёзно ухудшают изображение. При этом существующие наборы данных
и методы детектирования артефактов используют двоичную разметку
(``есть/нет артефакта''), что не отражает субъективную заметность
и не позволяет количественно оценивать её влияние на восприятие качества.
В данной работе предложена методология субъективной разметки артефактов
суперразрешения с учётом их заметности, основанная на краудсорсинге
с контролем качества аннотаций. Описаны этапы подготовки данных,
включая постобработку масок для упрощения восприятия асессорами,
а также подход к агрегированию субъективных оценок. Полученный набор
данных включает более 1300 артефактов, созданных одиннадцатью современными
моделями суперразрешения. Также проведена аннотация заметности для 593
изображений из существующего набора артефактов DeSRA и установлено,
что большинство из них слабо заметны для человека, несмотря на лабораторную
разметку. Предлагаемый набор данных и методология позволяют исследовать
артефакты с точки зрения восприятия человека и использовать полученные
данные для обучения детекторов, ориентированных на перцептивно-значимые
искажения.
Библ. --- 28 назв.
- Ключевые слова: суперразрешение, артефакты, компьютерное зрение,
глубокое обучение
[super-resolution, artifacts, computer vision, deep learning]
Полный текст(.pdf)