ENGLISH

Проект: Улучшение сжатого видео
MSU Digital TV Signal Enhancement

MSU Graphics & Media Lab (Video Group)

Проект: Дмитрий Ватолин
Алгоритм, реализация: Максим Махиня
Реализация: Калинкина Дарья

В ходе данного проекта был разработан новый быстрый и гибкий метод для подавления шума в изображениях и видео. Данный метод может быть легко использован для улучшения видео, имеющего артефакты сильного сжатия. Разработанный метод можно легко адаптировать для использования в алгоритмах подавления блочности (de-blocking), а также в алгоритмах подавления эффекта Гиббса (de-ringing). Разработанный метод использует распространенный подход в шумоподавлении – усреднение соседних точек изображения, которые в некотором смысле похожи на текущую обрабатываемую точку, при этом качество и скорость предложенного метода превосходят аналогичные показатели других известных алгоритмов. Одно из преимуществ разработанного метода заключается в том, что используется локальное окно небольшого радиуса, это позволяет подавлять шум средней амплитуды, другое преимущество в достаточно простой метрике определения похожести точек, это свойство используется как для пространственного, так и для временного шумоподавления. Также в ходе проекта было показано, как предложенные методы могут быть оптимизированы для работы на DSP-подобных процессорах.


Результаты


Мы протестировали быстрый вариант предложенного пространственного метода шумоподавления на нескольких цветных последовательностях после добавления нормально распределенного шума различной амплитуды. Подобная процедура позволяет сравнивать видео после шумоподавления с исходным незашумленным видео. Мы использовали распространенную меру PSNR для вычисления качества шумоподавления, для каждой видео последовательности данная мера была подсчитана для каждого кадра, после чего усреднена. Усредненные по последовательностям результаты сравнения с другими хорошо известными методами представлены ниже. Было использовано шесть разных видеопоследовательностей и три уровня шума для каждой из них. Первые три-пять букв в названиях на графике являются аббревиатурами соответствующих тестовых последовательностей, числа означают интенсивности добавленного шума. Предложенный метод показывает хорошие результаты на всех последовательностях.

Численное сравнение предложенного алгоритма с другими хорошо известными методами
Численное сравнение предложенного алгоритма с другими хорошо известными методами


В дополнение к высоким значениям меры PSNR предложенный алгоритм показывает хорошее визуальное качество.

Следующий пример показывает исходный кадр из последовательности “shattered”, а также сравнение увеличенных фрагментов кадров, обработанных различными методами. Данный пример доказывает, что предложенный метод может эффективно подавлять шум без уменьшения общей резкости изображения и размытия деталей.

Исходный кадр
Исходный кадр последовательности "shattered"
Увеличенная часть исходного кадра последовательности 'shattered'
Увеличенная часть исходного кадра
последовательности "shattered"
Фрагмент, обработанный предложенным алгоритмом
Фрагмент, обработанный предложенным алгоритмом
Фрагмент, обработанный методом шумоподавления Monte-Carlo
Фрагмент, обработанный методом Monte-Carlo
Фрагмент, обработанный методом шумоподавления FUZZY
Фрагмент, обработанный методом шумоподавления FUZZY
Фрагмент, обработанный методом шумоподавления KNN
Фрагмент, обработанный методом шумоподавления KNN
Фрагмент, обработанный методом шумоподавления FUELS
Фрагмент, обработанный методом шумоподавления FUELS


Следующие два примера показывают то, как разработанный метод может быть использован для подавления артефактов сжатия.

Исходный кадр
Исходный кадр
Увеличенная часть исходного кадра с оригинальными артефактами
Увеличенная часть исходного кадра
с оригинальными артефактами
Пример восстановленного фрагмента с использованием предложенного метода
Пример восстановленного фрагмента
с использованием предложенного метода


Это наглядный пример того, как данный метод может быть использован в алгоритмах подавления блочности (de-blocking). Для достижения этого результата параметр силы подавления шума был установлен в максимальное значение.

Следующий пример показывает другое полезное свойство алгоритма – подавление эффекта Гиббса (ringing), который часто встречается в окрестностях резких границ изображения при использовании высокой степени сжатия. Также хотим отметить интересное свойство разработанного метода: пример показывает, что избавленное от артефактов изображение выглядит даже более резко, чем оригинал. Для достижения подобного результата метод шумоподавления был применен дважды.

Исходный кадр
Исходный кадр
Увеличенная часть исходного кадра с оригинальными артефактами
Увеличенная часть исходного кадра с оригинальными артефактами
Пример восстановленного фрагмента с использованием предложенного метода
Пример восстановленного фрагмента
с использованием предложенного метода


Благодарности


Выражаем благодарность корпорации Интел за поддержку данной работы и персонально Tiehan Lu и Walid Ali. Также благодарим Лабораторию Компьютерной Графики и Мультимедиа Московского Государственного Уиверситета, а также лично Баяковского Юрия за оказанную в ходе проекта помощь.


Ссылки


  1. H.B. Mitchell and N. Mashkit, “Noise smoothing by a fast k-nearest neighbour algorithm” // Signal Processing: Image Communication, vol. 4, pp. 227–232, 1992.
  2. Ruifeng Xu and Sumanta N. Pattanaik, “A Novel Monte Carlo Noise Reduction Operator” // IEEE Computer Graphics and Applications, 2005
  3. C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color Images,” Proc. IEEE 6th Int’l Conf. Computer Vision (ICCV), IEEE CS Press, 1998, pp. 839-846.
  4. Torsten Seemann and Peter Tischer, “Structure Preserving Noise Filtering of Images using Explicit Local Segmentation” // IEEE Pattern Recognition, 1998, 16-20 Aug, Vol. 2, pp.1610-1612
  5. Dimitri Van De Ville, Mike Nachtegael, Dietrich Van der Weken, Etienne E. Kerre Wilfried Philips, and Ignace Lemahieu, “Noise Reduction by Fuzzy Image Filtering” // IEEE Transactions On Fuzzy Systems, Vol. 11, No. 4, August 2003 429

Download


Данный проект был разработан в рамках эксклюзивного договора с компанией Интел. Данная технология не доступна публично по условиям договора.

Связаться с нами можно по адресу: 


Другие материалы


Материалы по видео


Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000