ENGLISH
Graphics & Media Lab

Advanced Frame Rate Converter (AFRC)

MSU Graphics & Media Lab (Video Group)

Проект: Дмитрий Ватолин
Алгоритм, реализация: Сергей Гришин

Алгоритмы FRC (Frame Rate Conversion, Преобразование Частоты Кадров) широко используются в сжатии, преобразовании форматов видео, алгоритмах повышения качества видео и др. Наиболее частым вариантом использования этих алгоритмов является преобразование форматов видео. В данном случае алгоритм FRC используется для изменения частоты кадров видео потока. Это необходимо, например, для корректного воспроизведения видео потока с частотой кадров 50 кадр./сек. на видео дисплее с частотой вертикальной развертки 100 кадр/сек. Использование FRC делает движение объектов более плавным и потому более приятным для зрения. Также алгоритм FRC делает возможным снижение скорости воспроизведения видео, при котором движение объектов становится замедленным.

Схема работы FRC
Рис.1 Общая схема работы FRC

Алгоритм FRC увеличивает общее число кадров видео последовательности. Это производится вставкой новых (интерполированных) кадров между каждыми двумя соседними кадрами исходной видео последовательности. Число интерполированных кадров между кадрами исходного видео определяется кратностью интерполяции (преобразования FRC). Кратность интерполяции задается пользователем и может быть равной любому положительному целому числу.

Основным достоинством разработанного алгоритма является использование нескольких приемов повышения качества интерполированных кадров:

  • адаптивное маскирование артефактов делает артефакты менее заметными для глаз, таким образом повышая общее визуальное качество обработанного видео;
  • обработка черных полос позволяет избежать появления артефактов, возникающих на интерполированных кадрах в случае присутствия черных полос на краях кадров;
  • трекинг наложений производит высококачественное восстановление интерполированных кадров возле краев в случаях наличия движения, направленного перпендикулярно краю кадра;


Примеры


В данном разделе представлены результаты работы предлагаемого алгоритма и его сравнение с методами, разработанными в других компаниях.

Первый пример (рис. 2-4) демонстрирует результат работы алгоритма на тестовой видео последовательности "schumacher". Интерполированный кадр (рис. 4) вычислен с использованием разработанного алгоритма по двум опорным кадрам. Показанный интерполированный кадр во времени находится в центре между опорными кадрами.

Предыдущий опорный кадр
Рис.2 Предыдущий опорный кадр
Следующий опорный кадр
Рис.3 Следующий опорный кадр
Интерполированный кадр
Рис.4 Интерполированный кадр

Ниже приведено сравнение разработанного алгоритма (AFRC) с другими методами. Первый пример содержит результат работы алгоритмов на тестовой последовательности "stefan". Интерполированные кадры получны в результате двукратного увеличения числа кадров входного видео. Номер интерполированного кадра в обработанном видео потоке - 339.

Предыдущий опорный кадр
Рис.5 Предыдущий опорный кадр
Следующий опорный кадр
Рис.6 Следующий опорный кадр
Результат Retimer
Рис.7 Результат Retimer
Результат Motion Perfect
Рис.8 Результат Motion Perfect
Результат Twixtor
Рис.9 Результат Twixtor
Результат AFRC
Рис.10 Результат AFRC

Следующий пример демонстрирует результаты работы алгоритмов на последоваетльности "foreman". Интерполированные кадры получены в результате двукратного увеличения количества кадров последовательности, первоначально прореженной вдвое (в результате такого преобразования общее число кадров не изменяется). Номер интерполированного кадра в обработанном видео потоке - 171.

Предыдущий опорный кадр
Рис.11 Предыдущий опорный кадр
Следующий опорный кадр
Рис.12 Следующий опорный кадр
Результат Retimer
Рис.13 Результат Retimer
Результат Motion Perfect
Рис.14 Результат Motion Perfect
Результат Twixtor
Рис.15 Результат Twixtor
Результат AFRC
Рис.16 Результат AFRC

На диаграмме ниже (рис. 17) приведен результат объективного сравнения алгоритмов. Для измерения объективного качества обработанных последовательностей использована метрика PSNR, все измерения произведены только для яркостной компоненты. Для вычисления метрики PSNR использовались только интерполированные кадры последовательностей. Для этого исходные видео последовательности сначала прореживались в два раза, затем пропущенные кадры восстанавливались при помощи FRC. После этого интерполированные кадры сравнивались с кадрами исходных видео последовательностей с использованием метрики Y-PSNR.
По вертикальной оси графика отложены средние по последовательностям значения метрики Y-PSNR, по горизонтальной - название тестовых видео последовательностей. Легко видеть, что разработанный алгоритм (AFRC) демонстрирует лучшее объективное качество на большинстве последовательностей.

Объективное сравнение
Рис. 17 Объективное сравнение


Публикации


  • Д.Ватолин, С.Гришин, "Алгоритм N-кратного увеличения частоты кадров видео на основе пиксельной компенсации движения с обработкой наложений", Международная конференция по компьютерной графике и машинному зрению Графикон, Июль 2006, стр. 112-119.
  • Д.Ватолин, С.Гришин, "Алгоритм преобразования частоты кадров на основе интерполяции скомпенсированных кадров", материалы девятого научно-практического семинара "Новые информационные технологии в автоматизированных системах", Март 2006, стр. 32-46.


Download


По вопросам лицензирования обращайтесь по электронной почте:

сontact email


Другие материалы


Материалы по видео


Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000