| ENGLISH |
 |
Advanced Frame Rate Converter (AFRC)
MSU Graphics & Media Lab (Video Group)
Проект: Дмитрий Ватолин
Алгоритм, реализация: Сергей Гришин
Алгоритмы FRC (Frame Rate Conversion, Преобразование Частоты Кадров) широко используются в сжатии, преобразовании форматов видео, алгоритмах повышения качества видео и др. Наиболее частым вариантом использования этих алгоритмов является преобразование форматов видео. В данном случае алгоритм FRC используется для изменения частоты кадров видео потока. Это необходимо, например, для корректного воспроизведения видео потока с частотой кадров 50 кадр./сек. на видео дисплее с частотой вертикальной развертки 100 кадр/сек. Использование FRC делает движение объектов более плавным и потому более приятным для зрения. Также алгоритм FRC делает возможным снижение скорости воспроизведения видео, при котором движение объектов становится замедленным.
Рис.1 Общая схема работы FRC
Алгоритм FRC увеличивает общее число кадров видео последовательности. Это производится вставкой новых (интерполированных) кадров между каждыми двумя соседними кадрами исходной видео последовательности. Число интерполированных кадров между кадрами исходного видео определяется кратностью интерполяции (преобразования FRC). Кратность интерполяции задается пользователем и может быть равной любому положительному целому числу.
Основным достоинством разработанного алгоритма является использование нескольких приемов повышения качества интерполированных кадров:
Примеры
В данном разделе представлены результаты работы предлагаемого алгоритма и его сравнение с методами, разработанными в других компаниях.
Первый пример (рис. 2-4) демонстрирует результат работы алгоритма на тестовой видео последовательности "schumacher". Интерполированный кадр (рис. 4) вычислен с использованием разработанного алгоритма по двум опорным кадрам. Показанный интерполированный кадр во времени находится в центре между опорными кадрами.
Рис.2 Предыдущий опорный кадр
Рис.3 Следующий опорный кадр
Рис.4 Интерполированный кадр
Ниже приведено сравнение разработанного алгоритма (AFRC) с другими методами. Первый пример содержит результат работы
алгоритмов на тестовой последовательности "stefan". Интерполированные кадры получны в результате двукратного увеличения числа
кадров входного видео. Номер интерполированного кадра в обработанном видео потоке - 339.
Рис.5 Предыдущий опорный кадр
Рис.6 Следующий опорный кадр
Рис.7 Результат Retimer
Рис.8 Результат Motion Perfect
Рис.9 Результат Twixtor
Рис.10 Результат AFRC
Следующий пример демонстрирует результаты работы алгоритмов на последоваетльности "foreman". Интерполированные кадры получены в результате двукратного увеличения количества кадров последовательности, первоначально прореженной вдвое (в результате такого преобразования общее число кадров не изменяется). Номер интерполированного кадра в обработанном видео потоке - 171.
Рис.11 Предыдущий опорный кадр
Рис.12 Следующий опорный кадр
Рис.13 Результат Retimer
Рис.14 Результат Motion Perfect
Рис.15 Результат Twixtor
Рис.16 Результат AFRC
На диаграмме ниже (рис. 17) приведен результат объективного сравнения алгоритмов. Для измерения объективного качества обработанных последовательностей использована метрика PSNR, все измерения произведены только для яркостной компоненты. Для вычисления метрики PSNR
использовались только интерполированные кадры последовательностей. Для этого исходные видео последовательности сначала прореживались в два раза, затем пропущенные кадры восстанавливались при помощи FRC. После этого интерполированные кадры сравнивались с кадрами исходных видео последовательностей с использованием метрики Y-PSNR.
По вертикальной оси графика отложены средние по последовательностям значения метрики Y-PSNR, по горизонтальной - название тестовых видео последовательностей. Легко видеть, что разработанный алгоритм (AFRC) демонстрирует лучшее объективное качество на большинстве последовательностей.
Рис. 17 Объективное сравнение
Публикации
- Д.Ватолин, С.Гришин, "Алгоритм N-кратного увеличения частоты кадров видео на основе пиксельной компенсации движения с обработкой наложений", Международная конференция по компьютерной графике и машинному зрению Графикон, Июль 2006, стр. 112-119.
- Д.Ватолин, С.Гришин, "Алгоритм преобразования частоты кадров на основе интерполяции скомпенсированных кадров", материалы девятого научно-практического семинара "Новые информационные технологии в автоматизированных системах", Март 2006, стр. 32-46.
Download
По вопросам лицензирования обращайтесь по электронной почте:
|
Другие материалы
Материалы по видео
Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000