Новинки:

Сайт подключен к Orphus. Если вы заметили опечатку, выделите слово и нажмите Ctrl+Enter. Спасибо!

ENGLISH

MSU Frame Rate Conversion Method

MSU Graphics & Media Lab (Video Group)

Алгоритм, идеи: Дмитрий Ватолин
Алгоритм, реализация: Сергей Гришин

Алгоритм позволяет вдвое увеличить частоту кадров (fps) видео потока. Такое преобразование осуществляется за счет генерации и добавления в поток новых кадров (см.рис).

fps x2 scheme
Двукратное увеличение частоты кадров

Основными достоинствами алгоритма являются:

Первое достигается за счет построения скомпенсированных кадров с точностью в четверть пикселя. Такая высокая точность получается в результате использования билинейной и бикубической интерполяции. Второе достоинство метода заключается в том, что интерполированные кадры имеют ту же резкость, что и кадры исходного видео потока. Следует заметить, что данное свойство не характерно для большинства алгоритмов подобного типа.


Примеры работы алгоритма


На рисунке ниже рассмотрено сравнение описанного алгоритма с методом повторения кадров (Frame Repetition - FR) и методом линейной интерполяции (Linear Interpolation - LI) на примере работы на последовательности "akiyo". Справа изображена визуализация метрики PSNR интерполированных кадров по сравнению с оригинальными. Смысл раскраски на данном рисунке такой: красный цвет - большая разница, хорошо заметная "на глаз"; желтый - разница, немного меньше по сравнению в предыдущем случаем; зеленый - небольшая разница, практически не видимая для глаз; синий - почти нулевая разница и черный - нулевая разница. Таким образом, участки изображения метрики, имеющие красную и желтую окраску, обозначают области интерполированных кадров, которые сильно отличаются от соответствующих областей на оригинальном кадре.

akiyo sequence
Пример работы MSU, LI и FR на последовательнсоти "akiyo"

На рисунках, изображенных ниже, показаны кадры из последовательсностей, имеющих вчетверо увеличенную частоту кадров. Такое увеличение достигается за счет повторного использования алгоритма FRC по схеме, изображенной на рисунке:

akiyo sequence
Схема четырехкратного увеличения частоты кадров
На следующем рисунке приведено сравнение описанного алгоритма и метода линейной интерполяции (Liner Interpolation - LI) на примере работы на последовательности "waterfall":

Waterfall.avi MSU x4
Waterfall.avi LI x4
Пример работы MSU и LI на последовательности "waterfall"
Ниже приведены графики для сравнения качества работы FR, LI и MSU. По оси ординат отложена формальная метрика качества PSNR только для интерполированных кадров по сравнению с оригинальными (чем она выше, тем выше качество), по оси абсцисс - номер интерполированного кадра.

bbc psnr graph bus psnr graph foreman psnr graph Качество работы MSU, LI и FR на последовательностях "BBC", "bus" и "foreman"

Ниже приведено сравнение алгоритма MSU FRC с методом Калифорнийского Университета (University of California, San Diego). Для сравнения использовались последовательности, имеющие вчетверо увеличенную частоту кадров:

Dogs.avi MSU x4
Dogs.avi UCSD x4
Сравнение MSU FRC и UCSD FRC на последовательсноти "dogs"
На следующем рисунке легко видеть разницу в резкости кадров, полученных в результате четырехкратного увеличения fps:

MSU & UCSD sharpness
Кадры MSU и UCSD из преобразованной последовательности "dogs"

Для скачивания доступны несколько видео роликов, на которых легко видеть разницу качества работы алгоритмов MSU FRC и UCSD FRC. Данные последовательноси сгенерированны таким образом, что каждый кадр содержит одну и ту же часть кадра из преобразованных последовательностей FR, MSU и LI. Такой способ построения последовательностей делает сравнение различных методов FRC крайне легким и удобным.

Sample frame
Кадр из последовательности "crowd" для сравнения алгоритмов


Download


Фильтр недоступен из-за ограничений контракта с Самсунгом.

Связаться с нами можно по адресу: 


Другие материалы


Материалы по видео


Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000

Rambler's Top100 Рейтинг@Mail.ru