ENGLISH VERSION

Субъективное сравнение современных видеокодеков

MSU Graphics & Media Lab (Video Group)

Руководитель: Дмитрий Ватолин
Проведение: Александр Паршин, Олег Петров
Обработка, перевод: Олег Петров
Проверка: Александр Паршин, Артем Титаренко

О сравнении

Протестированные кодеки:

  • DivX 6.0
  • Xvid 1.1.0
  • x264
  • WMV 9.0

Битрейты:

  • 690 kbps
  • 1024 kbps

Количество последовательностей: 4

Количество экспертов: 50

Скачать Субъективное Сравнение Современных Видеокодеков (33 страницы в PDF, 1.56 MB)

Задача субъективного тестирования кодеков

Нашей лабораторией на протяжении долгого времени проводились различные тестирования кодеков для видео, изображений и звука. Все они использовали объективные метрики, такие как PSNR или VQM и SSIM, что часто вызывало вопрос о том, насколько адекватны объективные замеры субъективно воспринимаемому качеству - ведь именно субъективное впечатление от качества сжатого видео является самой главной характеристикой кодека.
Задачами нашего тестирования были субъективное сравнение новых версий популярных кодеков, сравнение результатов с данными объективных метрик и отработка технологии субъективного тестирования.

Основные части сравнения:

  1. Субъективное сравнение видеокодеков.
  2. Замер объективных метрик и анализ их результатов.

Субъективное сравнение видеокодеков

Главный показатель качества для кодека - субъективное впечатление людей, просматривающих сжатое этим кодеком видео. В этом и состоит суть субъективного тестирования - оценкой качества сжатой последовательности является среднее мнение группы экспертов о ее качестве (MOS, Mean Opinion Score).
Существует множество методик субъективного сравнения - правил показа видеопоследовательностей и сбора субъективных оценок. В нашем тестировании используется методика SAMVIQ, разработанная EBU (European Broadcasting Union), также ее описание содержится в PDF с тестированием. Следуюший график - усредненное по всем фильмам и битрейтам мнение экспертов, чем выше субъективная оценка, тем лучше. Возможно, результат кодека XviD мог бы улучшиться после включении алгоритма деблокинга во время декодирования (по умолчанию он выключен).

средний MOS
Средние субъективные оценки кодеков

На следующем графике изображен средний MOS для всех последовательностей и битрейтов с 95% доверительным интервалом.

средний MOS
Средний MOS для кодеков и битрейтов

Замер объективных метрик и анализ их результатов

Для всех последовательностей были измерены метрики PSNR, VQM и SSIM. Их измерение проводилось при помощи MSU Video Quality Measurement tool , описание этих метрик можно найти на этой странице. Следует учитывать, что метрика VQM - это реализация алгоритма Feng Xiao, а не метрика, предложенная комитетом VQEG. Следующие графики иллюстрируют соответствие между субъективным мнением и объективной метрикой: чем ближе набор точек к прямой линии, тем более точна метрика (значения PSNR и SSIM были приведены к диапазону субъективных оценок).

PSNR VQM
SSIM
Видно, что на нашем тестовом набре SSIM был гораздо более адекватен субъективному мнению, чем PSNR и VQM

Содержание HTML-версии (English)

  • Introduction
  • Gratitude
  • Comparison abstract
  • Overview
  • Rules and goals
  • Sequences
  • Codecs
  • Results of subjective comparison
  • Analysis of objective and subjective results
  • MOS+PSNR/bitrate graphs
  • MOS+PSNR graphs, grouped by bitrate
  • Evaluation of objective metrics
  • Correlation of objective metrics and subjective scores
  • Conclusions
  • Average MOS for all codecs
  • General conclusions

    • Download

    Связаться с нами можно по адресу: 

    Полный список сравнений видео кодеков

    Сравнения видео кодеков в МГУ:

    Другие материалы

    Материалы по видео

    3D и стереовидео
    Проекты по анализу и обработке 3D/стереовидео

    Метрики качества видео
    Различные реализации объективных и субъективных метрик качества видео.     		Сравнения кодеков
    Объективные и субъективные сравнения качества
    видеокодеков и кодеков изображений.
    Общедоступные видеофильтры
    Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP.     		Коммерческие видеофильтры
    Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры.
    Проекты по видеокодекам
    Проекты по исследованию и разработке видеокодеков.     		Разное
    Другая информация.
    Статьи по темам

    Смотрите также материалы:
    - По цветовым пространствам
    - По JPEG
    - По JPEG-2000