ENGLISH VERSION HERE!

Второе сравнение видео кодеков стандарта MPEG4-AVC/H.264

Часто задаваемые вопросы

MSU Graphics & Media Lab (Video Group)

Часто задаваемые вопросы

  • Вопрос: Чем обусловлен выбор именно этих метрик для тестирования?

    Ответ: Мы пользуемся метриками, реализованными в MSU Quality Measurement Tool. Там реализованы наиболее часто используемые метрики формального сравнения кодеков.

    Основной упор мы делаем на метрике PSNR, поскольку она используется в подавляющем большинстве формальных сравнений и результаты нашего сравнения в ней будут понятны всем. Также, хотя это и увеличивает время замеров и подготовки, мы постоянно добавляем новые метрики.

  • Вопрос: Вы как-то заботитесь о том, чтобы в вашем сравнении не было ошибок?

    Ответ: Конечно. Заранее, до начала сравнения, мы собираем список рецензентов сравнения. Рецензент - это человек, который получит данное сравнение за месяц до его официальной публикации еще во время фазы проверки, в обмен на это рецензенты присылают нам списки замечаний и найденных ошибок в сравнении. Это очень сильно помогает уменьшить число ошибок в отчетах и позволяет увеличивает понятность представленного материала.

  • Вопрос: А как вы проверяете формальные замеры?

    Ответ: В несколько этапов:

    • Во-первых, мы выложили программу для измерения качества видео, ее достаточно активно скачивают и пользуются ей и в том числе рапортуют какие-то ошибки (в основном это были ошибки работы с форматами, в В-фреймами в AVI и т.п.). Т.е. надежность программы при такой перекрестной проверке, естественно, возрастает.

    • Во-вторых, мы по окончании замеров предоставляем исходные последовательности и полные результаты замеров авторского кодека и кодека, выбранного базовым для сравнения, всем разработчикам кодеков. Разработчики весьма заинтересованы в том, чтобы их кодек был как можно выше, поэтому могут проверить результаты, особенно в тех замерах, которые их не удовлетворяют.

    Такими мерами мы стараемся увеличить достоверность и наглядность результатов.

  • Вопрос: Вы тестируете в основном кодеры, почему бы вам не назвать это тестирование сравнением кодеров?

    Ответ: Если авторы предоставляют декодер - мы его с удовольствием используем. Т.е. у авторов появляется возможность улучшать результаты также за счет оптимизации декодера, использования постфильтрации и т.п.

    Также мы планируем ввести перекрестное тестирование совместимости на формат.

  • Вопрос: Какую технику вы использовали при тестировании?

    Ответ: Информацию о конфигурации наших компьютеров можно найти на странице сравнения, либо в PDF на 7 странице.

  • Вопрос: Почему вы используете последовательности после деинтерлейсинга?

    Ответ: Эта общая политика. Мы тестируем последовательности как можно ближе к тому виду, в котором их получает сегодня большинство пользователей. А для большинства получить сегодня чистую последовательность в прогрессивной развертке практически невозможно. В основном, пользователи получают реальные последовательности, которые им нужно сжать, с DVD, спутникового ресивера, DV-камеры, причем захватывают их в реальном времени, пользуясь встроенными в популярные средства захвата быстрыми методами деинтерлейсинга. И эти методы деинтерлейсинга, и искажение видео при сжатии несколько портят жизнь кодеку, работающему на подобном материале. Тем больше чести кодекам, которые учитывают эти особенности видео при префильтрации и компенсации движения, и достойно справляются с работой в таких условиях.

  • Вопрос: А не могут ли производители "заточиться" под ваши последовательности?

    Ответ: Теоретически могут. Именно поэтому мы будем каждый год менять 2-3 последовательности на абсолютно новые, не показывая их до окончания замеров разработчикам. Соответственно, тем, кто опасается подобного "затачивания" рекомендуется обращать пристальное внимание именно на эти новые последовательности (мы сами также с большим интересом следим за различием результатов).

  • Вопрос: У вас используется видео акселератор ATI, и кодек ATI занимает первое место по скорости, вам не кажется это некорректным?

    Ответ: Мы используем в точности те же самые компьютеры, что использовались для проведения этого сравнения в прошлом году, когда про кодек от ATI вообще никто не знал.

    Тем не менее нам также было интересно, не использует ли ATI каких-то аппаратных методов. В принципе, это не запрещается правилами тестирования (мы сравниваем кодеки для PC, для широко распространенных машин), но тем не менее мы решили проверить этот факт.

    Мы специально провели дополнительное сравнение на другой машине. Ее характеристики:

    • Процессор: Pentium 4, 3.0 GHz с поддержкой Hyper Threading
    • Операционная система: Windows XP Pro, SP2
    • Память: 1Gb
    • Видеоускоритель: nVidia GeForce 6600 GT
    • Жёсткий диск: SATA 200Gb

    Результаты замеров (последовательность "Foreman"):

    В итоге получается, что в принципе ATI могут использовать акселерацию, однако, они как минимум пользуются достаточно универсальными методами, работающими на разных компьютерах.

  • Вопрос: Мне кажется, вы уделяете недостаточно внимания визуальному сравнению и привели очень мало кадров.

    Ответ: Мы уделяем огромное внимание корректному визуальному сравнению. :)

    • Во-первых, использование избранных кадров дает очень широкий простор для заявлений уровня "мой любимый кодек лучше", поскольку качество кадров достаточно значительно меняется от кадра к кадру. О причинах этого можно почитать во введении в тестирования. Кстати, в частности, поскольку люди продолжают задавать подобные вопросы, мы оставляем в сравнении покадровые метрики, дабы дать представление насколько сильно изменяется качество от кадра к кадру у разных кодеков.

    • Во-вторых, мы выпустили специальную программу MSU Perceptual Video Quality, предназначенную для проведения массовых слепых (когда неизвестно, чем закодирована оцениваемая последовательность) визуальных тестов по разным методикам, от Баттерфляй-теста и заканчивая методиками, рекомендованными в стандарте ITU-T BT.500-11. Это единственная бесплатная программа такого рода.

    • В-третьих, мы собираемся провести серию визуальных сравнений видеокодеков. На днях выходит первое сравнение этой серии.

  • Вопрос: Почему вы не включили в своё сравнение кодек X?

    Ответ: Для всех кодеков сравнения мы используем настройки, предоставленные нам разработчиками данного кодека. Поэтому мы включили в тестирование только те кодеки, с производителями которых смогли связаться.

  • Вопрос: Почему вы вынесли отдельно High Profile?

    Ответ: В этом году, как и в прошлом, мы тестировали Main Profile. Тем более, что, когда мы объявили "Call for codecs", только один кодек по нашим данным поддерживал High Profile в достаточной мере для участия в тестировании. Однако, когда производители начали присылать свежие версии, оказалось, что поддержку High Profile успели реализовать минимум три компании.

    Соответственно, в следующем году мы уберем ограничения на тип используемого профиля, однако потребуем от разработчиков публиковать параметры, и в том числе профиль, при котором они достигают таких результатов.

  • Вопрос: Почему вы сводите результаты всех замеров в одну таблицу так-то, а не так-то?

    Ответ: Нам поступило уже немало предложений об изменении правил сведения результатов в единую таблицу. На самом деле, изначально мы хотели вообще избежать такого сведения, ибо совершенно понятно, что если, например, анализируется, какой кодек лучше на низких битрейтах - то лучшим будет один, если смотрится, кто быстрее на высоких - то другой, если смотреть на последовательности для фильмов - третий, на последовательности для видеоконференций - четвертый. Соответственно, усреднение по некой методике, конечно, покажет, кто лучше, но...

    Тем не менее, мы собираемся в следующем году продолжать дорабатывать правила сравнения, так что обоснованные предложения приветствуются и будут рассмотрены.

  • Вопрос: Почему у вас в сравнении не самые новые версии кодеков?

    Ответ: Дело в том, что проведение сравнения занимает довольно много времени. Чтобы обеспечить равные условия для всех производителей, мы не обновляем версии кодеков во время проведения тестирования (за исключением ситуации обнаружения явных ошибок), поэтому возможна ситуация, что к моменту выхода отчёта некоторые производители уже успевают доработать свои кодеки.

    В дальнейшем мы хотим ускорить проведение тестирования за счёт более плотной работы с производителями кодеков и совершенствования самого процесса тестирования.

  • Вопрос: Почему вы не использовали такой-то тип графиков?

    Ответ: У нас постоянно расширяется набор типов графиков, растёт так же и их количество. Сейчас у нас в тестировании присутствует 7 различных типов графиков. В дальнейшем мы планируем добавить к ним ещё несколько типов, а также заменить некоторые из существующих на более удачные варианты. Работа в этом направлении ведётся уже сейчас.

  • Вопрос: Почему у вас так много времени проходит до публикации результатов тестирования?

    Ответ: Есть несколько факторов, существенно увеличивающих время:

    • Нас часто просят увеличить количество последовательностей, чтобы измерить такие-то и такие-то случаи. Только чистые прогоны замеров уже сейчас занимают больше 11 суток чистого счета. Мы планируем поставить дополнительную технику, однако время человеческой работы на обработку большего числа результатов все равно возрастает. На данный момент это и другие наши тестирования бесплатны, поэтому мы вынуждены ограничевать затраты времени на проведение тестирования.
    • Другая тенденция - увеличение количества метрик. Мы хорошо понимаем несовершенство PSNR и будем добавлять новые метрики, однако стараясь держать их количество в разумных пределах.
    • Также у нас растет количество кодеков. В принципе, нам самим интересно измерить больше участников, однако время на подготовку (в первую очередь из-за согласований с разработчиками) это увеличивает.
    • При обнаружении явной ошибки в кодеке (кодек не работает или работает совершенно неправильно) мы, как правило, рапортуем об этом производителю и, если производитель успевает - он присылает поправленную версию, дающую лучший результат. Мы считаем такой подход правильным, по отношению к производителям, однако для новых версий кодеков приходится повторно проводить все замеры.
    • Также существенное время занимает этап проверки и шлифовки отчета. Мы стараемся обеспечить максимальное качество отчета, и его проверка занимает значительное время.

    То есть, если бы мы уменьшили количество последовательностей, количество метрик, не позволяли бы производителям исправлять ошибки и не проверяли отчета - то результаты можно было бы получить в несколько раз быстрее.

  • Вопрос: Когда будет проходить следующее тестирование?

    Ответ: В сентябре 2006, если мы не надумаем перейти на схему проведения тестирования два раза в год. :)

Связаться с нами можно по адресу: 

Полный список сравнений видео кодеков

Сравнения видео кодеков в МГУ:

Другие материалы

Материалы по видео

3D и стереовидео
Проекты по анализу и обработке 3D/стереовидео

Метрики качества видео
Различные реализации объективных и субъективных метрик качества видео. 		Сравнения кодеков
Объективные и субъективные сравнения качества
видеокодеков и кодеков изображений.
Общедоступные видеофильтры
Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP. 		Коммерческие видеофильтры
Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры.
Проекты по видеокодекам
Проекты по исследованию и разработке видеокодеков. 		Разное
Другая информация.
Статьи по темам

Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000