Projects, ideas: Dr. Dmitriy Vatolin

Implementation: Alexander Voronov, Denis Sumin, Marat Arsaev, Vyacheslav Napadovsky, Alexander Bokov, Alexander Belous, Alexey Shalpegin, Vladimir Yanushkovsky, Alexey Fedorov

In cooperation with IITP RAS: Prof. Galina Rozhkova

Почему от 3D болит голова
Часть 2 : Дискомфорт из-за качества видео

Статья опубликована на GeekTimes

Это вторая статья из серии "Почему от 3D болит голова". В первой части речь шла в основном про проблемы кинооборудования. Во второй части речь пойдет про общие проблемы контента. Что такое "вырви глаз"-сцены? Какими они бывают? Почему они попадают даже в блокбастеры? Также очень важный аспект субъективное восприятие. В набравшем наибольшее количество плюсов комментарии к первой статье серии, автор пишет: "Фильм «в триде» чаще всего имеет 2-3 сцены, где это самое «триде» заметно, обычно именно для этого и снятые, а в остальном отличается только мутной темной картинкой через заляпанные очки..." Почему картинка мутная и темная, и когда могут закончиться "темные времена 3D" было подробно рассказано в первой части, а вот почему про одни и те же фильмы одни говорят, что там "слишком трехмерные сцены, аж глаза ломит", а другие "3D эффекта в фильме совершенно не видно" будет рассказано ниже.

---

Часть вторая: Дискомфорт из-за качества видео

Для начала надо понимать, что 3D фильмы делятся на съемку, конвертацию и рендеринг (компьютерная графика, например, 3D мультфильмы). В современных блокбастерах, как правило, встречаются все три типа сцен. Например, в "Аватаре" все сцены на Пандоре — это чистая компьютерная графика, но в нем есть и несколько сцен конвертации. В "Титанике" — практически весь фильм — конвертация, но есть и несколько сцен компьютерной графики и т.д. Часть проблем, порождающих головную боль, могут встречаться во всех трех типах в сцен (например, перепутанные каналы), часть — характерны для какого-то одного типа. Ниже речь пойдет в первую очередь про универсальные проблемы и про проблемы съемки. Позднее, когда вам станет понятно, почему тут не все так просто, и почему до половины блокбастеров конвертируют, мы детально рассмотрим и конвертацию. Ей тоже достанется, не переживайте. А сейчас — съемка: "Внимание... Мотор… Начали!").

Есть такое замечательное мероприятие "Международный московский 3D-стерео кинофестиваль". В декабре 2014 года он проводился уже в пятый раз. Если говорить только о визуальном дискомфорте, то можно сказать, что практически у 100% отсмотревших конкурсную программу фестиваля болит голова. Особенно жалко членов жюри, вынужденных смотреть все. Мне жаловался профессиональный стереограф с 40-летним стажем (ему за 70), что даже у него (!), привыкшего к плохому стерео, после просмотра болела голова. Почему даже на хорошем экране при просмотре стерео может возникнуть головная боль? Об этом будет подробно рассказано дальше.

Справедливости ради стоит отметить, что в программе фестиваля есть и очень качественные фильмы, но на конкурс берут практически всех и, сцены из разряда "вырви глаз" встречаются часто. Опять же, справедливости ради — встречаются очень аккуратные и грамотные фильмы, сделанные любителями, равно как бывают серьезные (и даже массовые) ляпы у части профессионалов. Последние три года ваш покорный слуга руководил оценкой технического качества фильмов конкурсной программы фестиваля, поэтому довелось наблюдать немало разного рода проблем.

Также стоит отметить, что научным коллективом под руководством автора в лаборатории компьютерной графики ВМК МГУ проведен и опубликован анализ 25 западных фильмов, вышедших на Blu-Ray 3D [VQMT3D], и готовится анализ 100 Blu-Ray 3D. Фактически проанализированы ВСЕ фильмы, выходившие на Blu-Ray 3D, у которых указан бюджет на сайте IMDB.com, т.е. все сколь-нибудь серьезные фильмы. К сожалению, в силу западного финансирования работ, все основные публикации по данной работе делаются на английском. Тем актуальнее популярное изложение хотя бы наиболее интересных результатов здесь. Основной вывод — разного рода ошибки встречаются даже в самых высокобюджетных фильмах, вопрос в их количестве и степени дискомфорта, которые они доставляют.

Итак, можно сказать, что с одной стороны шкалы у нас находятся любительские 3D фильмы (например, сделанные школьниками), после просмотра которых головную боль или дискомфорт испытывают практически 100% зрителей. С другой стороны — высокобюджетные фильмы, где процент зрителей с возникающим дискомфортом удается опустить до 1-2%.

Чем же они отличаются и почему все таки от одного 3D фильма голова болит, а от другого нет?

Основная причина возникновения головной боли — это изображение, которое в реальной жизни либо невозможно, либо встречается крайне редко. В кино, как мы знаем, возможно все :) В том числе вещи совершенно невозможные с точки зрения бинокулярного зрения человека.

Кратко рассмотрим основные причины дискомфотра:

• Перепутанные каналы В результате ошибок монтажа иногда возникает ситуация, когда в отдельных сценах правый ракурс меняется с левым. Пожалуй это самая жесткая в плане порождаемого дискомфорта проблема. Первопричина проблемы в том, что наш мозг настолько адаптивен, что способен "видеть 3D" даже если на правый глаз подать картинку от левого и наоборот (см, например, это видео). И только через некоторое время (особенно при обучении) можно сообразить: "Слушайте, а тут каналы не перепутаны?". Но если сцена короткая, этой ошибки могут не заметить (и не замечают) на практике. Совершенно невозможные в реальности сцены, даже показанные быстро, приводят к тому, что чувствительные люди с большей вероятностью ощущают головную боль после просмотра. Причем, как показали эксперименты, головная боль от подобных ошибок может появляться спустя 20 минут после отрицательного стимула, что существенно затрудняет диагностику проблем. Плохая новость заключается в том, что как минимум одна такая сцена встречается в 20% фильмов, показываемых сегодня в кинотеатрах (подробно про это будет в нашем 9-м отчете по качеству 3D фильмов, где из 105 проанализированных фильмов 22 содержат такие сцены).

  ---

• Излишний положительный параллакс Трехмерное изображение мы видим за счет того, что сопряженные парные пиксели с изображением объектов смещены по горизонтали. Когда изображение для правого глаза сдвигается вправо, а для левого, влево — это называется положительный параллакс (от греческого parallaxis — отклонение) и объект при этом выглядит удаляющимся за экран. Суммарный сдвиг измеряют в процентах от ширины экрана. При ширине экрана 6,5 метров параллакс в 1% означает сдвиг на 6,5 сантиметров, что примерно соответствует расстоянию между глазами и видимому удалению объекта в бесконечность. Проблема заключается в том, что в реальных фильмах встречается положительный параллакс и в 2%, и в 3%, и даже в 10%, т.е. объект находится "дальше бесконечности" ))), а наши глаза смотрят в разные стороны. Стоит отметить, что у некоторых людей фузионные резервы (способность развести глаза в разные стороны) позволяют спокойно разводить глаза и на больший угол, но эти особенности индивидуальны и большой положительный параллакс зачастую вызывает ощутимый дискомфорт.
  
  Почему такие сцены попадают в фильмы? Тут несколько причин. Во-первых, как, наверное, уже догадался внимательный читатель — визуальное восприятие стерео существенно зависит от размера экрана. И в больших залах с огромными экранами, и в малых залах многозальных мультиплексов (и на домашних экранах ноутбуков, если уж на то пошло) показывается одна и та же копия фильма. Как показали исследования, авторы разных фильмов ориентируются на экраны разного размера и какие-то фильмы "более трехмерны", а какие-то — "менее трехмерные" (позднее про это будет подробнее). "Более трехмерные" фильмы с больше вероятностью содержат сцены, на которых глаза будут расходиться в разные стороны и на больших экранах они с большей вероятностью причинят дискомфорт по этой причине. Но с другой стороны на экранах малого размера они будут выглядеть более зрелищно. Какие значения параллакса выбрать для каждого фильма решается отдельно, в немалой степени на решение влияет, например, где будет проходить основной прокат, часто ли там подают в суд, если водитель попадает в ДТП после просмотра фильма, и прочие моменты, не имеющие прямого отношения к техническому качеству фильма (это была не шутка).
  
  И сразу кратко отвечу на возможные вопросы:
  
  
  • Можно ли снимать/производить фильмы с несколькими значениями параллаксов для экранов разного размера?
    Ответ: да, можно. Но это действительно дороже. Дешевле всего это можно сделать для трехмерной анимации (где нужно "всего лишь" сделать рендеринг сцен с нескольких пар виртуальных камер), но даже там пока производят лишь одну версию.
  • Можно ли изменить параллакс при показе?
    Ответ: да, но сделать это качественно сегодня сложно. По большому счету задача качественного изменения (а особенно — увеличения) параллакса очень близка к задаче конвертации из 2D в 3D. Особая проблема — любые полупрозрачные объекты, motion blur, дым, волосы главных героев. То есть, с одной стороны, сегодня существуют плееры, которые "типа умеют" изменять параллакс прямо при проигрывании стерео, но, с другой стороны, пользоваться этой опцией — все равно что смотреть телевизор в режиме автоконвертации из 2D. Развлечение для тех, кому не дорог свой мозг.

  ---

• Излишний отрицательный параллакс Когда в изображении для левого глаза объект сдвигают вправо, а для правого — влево, объект приближается к зрителю. Отрицательный параллакс в -1% при ширине экрана в 6.5 метров означает визуальный "вылет" объекта перед экраном на половину расстояния от зрителя до экрана (если зритель находится в 10 метрах, то на 5 метров). Например, в "Аватаре" средний диапазон параллаксов примерно от -0.5% до 1% (в описанных условиях: "вылет" от 3.3 метров перед экраном до бесконечности). А других фильмах встречаются вылеты до 12%, особенно часто подобные эффекты используют молодые авторы. Страдают все, хотя детям, например, нравится.
  
  Правда страдают люди только на больших экранах. Если смотреть на ноутбуке, то легко посчитать, что даже огромный вылет на нем превратится в очень небольшой. Ровно этим объясняется большое количество отзывов "а-а-а-а, все плоское!" под раздачами торрентов с 3D фильмами. Понятно, что на специализированных сайтах типа torrents3d.ru все эти моменты давно уже описаны в FAQ и всем понятны, что это совершенно не мешает огромному количеству молодых людей скачивать 3D релизы, смотреть их на 3D ноутбуках с активными очками и крошечными экранами и быть абсолютно уверенными, что это какой-то "неправильный релиз", в котором никакого 3D, а лишь одна головная боль. :) Подробнее про это будет в специальной статье про параллакс.
  
  В профессиональной среде, кстати, бытует термин "китайский параллакс". В Китае в принципе распространены небольшие экраны, плюс сейчас бум автостереоскопических планшетов и 3D телевизоров - порядка 75% телевизоров там продаются с изначальной поддержкой 3D. Поэтому там принято снимать (и конвертировать) с совершенно бешенными по европейским и американским меркам параллаксами. В результате даже на маленьких экранах китайские фильмы выглядят весьма трехмерными. В этом смысле молодым людям, которым не хватает трехмерности картинки на малых экранах, можно порекомендовать либо посмотреть контент, специально сделанный для малых экранов (например, на torrents3d.ru популярны деморолики корейских телевизоров), либо смотреть китайские фильмы. Там, правда, очень много других проблем, но с объемом на маленьких экранах все хорошо. Иногда даже слишком.

  ---

• Поворот одного ракурса относительно другого В жизни у нас глаза "отъюстированы" великолепно. При съемках стерео все не так замечательно. Как ни странно, но даже на профессиональном оборудовании регулярно возникают ситуации, когда камеры наклоняются друг относительно друга. Поворот даже на 1 градус — если сцена не размыта — весьма заметен и доставляет ощутимый дискомфорт. А бывает поворот на… вы поняли идею.

  ---

• Неодинаковый масштаб ракурсов Если вы присмотритесь к стереовидео, то увидите, что камера "наезжает" на объекты в сценах намного реже, чем в 2D фильмах (особенно в низкобюджетных). Связано это с тем, что абсолютно одинаково и синхронно механически сдвинуть объективы намного сложнее, чем кажется. Безусловно это делают, но в итоге регулярно выходят фильмы со сценами с неодинаковым масштабом ракурсов. Мы показываем профессионалам такие сцены из реальных фильмов сотнями. Очевидно, что сильная разница в масштабе таки уходит в брак и не доходит до конечного зрителя. В реальных фильмах разница относительно невелика, но даже она формирует "невозможную картинку", которая "выносит мозг" (особенно людям, которые к этой конкретной проблеме более чувствительны).

  ---

• Сдвиг и перспективные искажения Снимают часто в жестких условиях: вокруг могут быть взрывы, площадка с камерой может летать над сценой, ехать на машине и т.д. Камеру могут просто ударить и что-то сместится. Кроме того, некоторые объективы изначально дают искажения, приводящие к вертикальным сдвигам. Хотя технически отловить такую проблему возможно, оборудование, которое реально делает это, сегодня стоит все еще очень дорого. В итоге в низкобюджетные фильмы иногда попадают сцены, где одна камера смотрит прямо, а вторая, например, немного вниз и вправо. Условно, как у людей с врожденным косоглазием. Если ваш мозг не привык корректировать подобную ситуацию, то вы можете испытывать дискомфорт.

  ---

• Сдвиг по времени Как рассказывали участники, при съемках фильма "Сталинград" были ситуации, когда метки времени мета-данных кадров (metadata timestamps) ракурсов различались между собой на 3-4 кадра (!). Как такое может быть в 21 веке — не очень понятно, но такова суровая действительность. Также документалисты жаловались, что у них бывает, что аккумулятор одной камеры садится быстрее, чем у другой (даже если их купили одновременно). При этом камеры к концу дубля начинают расходиться по времени (!). Возникает довольно сложная ситуация, когда время одного ракурса плавно изменяется относительно другого прямо в течение одной сцены. Причина тоже не очень ясна (мои часы, например, идут точно, даже когда батарейка садится ;), но опять-таки — такова суровая действительность. При горизонтальном движении сдвиг во времени приводит к тому, что объект сдвигается дальше или ближе от зрителя (в зависимости от направления движения вправо или влево), а при вертикальном движении мы видим совершенно невозможную картину. В каком-то смысле, "коварство" сдвига во времени заключается в том, что в сценах с медленным движением, "поймать" сдвиг во времени довольно сложно, однако ощущение дискомфорта от них может оставаться ("чувствую, что что-то не то, но не могу понять, что именно").

  ---

• Разница в цвете между ракурсами Помимо перечисленного выше, суровая реальность заключается еще и в том, что, например, не бывает абсолютно одинаковых светофильтров. Более того, при работе камер матрицы неравномерно нагреваются, а при нагреве "расходятся" по цвету (например, угол одного ракурса может "пожелтеть"). Совершенно чудную историю рассказал стереографер "Пиратов Карибского моря". Они снимали сцены на море 60 дней и за это время сменили 30 комплектов (!) светофильтров. Оказалось, что морской соленый воздух как-то не так взаимодействовал с просветленной пленкой дорогих светофильтров, и они неравномерно меняли цвет. Для 2D это было бы не критично и не заметно, а для стерео местами становилось фатально. В реальной жизни такое бывает (когда мы смотрим сквозь разноцветное стекло, например), но ситуация не является типичной и утомляет.

  ---

• Разница по резкости между ракурсами Аналогично, из-за несовершенства реальных объективов и активного манипулирования глубиной резкости (что категорически не рекомендуется для стерео, но регулярно можно встретить в стереофильмах) бывает, что расходится резкость объектов. В худшем случае (при небольшом бюджете) — объектов переднего плана. В высокобюджетных фильмах можно найти сцены, где разошлась резкость на фоне. Иногда прямо видно, как на правом ракурсе чуть резче объекты переднего плана и чуть более размыт фон, а на левом — наоборот. В принципе, наш мозг приспособлен успешно решать задачу корректной обработки таких изображений. Если просидеть за компьютером 12 часов, то у вас скорее всего зрение чуть "сядет", причем глаза "сядут" неодинаково. Однако, в реальной жизни такое происходит "на весь вечер" и одинаково, а здесь — на одну короткую сцену, причем в одной сцене может быть дисбаланс в одну сторону, а в следующей — в другую, чего в реальной жизни не бывает. Судя по опыту профессиональных стереограферов можно натренировать свою зрительную систему на обработку некачественного стерео без головной боли, но если вы не так часто смотрите плохое 3D, у вас может появляться головная боль.

  ---

• Stereo window violation
  Изображения из статьи [1]
  
  
  Когда у нас объект находится перед экраном по бокам кадра, у нас возникает странная ситуация, когда один глаз видит продолжение объекта, а второй глаз видит в этом месте границу экрана (в худшем случае — рамку экрана телевизора). Общепринятый прием в этом случае — так называемое плавающее окно (Floating Window), когда с края экрана появляется вертикальная черная полоса и при просмотре в черном зале визуально экран как бы смещается на зрителя от плоскости экрана. Эффект действительно уменьшает визуальный дискомфорт, т.к. уменьшает binocular rivalry — визуально "неправильное" изображение. Естественно, в любительских фильмах этот прием практически не применяется. К слову, при прочих равных это означает, что если у вас "традиционная" черная рамка экрана телевизора — вам будет комфортнее смотреть дома, чем если у вас более модная белая или, например, розовая рамка экрана.

  ---

Прочитав этот (кстати, неполный) список впору воскликнуть: "Боже, как им удается свести процент людей с головной болью к 2%?" Да, это непросто. Например (в дополнение к списку!), крайне желательно, чтобы фон, и что важнее объекты переднего плана минимально размывались, если для 2D это обычный прием, позволяющий управлять вниманием зрителей, то если его применять столь же активно в 3D, это заметно увеличивает дискомфорт. Аналогично - нежелательно, чтобы в рамках одной сцены изменялась резкость, крайне нежелательно при монтаже использовать короткие сцены, нежелательны скачки по глубине, когда одна сцена сменяет другую, особенно если это короткие сцены. И, повторюсь, это все еще далеко не полный список. Любой профессионал набросает еще целую пачку важных моментов о том, как вообще должны появляться объекты в кадре, как должны выглядеть объекты, если вы ходите сделать "большой вылет" и т.д. "Выравнивание" глубины — как правило, весьма нетривиальное занятие (если помнить, например, что объект может уйти назад на "три бесконечности") и для того, чтобы не пришлось делать лишней работы на этапе пост-продакшн крайне желательно еще на этапе раскадровки сцен правильно рассчитать глубины основных объектов и правильно все снять. Это непросто, но это возможно и это делается. В последнее время стало нормой приглашать стереографера еще на этапе написания сценария, что естественно поднимает качество. К сожалению, многие процессы распространения "хороших практик" идут, предсказуемо, крайне медленно, а людей, совмещающих в себе режиссера, сценариста и специалиста в стерео, как Джеймс Камерон — очень немного.

Если мы говорим про проблемный контент, то отдельный огромный пласт, оставшийся за кадром - это системные проблемы устройств генерации контента. Например, в стереокамерах одной очень известной и славящейся своим качеством японской компании, производители сделали очень хорошую стабилизацию — компенсацию дрожания рук (deshaking), более того — согласовали его в правом и левом ракурсе по вертикали! (Вау!) Но не согласовали по горизонтали. (У-у-у-у….) В итоге, например, при панорамировании возникают колебания примерно два раза в секунду, когда кадры по горизонтали то съезжаются, то разъезжаются. Это эквивалентно тому, что сцена перед вами то приближается, то удаляется два раза в секунду (эффект великолепно виден без очков). Нужно обладать очень хорошим вестибулярным аппаратом, чтобы такое видео при долгом просмотре не "укачало". При этом в коротких сценах больших проблем нет, благодаря чему маркетологи даже рекламируют эту стереокамеру специально для съемки с рук (!). Т.е. наблюдается удивительная картина — режим в котором камера снимает 3D видео, "укачивающее" и способствующее появлению головной боли, специально выбирается маркетологами для рекламы этой камеры (!!!). Большого тестирования не проводилось, но это верно как минимум для двух разных стереокамер этого производителя. А вы спрашиваете, откуда берется плохой видеоконтент. И таких примеров, к сожалению, много. Один режим автоматической "конвертации" в 3D, встроенный сегодня фактически во все телевизоры, в плане прививания стойкого отвращения к 3D чего стоит… А ведь это самый массовый на сегодня продаваемый "источник" 3D! И люди ведутся на рекламу и даже пытаются это смотреть!

И тем не менее ситуация постепенно изменяется. Даже за последние 4 года, прошедшие после "Аватара", среднее техническое качество фильмов заметно подросло. Это не голословное утверждение, это результат конкретных замеров, нанесенных на ось времени. Наиболее интересно наблюдать ситуацию в фильмах с небольшим бюджетом, поскольку львиная доля успеха — "правильная" последовательность действий и люди, которые умеют ей следовать. В итоге, кто-то говорит "дайте нам бюджет, как у Камерона, мы вам дадим такое же качество", а кто-то уже сегодня с бюджетом в 20-30 раз меньше реально такого уровня достигает. Причем опять-таки из-за конкуренции "хорошие практики" всячески берегутся в секрете и публично рассказываются менее эффективные пути даже при "выдаче секретов" . Впрочем, об этом позднее.

Кратко резюмирую. К дискомфорту от 3D в контенте приводят:

1. Перепутанные каналы
2. Излишний положительный параллакс (когда глаза расходятся в стороны)
3. Излишний отрицательный параллакс (когда глаза сходятся слишком близко)
4. Поворот одного ракурса относительно другого
5. Неодинаковый масштаб ракурсов
6. Вертикальный сдвиг и перспективные искажения
7. Сдвиг ракурсов во времени
8. Разница по цвету между ракурсами
9. Разница по резкости между ракурсами
10. Stereo window violation

и это далеко не полный список. Кроме этого надо еще и просто грамотно снимать (отдельная большая тема). Характерной особенностью всех перечисленных выше проблем является то, что их можно поправить. Ошибки бывают у всех, только одни их находят и исправляют, а другие нет.

Что же в итоге? Чем мы можем помочь?

Возможно, я идеализирую ситуацию и людей, но чем больше распространяется информация о причинах дискомфорта, тем больше шансов, что на эти причины будут обращать внимание и они будут исправляться.

Продолжение с детальным анализом отдельных проблем следует! Stay tuned!

Благодарности

Хотелось бы поблагодарить:

• Всех, кто много лет проводил эти исследования в видеогруппе Лаборатории Компьютерной Графики ВМК МГУ и тем, кто сделал это возможным.
• Исследователей автостереоскопии и качества стерео с факультета анализа сигналов Технического Университета Тампере (Финляндия), общение с которыми много лет назад было серьезным толчком к изучению данной темы.
• Вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина, стереограферов Бенджамина Хендрикса и Росса Копленда за веру в наши силы и воодушевляющую поддержку,
• Вячеслава Нападовского, Артема Казакова, Максима Смирнова, Станислава Долганова, Александра Воронова, Владимира Афанасьева, а особенно Алексея Федорова за большое количество правок и замечаний к тексту.
• Доктора биологических наук, профессора Галину Ивановну Рожкову и ее группу в ИППИ РАН за ценные консультации по вопросам бинокулярного зрения, а также единственного российского партнера данного проекта.
• и наконец, всех организаторов Международного московского стереофестиваля и лично Олега Николаевича Раева, за то, что они делают для роста качества стереофильмов в России.

Ссылки

1. M. Halle, "Autostereoscopic displays and computer graphics," ACM SIGGRAPH Computer Graphics, 31(2), 1997, pp. 58-62.

Все статьи на GeekTimes

• Почему от 3D болит голова / Часть 1 : Недостатки оборудования (GT)
• Почему от 3D болит голова / Часть 2 : Дискомфорт из-за качества видео (GT)
• Почему от 3D болит голова / Часть 3 : Перепутанные ракурсы (GT)
• Почему от 3D болит голова / Часть 4 : Параллакс (GT)
• Почему от 3D болит голова / Часть 5 : Геометрические искажения в стерео (GT)
• Почему от 3D болит голова / Часть 6 : Искажения цвета (GT)