Projects, ideas: Dr. Dmitriy Vatolin

Implementation: Alexander Voronov, Denis Sumin, Marat Arsaev, Vyacheslav Napadovsky, Alexander Bokov, Alexander Belous, Alexey Shalpegin, Vladimir Yanushkovsky, Alexey Fedorov

In cooperation with IITP RAS: Prof. Galina Rozhkova

Почему от 3D болит голова
Часть 6 : Искажения цвета

Статья опубликована на GeekTimes

Ранее мы говорили про проблемы 3D оборудования, проблемы контента, перепутанные ракурсы, слишком большой и слишком маленький параллакс и геометрические искажения. Сегодня речь пойдет про технические проблемы с цветом. Почему картинки в левом и правом ракурсах различаются? Какие у этого технические или, точнее, физические причины? Как выглядели искажения по цвету в 50-х? Как выглядят сейчас? Каковы тенденции? Как это можно исправить? И, конечно, к чему это приводит. Будут показаны разные по цвету кадры из фильмов, в том числе достаточно эпичные примеры.

---

Откуда берется разница по цвету

В прошлый раз было подробно рассказано, почему при съемках сцен крупным планом крайне удобны стереориги с бим-сплиттером, то есть полупрозрачным зеркалом. Только они обеспечивают произвольное (а современные — и динамически изменяемое) расстояние между оптическими осями камер:



Однако, как известно, отраженный свет поляризован. С этим явлением хорошо знакомы фотографы, и обладатели “очков водителя”, которые продаются на каждой заправке, в них заметно снижается яркость от бликов луж на дорогах, от фар и т.д. Закон, выражающий степень поляризации в зависимости от характеристик среды и угла падения, называется законом Брюстера, и его последствия для стерео крайне ощутимы:


^{Источник: https://en.wikipedia.org/wiki/Brewster%27s_angle}

Насколько сильно изменяет поляризованный свет окружающую действительность, можно оценить с помощью обычного фотоаппарата, например, на следующих примерах:


Поверхность озера, снятая без поляризующего светофильтра и с ним. Видно, что дно, практически неразличимое на первом фото, стало великолепно видно
^{Источник: https://ru.wikipedia.org/wiki/Закон_Брюстера}


Возникает впечатление, будто открыли окно, однако это просто убран блик, с помощью правильно развернутого поляризационного светофильтра
^{Источник: https://en.wikipedia.org/wiki/Brewster%27s_angle}

Наиболее актуален для нас первый пример, поскольку зеркало бим-сплиттера наклонено в горизонтальной плоскости и, как следствие, все блики от горизонтальных поверхностей будут кардинально по-разному видны в правом и левом глазу.

Поляризация света — то, о чем постоянно нужно помнить при съемке. Понятно, что эффект как минимум кардинально ослабляется, если на объектив накрутить хорошо подобранные поляризационные светофильтры. Однако, как водится, суровая реальность преподносит разные сюрпризы. Например, автор как-то показывал найденные нами расхождения по цвету в фильме “Пираты Карибского моря: На странных берегах” стереограферу этого фильма. А расхождения были иногда весьма заметными, причем многие пришлись на “морские” сцены. Так тот рассказал, что они снимали на побережье 60 дней. И за это время они сменили 30 комплектов (!) светофильтров. То есть пока они снимали с этими же светофильтрами в павильоне — все было великолепно, а на берегу просветленная пленка на фильтре видимо как-то реагировала с соленым морским воздухом, и фильтры заметно “разъезжались по цвету”, причем происходило это не равномерно, а пятнами. В общем, когда они заметили, пришлось срочно заказывать ящик светофильтров и менять их через день-два. И, все равно, какое-то количество неидеальных кадров, которые нельзя было так просто поправить, ушло в фильм. Ниже приведен хороший пример, когда в трейлере, в который ушли фрагменты прямо с середины post-production еще были расхождения, а в релизе их изрядно уменьшили (правда “потеряли” облака). В любом случае — стерео стало заметно лучше:


Цветовые расхождения в трейлере фильма “Пираты карибского моря: На странных берегах”


К релизу фильма успели поправить, но небольшие расхождения все равно остались (например, на лице)

Вообще, примеры, когда в трейлер попадают плохо поправленные куски возникают довольно часто. Например, в третьей части данного цикла можно было привести пример перепутанных ракурсов в фильме “Смурфики”, когда проблема в трейлере была, но в той же сцене в самом фильме ее уже исправили. Происходит так, не только потому, что трейлеры выкатываются в разгар post-production, но и в силу большой спешки с их выпуском. Роб Энгл, супервизор 3D эффектов “Смурфиков”, сидя в уютной кафешке в Северном Голливуде, рассказывал автору, что ему вообще не успели показать финальный трейлер. Когда он утром пришел на работу, оказалось, что трейлер ночью уже ушел в кинотеатры. Интересно, что у низкобюджетных фильмов бывает и обратная ситуация — когда продюсер тратит деньги на исправление трейлера (заказав его у студии, которая вылизывает корректирует стерео профессионально и быстро), но на коррекции всего фильма экономит. И такое бывает, увы, не так редко. Впрочем это отдельная история.

При любительской съемке стерео также возникает много проблем, поскольку ко всему перечисленному выше добавляются также проблемы “слишком умной” начинки любительских камер (например, автоподстройку баланса белого и т.п.), которую не всегда можно отключить. Вообще выясняется, что сегодня найти видеокамеры, у которых можно, например, выдержку выставить вручную — не так просто. И если об этом не думать еще на этапе выбора камеры — потом возникает много головной боли (либо у автора, либо у зрителей). Также начинающие операторы с удивлением обнаруживают, что даже при одинаковых настройках и отключенных автоматах кадры все равно отличаются по цвету. Про это также можно отдельный текст написать. Нам же интересно, к чему все эти проблемы приводят в фильмах и, главное, можно ли их исправить.

Выводы:

• Массовые съемки на бим-сплиттер стереориги приводят к тому, что заметно отличаются цвета бликов, различаются светофильтры, заведомо по-разному нагреваются и из-за нагрева расходятся по цвету матрицы камер. При любительской съемке с side-by-side стереоригами добавляются пачка проблем с тем, что у камер различаются баланс белого (или невозможно отключить его автонастройку), различаются по цвету кадры, сделанные на одинаковых настройках и т.д.
  
• На съемочной площадке большой проблемой являются блики, поскольку для них совершенно нормально, что они разные в правом и левом глазу, но сохранить “естественную” разницу бликов при съемке на бим-сплитер и последующем исправлении технически довольно сложно.
  
• Нередко можно наблюдать ситуации, когда цвета в одних и тех же фрагментах сведены в фильме, но расходятся в трейлерах, и наоборот (второй вариант гораздо хуже для зрителей, естественно).
  

---

Блики в стерео

Цветовые расхождения удобно визуализировать и анализировать в двух видах. Во-первых, это так называемая “шахматка”, когда в шахматном порядке идут попеременно фрагменты правого и левого ракурса. В этом случае легко оценить, где разница по цвету наиболее заметна. Для упрощения анализа при этом один из ракурсов приводится к другому по карте диспаритета. При этом надо понимать, что в местах областей открытия, площадь которых обычно довольно мала, у нас возможны несоответствия, но при этом уходит большое количество несоотстветствий из-за сдвига параллакса, что кардинально облегчает анализ. Второй вариант — это просто анимация двух ракурсов. Вы можете легко сами попробовать переключать ракурсы, например, если откроете файл в Stereoscopic player с показом на 2 монитора и будете менять ракурсы местами, или откроете с помощью AviSynth с интерливом ракурсов, или откроете в Nuke, с переключением источников ноды визуализации, и т.д. Местами ниже мы также будем использовать анимацию, чтобы лучше показать, как это выглядит условно “в реальности”, но в основном все-таки будем оперировать более удобными для анализа “шахматками” с компенсацией диспаритета.

Итак! Для сравнения приведена и анимация, и “шахматка” на одном примере:

Азиатский “The Child’s Eye”, где, похоже, была попытка выровнять цвет, но выравнивалось все по кадру целиком, в итоге разошлись не только все блики, но и, например, рука. В анимации легче понять впечатления, но часто другие искажения, например, геометрические, как разница масштабов и сдвиг в этом примере, мешают адекватно оценить искажения по цвету


И тот же кадр на шахматке, можете сравнить, с анимацией, чтобы было понятно, какие фрагменты “шахматки”, как выглядят на стерео.

При сравнении становится видно, что, например, расхождение по цвету красной тряпки под рукой на анимации — это оптическая иллюзия, возникающая из-за того, что заметно меняется яркость вокруг. С другой стороны — надо четко отдавать себе отчет, что текстуры, напротив, маскируют разницу по цвету на “шахматке”, что хорошо видно над рукой. Визуально воспринимаемая разница по цвету на “шахматке” — сглаживается, и нужно исходить из того, что если разница хорошо видна на шахматке, она, как правило, будет весьма заметна на стерео. И, конечно, обратите внимание на разную контрастность бликов на стене.

Мы уже привыкли, что если где-то в фильме снимается огонь, то эти сцены с большой вероятностью будут обнаружены метрикой разницы по цвету.


Пример, когда неодинаковое попадание огня в правый и левый ракурсы заметно искажает цвета, значение метрики за 260. Заметим, что в данном случае искажение будет восприниматься относительно естественно. Т.е. количество тех, кто будет испытывать дискомфорт будет невелико


Сильный блик на весь кадра в фильме “Легенда о Геркулесе”, значение метрики за 800. Из-за того, что и так получается длинно мы убрали описание метрики, но смысл ее прост — она тем больше, чем больше разница. Мы приводим кадры с большими выбросами метрики, а при желании ниже вы можете сравнить эти выбросы со средними значениями по фильму, Для большей части блокбастеров среднее значение не превышает 5 единиц(!)


Серьезный блик, значение метрики за 200, в фильме ужасов “The Hole”. Кому интересно понять, откуда берется метрика, ниже будут примеры скомпенсированной межкадровой разницы по цвету. Разнице с ровным серым на этих картинках и пропорционально значение метрики


Жестокий блик из-за бим-сплиттера в фильме “Обитель зла 4: Жизнь после смерти”, для наглядности причин бликов и как это выглядит — показана анимация правого и левого ракурса

Еще раз основное: блики — это нормальная и естественная разница по цвету в правом и левом глазу. Бриллианты ровно потому и ценятся, что дают сильные блики, которые очень красивы. Однако в мире блики вызваны разным отражением, а в стерео при съемках на бим-сплиттер — поляризацией. В итоге они выглядят не так, как мы привыкли, и воспринимаются как крайне странные и неестественные, что вызывает дискомфорт.

---

Разница по цвету из-за сдвига во времени

Как ни странно, несмотря на то, что наши корабли бороздят просторы вселенной ядра суперкомпьютеров синхронизуются на миллионные доли секунды, стереокамеры при съемке до сих пор расходятся во времени на сотые, а в худшем случае и на десятые доли секунды (по нашим замерам — разница доходит до двух кадров, но чаще всего разница примерно в 0,2 кадра). Подробнее про эту проблему будет отдельный текст, а пока констатируем, что даже при небольшой разнице любое достаточно быстрое изменение цвета в кадре порождает проблемы. А это любые взрывы, выстрелы крупным планом, вспышки при фотосъемке и так далее. При этом сложно себе представить боевик без взрывов и выстрелов.

Посмотрим, к чему это приводит на примерах:


Пример из фильма “Bait” с заметным расхождением по цвету при вспышке (по сюжету — электрика, но реально взрыв пиротехники), значение метрики 287.


Серьезное расхождение на вспышке камеры фотографа в фильме “Dial M for Murder” 1954 года выпуска, значение метрики 422.

Надо сказать, что для того времени фильм сделан очень неплохо, но не очень понятно, из каких соображений при перевыпуске фильма на Blu-ray продюсеры не побеспокоились о том, чтобы прогнать старые фильмы через современные программы.

И для полноты картины — пример с компьютерной графикой:


Фильм “Морские динозавры: Путешествие в доисторический мир” 2010 года, значение метрики невелико, но интересна причина проблемы


Если посмотреть еще и стерео, то становится понятно, что это сдвиг во времени, то есть, похоже, промахнулись на кадр из-за ошибки монтажа. У кого-то дрогнула рука на мышке, а из-за отсутствия инструментального контроля сцена ушла в релиз фильма

---

Неоднородность искажения цвета в кадре

Когда люди, даже с техническим образованием, впервые узнают о проблеме цветовых искажений стерео, в первую очередь все почему-то думают, что весь кадр изменяется по цвету одинаково. И достаточно найти тот самый замечательный закон, по которому изменяется цвет кадра, как все можно будет легко и идеально поправить. В общем-то из приведенных выше примеров с бликами и сдвигом во времени уже должно быть понятно, что все не так просто и искажение отдельных областей может быть очень сильным и очень заметным (такие примеры еще будут). Тем не менее, специально для таких товарищей приведем несколько примеров разницы по цвету для всего кадра, в которых закон изменения цвета меняется в зависимости от координат точки на кадре. Для того, чтобы лучше был виден характер искажений, приведем визуализацию приведенной по карте диспаритета цветовой разницы кадров.



Пример градиента в цветовом искажении из фильма “Step Up 3D” 2010 года. Хорошо видно, что в верхней части кадра разница идет в сине-зеленом, а в нижней части кадра в сине-красном

Одной из причин подобных искажений является разница светофильтров. Как ни странно, подобрать одинаковые светофильтры для съемки стереокамерами — это отдельная непростая задача. И если сейчас она в общем-то решена производителями, то еще недавно, в 2010-2011 годах пары одинаковых по цвету светофильтров подбирали операторы стереоригов по вечерам перед очередной съемкой.

Характерный пример из европейских “Мушкетеров” 2011 года:



Хорошо заметен градиент разницы по цвету: разница в красном в верхней части кадра и зеленая разница внизу

Интересно, что автор разговаривал с человеком, который правил данную конкретную сцену. При показе презентации этот человек воскликнул:
— О! Я знаю этот шот! Мы правили в нем цвет две недели!
На что автор ответил:
— Хотите я покажу, как мы исправляем его за две минуты?
Там забавно, что наша технология за две минуты позволяла исправить лучше, чем они смогли вручную за две недели. У них была жестокая ситуация, когда европейская студия (товарищ был из Мюнхена) подрядилась на post-production стерео, до этого плотно с ним не работая. Причем на тот момент — начало 2011 года — программы для исправления стерео еще только начали появляться. И, увы, большинство таких программ не могли реально что-то исправить, а были созданы стартапами на волне успеха “Аватара” (когда главное — взять инвесторские миллионы и максимально быстро и громко сказать, что ты можешь все). Большинство создавших эти программы компаний на сегодня уже закрылись. В общем, товарищи намаялись с закатом солнца вручную ручным исправлением проблем съемки. И из нашего диалога стало понятно, каким образом сегодня на пару порядков быстрее, дешевле и качественней (одновременно!) можно исправить проблемы стерео. Автоматизация процесса кардинально меняет ситуацию.

И еще для коллекции зелено-красный пример, в котором на анимации хорошо виден характер искажений:




Впрочем, это были довольно простые примеры, особенно для тех, кто умеет строить аккуратные карты диспаритета и грамотно обрабатывать области открытия-закрытия.

Ниже пойдут плохие новости для тех, кто по приведенным разностям уже почти вывел закон глобального изменения цвета кадров. :)

---

Разница по цвету из-за освещения сцены

Отдельная проблема — освещение на съемочной площадке. Свет не должен быть поляризован. И если раньше активно использовали экраны и прочее отражение, то сейчас оказывается, что использовать отражение можно, но нужно постоянно думать о том, чтобы оно было направлено только перпендикулярно зеркалу стереорига. Особенно, для крупных планов.


Пример разницы освещения из фильма “Врата в 3D”, значение метрики под 200

Та же проблема становится намного острее, если в кадр попадают сильные источники и в первую очередь солнце.


Подводная съемка в фильме “Цирк дю солей — Путешествие человека”, из-за блика солнца — довольно значительные расхождения по цвету всего кадра

И, наконец, посмотрите на совершено фантастический пример, когда на съемочной площадке при съемке крупного плана на бим-сплиттер не уследили за поляризованным источником света:


Сильный пример из фильма “Step Up 3D”, значение метрики за 750, это сцена крайне дискомфортна для восприятия в стерео потому, что регион с огромной разницей находится там, куда будут смотреть зрители

---

Другие примеры разницы по цвету

Для полноты картины приведем побольше разных примеров достаточно дискомфортных сцен из фильмов разных лет:


Еще один пример явно дискомфортной сцены из фильма “Dial M for Murder”, значение метрики 465. Судя по всему это либо исходная проблема, которая была при проявке пленки, либо неравномерное выцветание пленки за прошедшие годы. В любом случае, данный пример настолько прост, что даже самые простые алгоритмы глобального выравнивания контраста могли кардинально улучшить данную сцену


Фильм “Дети шпионов 3D: Игра окончена” 2003 года — также жесткая разница по яркости — значение метрики за 600 и также было бы весьма разумно прогнать относительно старый фильм через коррекцию стерео перед выпуском на Blu-ray


Впрочем даже в 2011 году у следующего фильма серии “Spy Kids” было не все в порядке даже с одинаковой яркостью

Пара примеров из фильма “Дельфины и киты 3D: обитатели океана”:



Фильм был выпущен в 2008, когда программ для быстрого автоматического и полуавтоматического выравнивая цветов между ракурсами не было и, судя по всему, авторы выравнивали вручную только самые-самые сцены



Документальный фильм “Призраки бездны: Титаник” 2003 года, на котором Джеймс Камерон тестировал стереосъемку перед “Аватаром”. Судя по всему, не было серьезных попыток выровнять цвет


И опять “Пиранья”, если кто-то внимательно читал прошлую часть. Дискомфортные темные пятна вокруг. Зрителям будет не только страшно, но и больно


“Челюсти 3D” 2011 года, многие сцены весьма дискомфотны, здесь значение метрики под 250


Забавный пример, когда при наложении спецэффекта в одном из ракурсов забыли добавить тень для встраиваемого объекта (видно по полу)


И еще пример проблем с компьютерной графикой, но в этот раз более простительных авторам — фильм 2000 года, но непростительных продюсерам Blu-ray версии

И, для полноты картины, приведем пример отечественного фильма:


Большая разница по цвету в фильме “Сталинград”. Надо сказать, что в целом в техническом плане фильм весьма аккуратен и это единственная сцена с серьезной разницей

---

Сознательное использование разницы по цвету

Надо сказать, что периодически разницу по цвету сознательно используют для увеличения эффекта погружения:


Пример сознательного использования большой дискомфортной разницы по цвету в фильме “Аватар”. Главный герой приходит в себя после возвращения в свое настоящее тело. Поскольку в остальном фильме сцены с разной яркостью явственно находили и исправляли, то данная сцена однозначно оставлена сознательно, а ее дискомфорт четко выверен

При обсуждении примеров с огромной разницей авторы обычно говорят “It’s artistic choice” (“Это художественный прием”), после чего делается четко выверенная артистическая пауза. Человек ждет, чтобы все осознали — на первый план выходит художник именно так он видит мир. :) Специально для таких профессионалов мы считаем сравнительное распределение сцен по уровню разницы по цвету в фильме. Когда в фильме 3% “красных” сцен с большой разницей по цвету, а 90% “зеленые” — да, это действительно не ошибка (хотя даже в блокбастерах на коротких сценах они бывают), но когда в фильме 15-20% “красных” сцен, и еще 30-40% “оранжевых”… Извините. Человек лукавит. Это однозначное отсутствие полноценной стереокоррекции, как этапа post-production. Не будем называть имена, но с такой реакцией несколько раз приходилось сталкиваться. Соответствующий график будет в следующем разделе.

И еще. Этот момент довольно очевиден, но стоит его напомнить. Усталость от проблем в стерео накапливается. Поэтому если весь фильм был очень аккуратен, и только в паре сцен сознательно оставлены, например, серьезные “естественные” блики — это, в общем-то, не страшно. Скорее всего, подавляющее большинство зрителей воспримет данные сцены нормально. Но, вот, если во всем фильме у нас постоянно в кадре была спонтанная разница по цвету, то сцены с сильной разницей могут порождать значительный моментальный дискомфорт, то есть явиться тем самым спусковым крючком, после которого человека до вечера будет мучить мигрень.

---

Тенденции улучшения ситуации

И, уже традиционно, приведем тренды по разнице по цвету, измеренные на сотне фильмов:



Что можно отметить:

• Во-первых, фильмов лучше, чем “Аватар”, среди снятых сейчас становится действительно много. Т.е. в 2014 “Аватар” был бы даже не в “желтой”, а далеко в “красной” зоне — среди худших фильмов по этому параметру. И это при том, что порядка 40% “Аватара” идет Пандора, т.е. компьютерная графика, которая практически идеальна по цветам (!).
  
• Во-вторых, даже несмотря на все сложности мы видим последовательное улучшение ситуации.
  
• Удивляет разница по цвету в конвертации (и она действительно там бывает). Примеры не приводим, поскольку они обычно весьма незначительны. А так — даже в аккуратнейшем “Титанике” мы нашли 6 сцен с разницей по цвету. Характерно, что почти все они (помнится, 5 из 6) вошли в трейлер, т.е. видимо делались в спешке, с ошибкой, которую потом не поправили.
  

График с бюджетом еще четче расставляет акценты:



Мы видим, что:

• “Аватар” действительно является худшим (!) по этому параметру среди всех высокобюджетных фильмов. Т.е. проблему, которую не умели решать в 2009, сегодня умеют решать весьма эффективно.
  
• Это также видно по количеству низкобюджетных фильмов, которые обладают качеством весьма сравнимым с лучшими коммерческими. Хотя неаккуратные, естественно, также встречаются.
  

Если отсортировать все фильмы по аккуратности по цвету, то видно, что “Аватар” по нынешним временам находится близко к середине, а “Титаник” — ожидаемо — один из лучших.

Выше было приведено среднее значение метрики, но всегда интересно посмотреть, что происходит по фильму. На графике ниже — процент сцен с малыми, средними и большими расхождениями:



Чем больше “зеленая зона”, тем лучше фильм по этому параметру. Хорошо видно, что примерно половина фильмов — весьма аккуратны, а примерно треть — достаточно неаккуратны.

Понятно, что большая часть очень аккуратных по цвету фильмов — это конвертация. И для конвертации грешно ошибаться в цвете (хотя на практике это и встречается), но хватает и съемки, в том числе низкобюджетной. Глобально можно выделить три основных стратегии по обработке цвета в стерео:

• “Давайте все просто аккуратно снимем”. Это может быть низкобюджетный фильм, или даже вполне среднебюджетный с хорошими камерами, но старыми представлениями о том, как снимать стерео. Или со старыми дорогими по себестоимости техпроцессами исправления. На сегодня такой подход даст результат заметно ниже среднего.
  
• “Обязательно поправим самые плохие места”. Такой подход сегодня пока еще довольно массовый. Обычно он выбирается исходя из желания сэкономить на использовании дорогого устаревшего подхода к исправлению проблем, а также из-за несовершенства контроля, когда самописные методы на основе грубых карт диспаритета просто не позволяют измерить небольшие искажения по цвету из-за того, что их забивает разница на областях открытия-закрытия.
  
• “Исправляем весь фильм”. Этот подход используется либо в блокбастерах, когда бюджет позволяет, либо теми, кто так или иначе смог снизить себестоимость исправления цвета фильма. Как хорошо видно на графике, такие решения появляются и очевидно, что их доля будет расти. На графике с бюджетом — это фильмы в левом верхнем углу.
  

---

Примеры исправления разницы по цвету

Уже традиционно рассмотрим исправление описанной проблемы.

Заметим, что обработка делалась по Blu-ray версии фильма, то есть по 8 битам, при том, что авторы работают с 10-12 битными исходниками. При обработке исходников очень часто видны детали, которые пропадают позднее. Хорошим примером такой ситуации могут быть облака на первом примере из “Пиратов” в этом тексте. Эти детали часто дают возможность построить более аккуратную карту диспаритета и т.д. Тем не менее ниже показано, что можно сделать даже в имеющейся ситуации:



Автоматическим алгоритмом исправлены цвета (не полностью, но кардинально), также заодно исправлен поворот ракурса



Автоматически и практически полностью исправлена разная яркость кадров

Заметим, что, как правило, у нас есть выбор, приводить все к правому ракурсу, к левому ракурсу или к среднему варианту (в случае различных компромиссов — это наиболее аккуратный в плане появления новых артефактов вариант). В этих примерах для простоты выбирается как правило левый ракурс.



Исправлены непростые нелинейные цветовые искажения и небольшие геометрические искажения сцены



Весьма сложный для исправления пример — серьезное искажение цветов, сильно отличающиеся по цвету блики, кроме того, похоже, была попытка ручного исправления, которая только усложняет ситуацию. Все исправлено не идеально, но значительно. Также исправлены геометрические искажения.



Относительно сложный пример, поскольку разница по цвету из-за засветки объектива идет по градиенту на большой площади, по которой сложно отрабатывать алгоритма построения карт диспаритета из-за отсутствия текстуры. Также огонь из-за изменения в каждом кадре не дает возможности воспользоваться методами выравнивания карт диспаритета во времени. Кстати именно из-за этого открытый огонь крупным планом часто является проблемным местом в стерео. Тем не менее пример поправлен автоматически и практически идеально.



И, наконец, самый сложный пример. Подводная съемка, сильные пятна, существенная разница по текстурам при большом количестве малых объектов на разной глубине (все это серьезно мешает построению адекватной карты диспаритета). Тем не менее видим очень неплохой результат. Дополнительно исправлены небольшой вертикальный параллакс и разница по масштабу ракурсов

По последнему примеру кто-то может сказать — это были пятна крови на переднем плане, они важны для осознания ужаса ситуации. Отвечаем по пунктам. Во-первых, геометрические искажения стоит все-таки поправить. А, во-вторых, имея исправленный по цвету материал, мы получаем полный контроль над степенью искажений. Например, можно, просто смешивая с разными весами полностью исправленный и исправленный только по геометрии ракурсы, регулировать степень искажения цвета до более приемлемой.

Мы постарались не перегружать данную часть большим количеством технических подробностей, но надеемся, становится понятно, почему не так просто свести ракурсы стереофильмов по цвету.

За кадром осталось еще много забавных примеров. Например, к чему приводят вспышки при съемке на любительские стереокамеры… Как “желтеют” углы ракурсов при нагревании матрицы… Как ошибки со спецэффектами приводят к разнице по цвету буквально на один кадр, что почти не видно, но дискомфортно (этакий 25-й кадр)… Как сложно качественно обработать по цвету области открытия объектов на фоне… Впрочем, и так уже получилось довольно длинно.

Главное, что сегодня уже можно достаточно быстро и относительно дешево исправлять разницу по цвету в ракурсах, а значит, завтра фильмы будут более качественными и можно будет перевыпустить текущие Blu-ray, исправив или кардинально уменьшив в них эти проблемы. А со временем, с увеличением мощности компьютеров и встроенных чипов, а также с появлением более интеллектуальных алгоритмов можно будет исправлять все эти проблемы вообще в реальном времени. Правда, будет это не так скоро, как хотелось бы. Продолжение следует! Stay tuned!

Всем поменьше головной боли вообще и от 3D в частности!

Выводы:

• Благодаря быстрому развитию алгоритмов обработки стерео, “Аватар”, с 40% сцен с компьютерной графикой, является худшим среди блокбастеров по качеству сведения цветов ракурсов. Причина в том, что там исправления делались вручную и только по наиболее заметным сценам.
  
• Современные подходы позволяют практически автоматически обрабатывать все сцены фильма, аккуратно сводя цвета на съемке фактически до уровня конвертации или рендеринга. Однако ручной контроль еще долго будет актуален из-за полупрозрачных объектов и границ объектов.
  
• Новые технологии пока используются крайне небольшим процентом студий, однако можно ожидать постепенного распространения лучших практик.
  

---

Благодарности

Хотелось бы сердечно поблагодарить:

• моих коллег Виталия Людовиченко, Вячеслава Нападовского и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты показаны,
  
• вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
  
• компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
  
• Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
  
• и, наконец, Виталия Людовиченко, Артема Казакова, Анастасию Анциферову, Алексея Федорова, а особенно Александра Воронова за большое количество дельных замечаний и правок.
  

Все статьи на GeekTimes

• Почему от 3D болит голова / Часть 1 : Недостатки оборудования (GT)
• Почему от 3D болит голова / Часть 2 : Дискомфорт из-за качества видео (GT)
• Почему от 3D болит голова / Часть 3 : Перепутанные ракурсы (GT)
• Почему от 3D болит голова / Часть 4 : Параллакс (GT)
• Почему от 3D болит голова / Часть 5 : Геометрические искажения в стерео (GT)
• Почему от 3D болит голова / Часть 6 : Искажения цвета (GT)