ENGLISH

MSU Stereo To Multiview 3D Video Conversion - создание видео для 3D дисплеев, не требующих очков из стерео-видео

Проект: Дмитрий Ватолин
Реализация, алгоритмы: Сергей Гришин,
Карен Симонян,
Сергей Матюнин


Введение


Технологии 3D дисплеев в настоящее время развиваются все более и более динамично. Автостереоскопические 3D мониторы, не требующие для просмотра специальных очков, уже доступны на рынке, в то время как видеоматериалов для них очень мало. Большая их часть сгенерирована искусственно. Для создания трехмерного эффекта автостереоскопические дисплеи используют несколько ракурсов одной и той же сцены (чаще всего 8-9), поэтому съемка трехмерного материала остается дорогой и технически сложной задачей. Получить стерео видео (2 ракурса) намного проще. Съемка стерео кино обретает все больший размах. Нашей лабораторией был создан метод преобразования стерео видео в многоракурсное, пригодное для просмотра на автостереоскопических 3D дисплеях без очков. С его помощью значительно упрощается задача создания трехмерного контента.

Stereo to multiview conversion

Описание работы


Для создания 3D видео из стерео, необходимо генерировать промежуточные кадры по двум данным.

С помощью разработанного алгоритма были обработаны несколько профессионально снятых стерео фильмов. Мы также исследовали проблемы съемки 3D видео (подробнее о MSU 3D video capture).

Интерполяция промежуточных видов
Интерполяция промежуточных видов

При генерации промежуточных ракурсов не строится карта глубины. Благодаря этому, достигается корректная обработка полупрозрачных объектов. Мы также разрабатываем алгоритм генерации карт смещения и карт глубины, которые можно использовать для преобразования обычного видео в стерео.

Наш алгоритм преобразования стерео видео не итеративный и подходит для потоковой обработки. Возможна реализация алгоритма для работы в реальном времени. Для достижения большей скорости работы мы также разрабатываем GPU версию алгоритма.

Разрабатывается также технология преобразования обычного видео в стерео или многоракурсное. Создан алгоритм, который использует только временную и пространственную информацию одного видео для генерации 3D: MSU Depth Map Generation and Stereo video creation.


Как смотреть 3D изображения


Для просмотра 3D изображения вам потребуется автостереоскопический монитор и специализированный плеер. В зависимости от того, сколько ракурсов поддерживает Ваш монитор, Вам необходимо скачать видео с 5-ю или 9-ю ракурсами. Кроме того, при просмотре имеет значение порядок ракурсов: от левого к правому или от правого к левому. Нужно выбрать тот порядок ракурсов, который поддерживается вашим плеером.

Расположение 5 ракурсов: Расположение 9 ракурсов:
Расположение 5 ракурсов. От левого к правому. Расположение 9 ракурсов. От левого к правому. Расположение 9 ракурсов. От правого к левому.
От левого к правому От левого к правому От правого к левому

Screenshot


Кадр из видеопоследовательности (9 ракурсов)
Кадр для 9 ракурсов

Выходной формат преобразования может быть задан также как набор видеопоследовательностей для каждого ракурса или другим требуемым способом.


Download


Здесь вы можете скачать результаты работы алгоритма.

MSU 3D video

MSU 3D Demo Video 5 Views. From left to right.
Frame 600

MSU 3D Demo Video 5 Views. From right to left.
Frame 600

MSU 3D Demo Video 9 Views. From left to right.
Frame 600

MSU 3D Demo Video 9 Views. From right to left.
Frame 600

Видеопоследовательности закодированы кодеком XVID.

Подробнее о съемке 3D видео: MSU 3D Video Capture

Другое многоракурсное видео

5 ракурсов 9 ракурсов
От левого к правому От левого к правому От правого к левому

Skydiving1 ( 5 Views, left )
Frame 0

Skydiving1 ( 9 Views, left )
Frame 0

Skydiving1 ( 9 Views, right )
Frame 0

Skydiving2 ( 5 Views, left )
Frame 0

Skydiving2 ( 9 Views, left )
Frame 0

Skydiving2 ( 9 Views, right )
Frame 0

Skull_Rock ( 5 Views, left )
Frame 420

Skull_Rock ( 9 Views, left )
Frame 420

Skull_Rock ( 9 Views, right )
Frame 420

Heidelberg ( 5 Views, left )
Frame 100

Heidelberg ( 9 Views, left )
Frame 100

Heidelberg ( 9 Views, right )
Frame 100

Mouldpenny ( 5 Views, left )
Frame 0

Mouldpenny ( 9 Views, left )
Frame 0

Mouldpenny ( 9 Views, right )
Frame 0

Авторы фильмов:
Skydiving - Eric Deren, Dzignlight Studios
Skull Rock - Red Star Studio
Heidelberg, Mouldpenny - Meinolf Amekudzi, Dongleware Verlags GmbH


Контакты


С предложениями и замечаниями обращайтесь по адресу: 

Материалы по видео


Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000