Не пугайтесь, если в вашу комнату шагнет кто-то с экрана смартфона!

В Украине разрабатывают ALTstage — технологию использования вместе с живыми событиями или видеоконтентом дополненной реальности. Такого еще никто в мире не делал.

Разработкой проекта занимаются представители мира искусства: украинская «Платформа современного танца» и немецкий «Post Theater» совместно с IT-компанией «WeAR Studio». Проект реализуется при поддержке Дома Европы (программа Евросоюза) и Украинского культурного фонда. Презентуют ранее невиданную технологию в конце мая в Киеве, а затем — в Харькове и Днепре.

Персональный театр

Представьте, что плоскость экрана и пространство сцены больше не отделены друг от друга. Актер прямо на ваших глазах становится то плоским, то объемным, свободно передвигаясь между экранной и сценической реальностями. Фантастический замысел превращен в арт-технологию, а мобильное приложение назвали АLTstage.
«ALTstage — это технология, позволяющая превратить любой стол с ноутбуком или планшетом в ваш персональный театр», — говорит автор идеи, режиссер и драматург «Post Theater» Макс Шумахер. Например, в театре часть спектакля можно будет посмотреть в дополненной реальности прямо на сцене через смартфон. Соответствующее приложение сообщит зрителю, когда к живым артистам на экране мобильного устройства присоединятся танцовщики или актеры. Дома для просмотра сгодится любой гаджет с экраном, а дополнительные элементы можно увидеть через тот же смартфон — все будет выглядеть так, будто люди реально выходят с экрана ноутбука и появляются буквально на вашем столе.
Сегодня дополненная реальность уже используется в мобильных играх (как Pokemon Go) или образовательных приложениях вроде Google Animals, но в сфере искусства это будет первый эксперимент. Никто в мире еще не делал синхронизацию дополненной реальности с видео на заднем плане — здесь украинцы станут первыми.
Сфера использования технологии довольно широкая — от спектаклей и лекций до коммерческих презентаций и модных показов. Хотя авторами и инициаторами проекта являются представители разных видов искусства, первыми его испытают танцовщики, создав несколько коротких перформансов. «Современный танец постоянно в поисках новых средств творческого выражения — от применения законов физики и человеческой анатомии до использования пространства и технологий. Дополненная реальность, где зритель получает иллюзию присутствия объектов, которых здесь нет, может предоставить новое измерение для танца», — считает креативный продюсер ALTstage, хореограф, основатель и президент «Платформы современного танца» Антон Овчинников. Именно эта идея побудила команду на создание ALTstage. Очень скоро зрители смогут увидеть современный танец в формате смешанной реальности. «Впрочем, для нас этот проект — не только разработка нового творческого инструмента, но и возможность привлечь к инновационной художественной форме новую аудиторию. Особенно ту, которая увлекается новыми технологиями», — добавляет менеджер проекта Александр Маншилин.
«Тяжелое» становится «легким»
Один из самых сложных вызовов в создании ALTstage — съемка объемного видео (volumetric video). Технология для этого уже существует, ее используют большие медийные и кинокомпании. Но стоимость такого видео — несколько тысяч евро за минуту, поскольку съемки проводятся в специальных студиях с десятками камер, а полученные данные обрабатываются сверхмощными компьютерами. Поэтому сейчас во всем мире ищут возможности сделать эти технологии проще и дешевле. Учредители проекта ALTstage считают, что они нашли такую альтернативу и готовы делиться своим опытом и инструментами с коллегами.
«Главная проблема — в «тяжести» такой технологии для мобильных устройств. Это проще с нарисованными 3D-моделями, которые являются кодом в смартфоне, — приложение просто рисует динозавра у вас в комнате, словно накладывает фильтр на фото. Цель — чтобы на экране появлялось видео реальных людей и предметов. К примеру, чтобы во время видеопрезентации к вам с экрана на стол выезжал автомобиль, создавая иллюзию реального появления в помещении. Конечно же, это требует от смартфона очень больших мощностей. На первый взгляд, немыслимо установить двигатель от океанского лайнера под капот «Ланоса». Однако международная компания программистов нашла способ и возможности это создать», — объясняет маркетинг-специалист из компании «WeAR Studio» Ярослав Муха.
Например, в объемном видео для записи изображения со всех сторон нужны десятки камер. В ALTstage используется только несколько камер, но они оборудованы датчиками глубины. Так определяется расположение объекта в пространстве. Также в проекте используется технология Depthkit для обработки видео — благодаря продвинутым алгоритмам удается значительно уменьшить размер данных, которые передаются на смартфон. Специально для ALTstage разрабатывается сайт, на котором можно будет все это соединить, выкладывать и смотреть видео с дополненной реальностью.
Вы просто загружаете приложение перед началом просмотра в театре, лектории или даже дома, считываете QR-код и ваш смартфон будет синхронизирован с событием. В нужный момент он подскажет: «Посмотри-ка на сцену через экран, там будет что-то интересное».
Финальной целью команда ALTstage видит создание общедоступной платформы. Смотреть сможет любой, если имеет достаточно мощный смартфон (iPhone 7 или новее либо смартфон на Android 8.0 или другой с поддержкой ARore). Только вот для создания видео дополненной реальности потребуется студия объемной видеозаписи с камерами Azure Kinect. Сегодня таких студий в Украине нет, но она уже создается специально для ALTstage.
По информации учредителей проекта ALTstage.