«Черт возьми, надо мной пролетел гигантский жук»: релиз SDK для объемного звука

Компания Google представила SDK Resonance Audio — инструментарий для звукового оформления игр, 360-градусных видео, VR и AR приложений.

Это далеко не первая разработка компании в этой сфере. В январе 2016 года вышел Google Cardboard SDK с объемным звуком. Его доработанная версия вошла в VR-платформу Daydream 2.0, которая в данный момент открыта для сторонних разработчиков.

Новинка под названием «Resonance Audio» объединяет наработки Google в этой области и позволяет реализовывать их на множестве платформ, в том числе мобильных.

Ниже расскажем про особенности Resonance Audio.

Что это дает

• Эффект полноценного присутствия. Угол обзора человеческого зрения в среднем составляет 160-200 градусов, но с помощью возможностей слуха человек может сформировать для себя полный образ пространства. Синхронизировав виртуальное зрение и виртуальный звук, можно будет добиться большего эффекта присутствия в виртуальной реальности.
• Экономное использование CPU. Здесь работает технология Ambisonics — 3D-версия Mid-Sideзаписи. Если говорить простыми словами, она позволяет экономить вычислительные ресурсы в процессе «сведения» сотен виртуальных источников звука. Помимо этого, для Unity предусмотрена возможность предварительных вычислений эффекта реверберации в зависимости от акустических свойств виртуального окружения.
• Кроссплатформенность. Resonance Audio работает на операционных системах Android, iOS, Windows, MacOS, Linux; на движках Unity и Unreal Engine; с аудиобиблиотекой FMOD; пакетом программ Wwise; цифровыми звуковыми рабочими станциями. Также Google предоставляет API для C/C++, Java и Objective-C.
• Формирование сложных звуковых сред. С помощью SDK можно работать с рядом параметров, влияющих на пространственное восприятие звуков. Например, задавать направление распространения звуковой волны. Разработчики приводят ситуацию с источником звука в виде виртуальной гитары: она будет звучать громче, если ваш игровой персонаж будет стоять перед ней и тише, если за ней.

Помимо этого SDK предусматривает различное восприятие звука в зависимости от окружающих условий (например, в открытом и замкнутом пространстве). За счет использования данных возможностей разработчики смогут создавать более реалистичные сцены.

Как работает Resonance Audio

Технология позволяет задать положение источника звука вместе с характером его распространения и имитирует взаимодействие звуковых волн с виртуальными предметами. Для этого Resonance Audio вводит три вида составляющих общего восприятия того или иного звукового воздействия.

• Прямой звук — идет от источника к слушателю напрямую без взаимодействия с препятствиями. Он обладает наибольшей интенсивностью по сравнению с другими составляющими и затихает по мере отдаления от источника.
• Первичные отражения от поверхностей — имеют меньшую интенсивность, которая зависит в том числе и от свойств поверхности. Они позволяют оценить размер и форму виртуального пространства.
• Далее следуют вторичные и последующие отражения, которые прибывают с возрастающей плотностью и накладываются на прямой звук. По ним строится более полная картина окружающего пространства.

Как подчеркивает Крис Хэгстром (Chris Hegstrom), саунд-дизайнер Microsoft HoloLens, звуковую информацию человеческий мозг обрабатывает быстрее, чем зрительную. Инстинкт самосохранения приучил человека определять дистанцию до источника звука, и на этом принципе построен процесс формирования эффекта присутствия, за который во многом отвечает как раз аудиосоставляющая:

Эффект присутствия — это разница между «Вау, в этой игре очень крутая анимация огромного жука» и «Черт возьми, надо мной пролетел гигантский жук!»

С помощью возможностей Resonance Audio (видео) человек, погруженный в виртуальный мир, формирует своеобразную «карту» пространства, в котором он находится. И приблизительное местоположение объектов, которые он не может увидеть, человек определяет как раз с помощью слуха.

Что еще нужно знать

Значимость работы над технологиями объемного звука подтверждают эксперименты, один из которых провела компания G’Audio Lab. Людям предоставили две демонстрационные версии игры — одну с объемным звуком, а другую с обычным. После завершения игрового процесса, респонденты открыто говорили о том, что даже и не думали, что звук может внести такую большую разницу в ощущения от игрового процесса.

Джоел Сусал (Joel Susal), глава подразделения Dolby, которое занимается виртуальной и дополненной реальностью, напоминает, что именно реалистичные звуковые эффекты вроде резкого скрипа двери или звука приближающихся шагов заставляют нас инстинктивно повернуть голову, чтобы увидеть источник звука и разобраться в том, что все-таки происходит. Технология объемного звука позволит обогатить игровой процесс VR-игр и расширить область взаимодействия с игровой средой.

Объемный звук можно использовать не только в играх и фильмах, но и в музыкальных клипах, во время прямых VR-трансляций концертов и спортивных матчей, чтобы человек, находясь дома, чувствовал себя частью события. Объемный звук поможет ощутить то, что не так-то легко почувствовать даже в реальном мире — например, не просто пойти на концерт, а побыть прямо на сцене, рядом с любимым исполнителем.