Будущее 3D-звука [Перевод]

Сегодня мы поговорим о технологиях, позволяющих расширить область аудиоанализа и получить настоящий 3D-звук. В качестве отправной точки используем рассказ Сандипа Равиндрана, который он опубликовал в своем блоге на Medium.

В нашем блоге на ГТ мы уже успели поговорить о самых разных аспектах работы со звуком. Например, об аудиоанализе с использованием алгоритмов обработки изображений. А еще мы рассказывали об архивной находке, состоящей из более полумиллиона записей. Ряд из них был признан исследователями старейшими медиа-носителями из тех, что дошли до наших дней.

В другом материале анализ рассматривается с точки зрения математики и программирования: для написания музыки было использовано машинное обучение и цепи Маркова. Звук – удивительная среда, позволяющая получить действительно уникальные результаты. Посмотрим, о чем рассказал Сандип.

Я не могу поверить своим ушам. Я водил обычный серый кубик вокруг головы и был готов поклясться, что слышу, как из него доносится инструментальная музыка – словно это был крошечный динамик. Звуки скрипки внезапно становились очень громкими, когда кубик оказывался близко к уху и затихали, когда он отодвигался подальше.

Если куб располагался позади меня, то казалось, что я повернулся спиной к струнному квартету. Когда я проводил кубиком над головой, по ней пробегали мурашки, и казалось, что музыка играет откуда-то сверху. Но сам по себе кубик безмолвен. Музыка доносилась через наушники, и когда я их снял – вся иллюзия исчезла.

Подобные технологии – история не новая. Их изучением занимается множество исследовательских центров. Сандип говорит об IT-инкубаторе Университета Мэриленда, где работает команда стартапа VisiSonics. В основе системы лежит блок, работающий с пространственными данными. Для корректной работы необходимо получить так называемую передаточную функцию головы (HRTF), что обычно занимает 2-3 часа.

Разработки в этой области интересны для тех, кто занимается решениями виртуальной или дополненной реальности. Например, Oculus Rift, которая лицензировала RealSpace 3D для своего VR-шлема. Конечно, помимо игр есть и другие задачи. Фактически можно заниматься всем, где так или иначе задействованы наушники, но нужно понимать, что технологии, которые применяют в кинотеатрах, работают немного иначе, и речь идет именно о расширении спектра возможностей для мобильных устройств и планшетов.

Вернемся к VR. В данном контексте можно проигрывать звук корректно только с учетом положения головы относительно виртуального источника. Этим как раз и занимается ПО VisiSonics, осуществляя расчет в реальном времени. Для полного погружения производятся вычисления для поверхностей, отражающих звук, идущий от источника. Реверберации делают звучание естественным, как говорит Сандип со слов инженеров.

Есть и третий элемент: взаимодействие звука с вашим телом – отражение звука в зависимости от положения тела или передаточная функция головы (HRTF – head-related transfer function). Именно эта технология позволит звуку догнать визуальную составляющую в сфере VR.

Еще одно демо возможностей RealSpace 3D, подготовленное независимым разработчиком с помощью плагинов VisiSonics, помогло мне понять, почему Oculus нужно 3D-аудио. Когда я впервые надел шлем виртуальной реальности, мне сразу же захотелось раствориться в ней.

Я стоял на деревянном мосту, перекинутом через реку, а вокруг росли тропические деревья. Я вертел головой, чтобы рассмотреть буйную растительность этого мира – это ощущение схоже с исследованием богатого окружения компьютерной игры, только в этом случае ты буквально ощущаешь себя её частью, и это ощущение только усиливается со звуком RealSpace 3D.

Первые разработки инженеров Университета Мэриленда были реализованы еще в 1998 году. Они планировали создать искусственную аудиосреду для солдат, утративших зрение. Для этого была изготовлена «аудиокамера», и из этого проекта вырос VisiSonics. Ученые решили применить свои наработки в других сферах деятельности, пытались закрепиться в киноиндустрии, но очень скоро ушли в сторону VR.

Кардинальная перемена фокуса произошла на Конференции разработчиков игр 2014 в Сан-Франциско. «Когда ребята из Oculus попробовали VisiSonics, они захотели купить у нас лицензию, – вспоминает Дураисвами. – По сути, мы устроили засаду на этих парней».

Что дальше? Инженерам удалось уменьшить время измерения HRTF с 2-3 часов до нескольких десятков секунд, что уже позволяет вести речь о персонализации музыки и восприятия звука с помощью индивидуальной HRTF.