«Музыка завтрашнего дня»: какие технологии могут изменить процесс записи и презентации музыкальных треков

Мы решили продолжить тему, немного повизионерствовать и обсудить технологии, которые изменят (и уже меняют) подходы к написанию и исполнению музыки.

Нейросети и споют, и спродюсируют

Такие алгоритмы машинного обучения разрабатывают специалисты в корпорациях и исследовательских лабораториях. Инженеры из OpenAI представили инструмент Jukebox, способный генерировать песни с осмысленными текстами и вокалом. Нейросеть обучили на датасете из миллионов композиций разных жанров: от регги и кантри до рока и хип-хопа. ML-модель использует вариационный автокодировщик VQ-VAE. Он сжимает аудио, сохраняя акустическую информацию о громкости, тембре и высоте звука. На основе этих данных формируется новая аудиодорожка.

Другой пример — альбом Hello World от композитора SKYGGE. Он целиком записан с помощью нейросетей. На BBC его назвали первым действительно хорошим альбомом от робота. При этом два самых популярных трека — «Magic Man» и «Hello Shadow» — в сумме собрали почти 10 млн прослушиваний на Spotify.

Несмотря на популярность, которую набирает генеративная музыка, многие относятся к ней со скептицизмом. ML-алгоритмы не разбираются в тонкостях музыкальной теории и не способны заложить в трек чувства и эмоции. В этом контексте нейросети пока не могут заменить композиторов и саунд-продюсеров, но они уже помогают им искать новое звучание. Инженеры из Magenta представили open source синтезатор NSynth Super. Он анализирует кастомные семплы по шестнадцати характеристикам, линейно их интерполирует и формирует новый уникальный звук — например, может объединить звучание ситара и электрического фортепиано.

Интеллектуальные инструменты также помогают в продакшене и генерируют клипы. Известно, что видеоряд к треку «Break Free» от американской певицы Тэрин Саузерн был создан в «коллаборации» с системой ИИ.

Еще один момент, в котором нейросети могут быть полезны — это прогнозирование успешности трека. По статистике, всего 10% релизов приносят лейблам прибыль. Возможность предсказать коммерческий успех той или иной работы в прямом смысле означает большие деньги. В этом году группа нидерландских исследователей установила, что прослушивание популярных треков вызывает в нашем мозгу похожие нейронные реакции. Так, алгоритмы машинного обучения могут выделить музыкальные паттерны, вызывающие наиболее активный эмоциональный ответ, и предсказать, насколько новый трек будет интересен аудитории.

«Живые мертвецы» на сцене

На рынке есть синтезаторы, позволяющие воспроизвести голоса умерших музыкантов. Вкупе с голографическими технологиями они сумеют «возродить» исполнителей. Так, еще в 2012 году аватар Тупака выступил на одной сцене с Dr. Dre и Снуп Доггом. Хотя о полноценной голограмме тогда речи не шло — видеоряд транслировался на систему зеркал, а отражение формировало двумерный «фантом» легендарного исполнителя. Однако перформанс стал отправной точкой для дискуссии о возможности «оживления» других звезд сцены.

В целом голографическим аватарам пророчат светлое будущее. Инженеры из Университета в Сиднее убеждены, что в перспективе такие музыканты смогут взаимодействовать с публикой и даже импровизировать. Хотя не до конца понятно, как подходить к таким выступлениям с точки зрения законодательства. Например, в США действует доктрина под названием «право публичности». Она позволяет человеку контролировать, как будет использован его образ (в том числе в коммерческих целях). Но что допустимо после смерти — единого мнения нет.

Подобные технологии поднимают и вопросы этики. Некоторые считают, что эксперименты с голограммами — это проявление неуважения к личности исполнителей и их наследию. Так, в 2016 году семья Уитни Хьюстон запретила использовать образ певицы в финале американского The Voice.

Компромиссом в этом вопросе могут стать виртуальные исполнители — без реального прообраза. Их внешность создают иллюстраторы в дизайнерских студиях и озвучивают с помощью семплирования голоса. Примером может быть японская певица Хацунэ Мику. Она дает живые концерты, а её треки завоевывают первые позиции в японских чартах. Сегодня тренд на виртуальных исполнителей развивается и на Западе. Так, до конца месяца должно выйти программное обеспечение Solaris для синтеза голоса на английском языке. Не исключено, что в будущем таких необычных перформансов станет больше.