Технология искусственного интеллекта воссоздала голос легендарной японской певицы Хибари Мисора

29 сентября в Японии при технической поддержке NHK (Japan Broadcasting Corporation) состоялась трансляция телепрограммы «Искусственный интеллект возвращает Хибари Мисора», в которой технология VOCALOID:AI была одновременно и представлена, и впервые реализована.

Целью проекта NHK с участием Yamaha было использование современных технологий искусственного интеллекта (ИИ) для того, чтобы представить новую песню Хибари Мисора – яркой актрисы и певицы, долгие годы бывшей самым популярным исполнителем Японии, – чтобы почтить ее память в день 30-летия ее ухода из жизни. Благодаря самому передовому трехмерному видео в 4K-формате Хибари Мисора предстала перед ошеломленными зрителями и исполнила новую песню.

Роль Yamaha в проекте состояла в том, чтобы с помощью технологии VOCALOID:AI точно воссоздать уникальный голос Хибари Мисора для пения и речи. С этой целью в качестве исходных данных для машинного обучения были использованы прижизненные записи песен и разговоров исполнительницы. Эти материалы включают в себя музыкальный аккомпанемент, однако технология его отсечения, которой располагает компания Yamaha, позволила получить высококачественную информацию для машинного обучения и обеспечить высокое качество голоса.

Yamaha также использовала относительно новый и активно развивающийся тип ИИ, известный как глубокое обучение. С его помощью удалось воссоздать голос одной из известнейших певиц Японии.

Коичи Морита, старший генеральный директор научно-исследовательского подразделения группы технологий корпорации Yamaha, комментирует: «Мы считаем, что именно благодаря технологиям и идеям Yamaha, основанным на 130-летнем опыте разработки и производства музыкальных инструментов и аудиооборудования, нам удалось успешно передать особенности ее пения. Наше участие в этом проекте с модернизированной версией технологии синтеза пения продемонстрировало новые возможности в музыке и позволило преодолеть барьеры времени, ошеломив слушателей невероятным голосом».

VOCALOID:AI и VOCALOID

VOCALOID:AI – это разработанная Yamaha технология синтеза пения с использованием ИИ. Посредством глубокого обучения VOCALOID:AI может проанализировать характеристики пения, такие как тембр и эмоциональность, в записях песен определенного вокалиста на любом языке и синтезировать исполнение любых мелодий и слов с учетом уникальных нюансов, характерных для этого вокалиста.

VOCALOID – технология синтеза пения, разработанная и выпущенная компанией Yamaha в 2003 году. С тех пор она получила широкое признание за способность воспроизводить пение виртуальных исполнителей. VOCALOID:AI использует ИИ, чтобы значительно улучшить вокальную выразительность, в частности, изменения тембров.

После презентации VOCALOID:AI марка VOCALOID стала включать все технологии синтеза пения, а VOCALOID:AI относится конкретно к тем, где используется ИИ.

Хибари Мисора

К моменту ухода из жизни в 1989 году легендарная японская певица Хибари Мисора записала более 1500 песен, исполнив за свою более чем 40-летнюю карьеру огромное количество хитов. Посмертно она стала первой женщиной, которой была присуждена Премия Народного Почета, одна из наивысших наград Японии.

Подготовлено по материалам сайта "Yamaha", октябрь 2019 г. www.ru.yamaha.com