Как превратить изображение в музыку — пример веб-синтезатора с элементами визуализации

PIXELSYNTH — это графический веб-синтезатор, разработанный художницей Оливией Джек. Он превращает монохромное изображение в спектрограмму и воспроизводит звук на её основе. Белый цвет на черном фоне он считает за ноту. Чем ближе к нижнему краю изображения находится белое пятно, тем ниже звучание.

У истоков приложения

По словам Оливии Джек, при разработке PIXELSYNTH она вдохновилась фотоэлектронным оптическим синтезатором АНС, который спроектировал советский инженер Евгений Мурзин. АНС — это сокращение от имени композитора Александра Николаевича Скрябина.

Партитура устройства представляла собой последовательность штрихов, которые наносились на покрытое черной краской стекло. Их форма определяла высоту и длительность звучания — через них проходил световой луч и попадал на фотоэлементы. В результате генерировался электрический сигнал, который усиливался и подавался на громкоговоритель. За генерацию звукового спектра отвечали пять дисков оптической фонограммы, на каждый из которых были записаны 144 звуковые дорожки чистых тонов.

Устройство позволяло писать и править партитуру на лету — композитор подкрашивал, ретушировал и наносил новые кодовые рисунки, контролируя, как меняется звук. Синтезатор выпускался малой серией, но успел получить статус культового. Его не обошел стороной даже советский кинематограф — АНС можно услышать в «Бриллиантовой руке», «Солярисе» и ряде других фильмов.

Как это выглядит

Рабочая область приложения представляет собой черный экран с монохроматическим изображением. Можно выбрать одну из тринадцати картинок или загрузить собственную. Яркость, контрастность и положение в пространстве регулируются. Фоновое изображение также представляет собой канву, на которую можно наносить собственные штрихи — соответствующие настройки кистей находятся в углу рабочей области.

Слева-направо движется розовая полоса, которая считывает светлые участки и воспроизводит аудиозапись. Стоит заметить, что генерируемые приложением звуки получаются достаточно своеобразными, напоминают звучание модульного синтезатора, но в большинстве случаев походят на какофонию. В таких условиях сложно написать приятно звучащую мелодию, поэтому в первую очередь приложение интересно с художественной точки зрения.

В целом идея превращать изображения в спектрограмму не нова. В 1999 году диджей Aphex Twin выпустил трек «Widowlicker». Ближе к концу аудиозаписи привычный музыкальный рисунок сменяет пронзительный вой (чем-то похожий на звучание терменвокса). Просто в этом месте композитор встроил в спектрограмму песни собственную фотографию. И PIXELSYNTH позволяет провести аналогичные музыкальные эксперименты с фото и другими изображениями.

Синтезаторы в нашем каталоге