Сам себе орнитолог — нейросеть поможет распознать птиц по их пению

Птичьи спектрограммы

Есть множество исследовательских проектов, посвящённых анализу птичьих голосов. Таким образом ученые стремятся оценить популяцию и качество жизни животных в отдельных регионах. Нередко орнитологи записывают длинные аудиозаписи со звуками природы, а затем занимаются классификацией на слух.

Чтобы автоматизировать этот процесс, специалисты из Лаборатории орнитологии при Корнеллском университете в США разработали нейросеть BirdNET. Она идентифицирует более 3 тыс. птичьих видов по спектрограмме их пения. Система помещает результаты на единую карту, которая помогает орнитологам следить за популяцией животных.

Работу алгоритма можно оценить на официальном сайте проекта — он анализирует живое аудио с микрофона, установленного на природе. В аудиопотоке встречаются голоса красноплечего трупиала, канадской казарки, болотного воробья и других пернатых. Также есть демо, куда можно загрузить собственную аудиозапись для анализа.

Поработать с нейросетью можно не только в браузере. Приложение запускается как на Raspberry Pi, так и домашнем ПК — в частности, под Ubuntu и Windows. Инструкция по настройке для открытой операционной системы приведена в репозитории на GitHub. Что касается Windows, то достаточно скачать и распаковать zip-архив и начать работу as is.

Еще разработчики выпустили мобильное приложение. Оно позволяет записать птичье пение на микрофон, выделить наиболее отчетливый фрагмент и отправить на распознавание. Но поскольку алгоритм восприимчив к посторонним шумам, лучше записывать пернатых рано утром или поздно вечером.

Кто использует разработку

Нейросеть BirdNET уже легла в основу нескольких исследовательских проектов. Например, в рамках инициативы BirdWeather энтузиасты строят карту с местами обитания птиц. По всему миру установлены десятки акустических станций, которые мониторят природные зоны и идентифицируют птичьи голоса.

Другой проект — BirdNET-Pi — позволяет превратить компактный компьютер Raspberry Pi в мобильную орнитологическую станцию. Анализ акустической среды происходит с помощью звуковой карты, подключенной по USB. Аналогичную систему развивают авторы ecoPi:Bird при поддержке Федерального министерства окружающей среды Германии. Это — сеть автономных систем мониторинга птичьих голосов в лесах по стране.

Больше «птичьих» проектов

Один из резидентов Hacker News в тематическом треде отметил, что масштабная система на базе нейросети BirdNET в перспективе позволит визуализировать миграцию пернатых. Однако подобные проекты уже существуют — например, open source система Vesper для мониторинга так называемых nocturnal flight calls (NFC). Это — звуки, которые издают птицы во время ночных полетов, чтобы координировать свои движения.

Проект достаточно молодой и не готов к масштабным внедрениям, но в будущем его смогут использовать как орнитологи-любители, так и ученые-биологи.

Другой проект — Terra. Это — специальное устройство, предназначенное для установки на заднем дворе загородного дома. Оно мониторит акустический фон, распознает пение обитающих рядом птиц и фиксирует животных с радиометками. Далее, информация поступает в общую базу данных для дальнейших исследований.

Есть проекты, которые стремятся не визуализировать перемещение птиц, но сохранить их голоса для потомков. О некоторых таких проектах мы рассказывали в одном из наших прошлых материалов. Так, Служба национальных парков США формирует акустическую библиотеку Rocky Mountain Sound Library, в каталоге которой уже более двухсот аудиозаписей птиц и диких животных. К слову, все звуки можно скачивать и свободно использовать в коммерческих целях.

Аналогичный свод данных формируют в Корнеллской лаборатории орнитологии. В их медиатеке сотни тысяч записей звуков, издаваемых птицами, рептилиями и насекомыми. Все они применяются для исследовательских и образовательных задач.