Polymath

О Полимате

От музыки до библиотеки сэмплов, на базе искусственного интеллекта

Polymath — это инструмент Python с открытым исходным кодом, который использует машинное обучение для преобразования любой музыкальной библиотеки — будь то с вашего жесткого диска или YouTube — в доступную для поиска, квантованную, готовую к производству библиотеку сэмплов. Созданный для музыкальных продюсеров, диджеев и исследователей аудио ИИ, он оптимизирует все — от разделения источника до транскрипции MIDI.

Создано Audio Innovators для Audio Innovators

Разработанный аудиотехнологами и разработчиками, Polymath упрощает обычно сложный процесс до автоматизированного рабочего процесса. Он использует набор современных нейронных сетей для анализа, маркировки и преобразования аудио, давая музыкантам больше времени на создание и меньше на редактирование.

Core Features

Автоматическое отделение стебля

Polymath использует нейронную сеть Demucs для извлечения отдельных аудио-основ, таких как барабаны, бас, вокал, фортепиано, гитара и т. д. Это позволяет точно сэмплировать и ремикшировать изолированные элементы.

Преобразование аудио в MIDI

Конвертируйте стемы или целые треки в MIDI с помощью нейронной сети Basic Pitch, что обеспечивает бесшовную интеграцию в вашу цифровую звуковую рабочую станцию (DAW) для дальнейшей аранжировки и производства.

Определение тональности и темпа

Polymath автоматически определяет музыкальную тональность и темп, используя такие инструменты, как Crepe и librosa, что упрощает сопоставление элементов на разных дорожках вашего проекта.

Квантование и выравнивание ритма

С помощью Pyrubberband все стемы и аудиофайлы выравниваются по сетке ритма, что позволяет создавать синхронизированные мэшапы, миксы и цикличное создание музыки.

Анализ музыкальной структуры

Polymath использует sf_segmenter для разбиения песен на маркированные разделы, такие как припев, куплет или бридж. Это позволяет легко организовывать сэмплы на основе музыкальной функции.

Поиск похожих песен

После анализа песни в вашей библиотеке можно искать по схожести — это идеально подходит для создания диджейских сетов, создания тематических миксов или обучения музыкальных моделей ИИ.

Варианты использования

Для музыкальных продюсеров

Быстро разбивайте любимые треки на пригодные для использования образцы. Извлекайте и объединяйте элементы разных жанров для создания ремиксов, битов или совершенно новых композиций.

Для диджеев

Найдите в своей библиотеке гармонически и ритмически совместимые треки. Квантуйте целые сеты для постоянного темпа и экспортируйте стемы для плавных переходов.

Для разработчиков МО

Polymath генерирует структурированные, маркированные наборы данных из реальной музыки. Идеально подходит для обучения генеративных моделей или проведения музыковедческого анализа.

Для исследователей

Анализируйте темп, высоту тона, тональность, тембр и другие аудиохарактеристики в самых разных музыкальных произведениях. Используйте Polymath для исследования музыкальных закономерностей, тенденций и взаимосвязей.

How It Works

• Разделение источников — Demucs
• Сегментация и структура — sf_segmenter
• Отслеживание высоты тона и тональности — Crepe
• Аудио в MIDI — Базовая высота тона
• Квантование — pyrubberband
• Извлечение признаков — librosa

Системные требования и настройка

• Питон 3.7–3.10
• ffmpeg
• Графический процессор с поддержкой CUDA (необязательно, но рекомендуется)

Поддержка докера

Запустите Polymath в контейнерной среде, используя предоставленный Dockerfile. Монтируйте каталоги ввода/вывода и легко обрабатывайте файлы на разных платформах.

Лицензирование и сообщество

Polymath — это проект с открытым исходным кодом под лицензией MIT, приветствующий вклад музыкантов, разработчиков и исследователей. Вы можете присоединиться к растущему сообществу через Discord для поддержки, обновлений и сотрудничества.