Polymath

О Полимате

От музыки до библиотеки сэмплов на базе искусственного интеллекта

Polymath — это инструмент с открытым исходным кодом на Python, который использует машинное обучение для преобразования любой музыкальной библиотеки — будь то с вашего жёсткого диска или YouTube — в библиотеку сэмплов с возможностью поиска, квантования и готовности к производству. Polymath, созданный для музыкальных продюсеров, диджеев и аудиоисследователей, работающих с искусственным интеллектом, оптимизирует все этапы — от разделения исходного кода до MIDI-транскрипции.

Создано Audio Innovators для Audio Innovators

Разработанный аудиотехнологами и разработчиками, Polymath упрощает обычно сложный процесс, превращая его в автоматизированный рабочий процесс. Он использует набор современных нейронных сетей для анализа, маркировки и преобразования аудио, предоставляя музыкантам больше времени на создание музыки и меньше на её редактирование.

Основные характеристики

Автоматическое отделение стеблей

Polymath использует нейронную сеть Demucs для извлечения отдельных аудиофрагментов, таких как ударные, бас, вокал, фортепиано, гитара и т. д. Это позволяет точно сэмплировать и ремикшировать отдельные элементы.

Преобразование аудио в MIDI

Конвертируйте стемы или целые треки в MIDI с помощью нейронной сети Basic Pitch, что обеспечивает бесшовную интеграцию в вашу цифровую звуковую рабочую станцию ​​(DAW) для дальнейшей аранжировки и производства.

Определение тональности и темпа

Polymath автоматически определяет музыкальную тональность и темп с помощью таких инструментов, как Crepe и librosa, что упрощает сопоставление элементов на разных дорожках вашего проекта.

Квантование и выравнивание ритма

С помощью Pyrubberband все стемы и аудиофайлы выравниваются по сетке ритма, что позволяет создавать синхронизированные мэшапы, миксы и цикличное создание музыки.

Анализ музыкальной структуры

Polymath использует sf_segmenter для разбиения песен на маркированные разделы, такие как припев, куплет или бридж. Это упрощает организацию сэмплов по музыкальному назначению.

Поиск похожих песен

После анализа песни в вашей библиотеке можно искать по схожести — идеально подходит для создания диджейских сетов, создания тематических миксов или обучения музыкальных моделей ИИ.

Варианты использования

Для музыкальных продюсеров

Быстро разбивайте любимые треки на удобные сэмплы. Извлекайте и объединяйте элементы разных жанров для создания ремиксов, битов или совершенно новых композиций.

Для диджеев

Найдите в своей библиотеке гармонически и ритмически совместимые треки. Квантуйте целые сеты для достижения единого темпа и экспортируйте стемы для плавных переходов.

Для разработчиков МО

Polymath генерирует структурированные, размеченные наборы данных из реальной музыки. Идеально подходит для обучения генеративных моделей или проведения музыковедческого анализа.

Для исследователей

Анализируйте темп, высоту звука, тональность, тембр и другие аудиохарактеристики в самых разных музыкальных произведениях. Используйте Polymath для исследования музыкальных закономерностей, тенденций и взаимосвязей.

Как это работает

• Source Separation — Demucs
• Segmentation & Structure — sf_segmenter
• Pitch & Key Tracking — Crepe
• Audio to MIDI — Basic Pitch
• Quantization — pyrubberband
• Feature Extraction — librosa

Системные требования и настройка

• Python 3.7–3.10
• ffmpeg
• CUDA-enabled GPU (optional but recommended)

Поддержка Докера

Запускайте Polymath в контейнерной среде с помощью предоставленного Dockerfile. Монтируйте каталоги ввода/вывода и легко обрабатывайте файлы на разных платформах.

Лицензирование и сообщество

Polymath — проект с открытым исходным кодом под лицензией MIT, что приветствует вклад музыкантов, разработчиков и исследователей. Вы можете присоединиться к растущему сообществу через Discord для получения поддержки, обновлений и совместной работы.