Polymath

Über Polymath

Von Musik bis zur Sample-Bibliothek — unterstützt durch KI

Polymath ist ein Open-Source-Python-Tool, das mithilfe von maschinellem Lernen jede Musikbibliothek — egal ob von der Festplatte oder von YouTube — in eine durchsuchbare, quantisierte und produktionsfertige Sample-Bibliothek verwandelt. Es wurde für Musikproduzenten, DJs und KI-Audioforscher entwickelt und vereinfacht Prozesse von der Quellentrennung bis zur MIDI-Transkription.

Entwickelt von und für Audio-Innovatoren

Polymath wurde von Audiotechnologen und Entwicklern entwickelt und vereinfacht einen normalerweise komplexen Prozess durch einen automatisierten Workflow. Es nutzt modernste neuronale Netze zur Analyse, Kennzeichnung und Konvertierung von Audiodateien, wodurch Musiker mehr Zeit zum Komponieren und weniger Zeit zum Bearbeiten haben.

Kernmerkmale

Automatische Stielabtrennung

Polymath nutzt das Demucs-Neuronale Netzwerk, um einzelne Audiospuren wie Schlagzeug, Bass, Gesang, Klavier, Gitarre und mehr zu extrahieren. Dies ermöglicht präzises Sampling und Remixing isolierter Elemente.

Audio-zu-MIDI-Konvertierung

Konvertieren Sie Stems oder ganze Spuren mithilfe des neuronalen Netzwerks Basic Pitch in MIDI, um eine nahtlose Integration in Ihre digitale Audio-Workstation (DAW) für weitere Arrangements und Produktionen zu ermöglichen.

Tonart- und Tempoerkennung

Polymath erkennt automatisch Tonarten und Tempo mithilfe von Tools wie Crepe und librosa, wodurch es einfacher wird, Elemente über verschiedene Spuren in Ihrem Projekt hinweg aufeinander abzustimmen.

Quantisierung und Taktausrichtung

Mit pyrubberband werden alle Stems und Audiodateien an einem Beatgrid ausgerichtet, was synchronisierte Mashups, Mixe und die Erstellung von loopbasierter Musik ermöglicht.

Musikstrukturanalyse

Polymath verwendet sf_segmenter, um Songs in benannte Abschnitte wie Refrain, Strophe oder Bridge zu unterteilen. Dadurch lassen sich Samples einfach nach ihrer musikalischen Funktion organisieren.

Ähnliche Songsuche

Nach der Analyse können die Songs in Ihrer Bibliothek anhand ihrer Ähnlichkeit durchsucht werden — ideal zum Erstellen von DJ-Sets, thematischen Mixen oder zum Trainieren von KI-Musikmodellen.

Anwendungsfälle

Für Musikproduzenten

Zerlege deine Lieblingstracks schnell in verwendbare Samples. Extrahiere und kombiniere Elemente verschiedener Genres, um Remixe, Beats oder komplett neue Kompositionen zu erstellen.

Für DJs

Durchsuchen Sie Ihre Bibliothek nach harmonisch und rhythmisch kompatiblen Titeln. Quantisieren Sie ganze Sets auf ein einheitliches Tempo und exportieren Sie die einzelnen Spuren für nahtlose Übergänge.

Für ML-Entwickler

Polymath generiert strukturierte, annotierte Datensätze aus realer Musik. Ideal zum Trainieren generativer Modelle oder zur Durchführung musikwissenschaftlicher Analysen.

Für Forscher

Analysieren Sie Tempo, Tonhöhe, Tonart, Klangfarbe und weitere Audiomerkmale verschiedenster Musikstücke. Nutzen Sie Polymath, um musikalische Muster, Trends und Zusammenhänge zu untersuchen.

So funktioniert es

• Source Separation — Demucs
• Segmentation & Structure — sf_segmenter
• Pitch & Key Tracking — Crepe
• Audio to MIDI — Basic Pitch
• Quantization — pyrubberband
• Feature Extraction — librosa

Systemvoraussetzungen & Einrichtung

• Python 3.7–3.10
• ffmpeg
• CUDA-enabled GPU (optional but recommended)

Docker-Unterstützung

Führen Sie Polymath in einer Containerumgebung mithilfe des bereitgestellten Dockerfiles aus. Binden Sie Eingabe-/Ausgabeverzeichnisse ein und verarbeiten Sie Dateien problemlos plattformübergreifend.

Lizenzierung & Gemeinschaft

Polymath ist Open Source und unter der MIT-Lizenz veröffentlicht. Musiker, Entwickler und Forscher sind herzlich eingeladen, mitzuwirken. Über Discord können Sie der wachsenden Community beitreten, um Unterstützung zu erhalten, Updates zu bekommen und zusammenzuarbeiten.