Polymath

폴리매스 소개

AI로 구동되는 음악부터 샘플 라이브러리까지

Polymath는 머신 러닝을 활용하여 하드 드라이브든 YouTube든 어떤 음악 라이브러리든 검색 가능하고 양자화된, 프로덕션에 바로 사용 가능한 샘플 라이브러리로 변환하는 오픈소스 Python 도구입니다. 음악 프로듀서, DJ, AI 오디오 연구자를 위해 개발되었으며, 소스 분리부터 MIDI 변환까지 모든 과정을 간소화합니다.

오디오 혁신가를 위해 제작되었습니다.

오디오 기술자와 개발자가 설계한 Polymath는 일반적으로 복잡한 프로세스를 자동화된 워크플로로 단순화합니다. 최첨단 신경망을 사용하여 오디오를 분석, 라벨링 및 변환하여 뮤지션이 편집 시간을 줄이고 창작에 더 많은 시간을 할애할 수 있도록 지원합니다.

핵심 기능

자동 스템 분리

Polymath는 Demucs 신경망을 사용하여 드럼, 베이스, 보컬, 피아노, 기타 등 개별 오디오 스템을 추출합니다. 이를 통해 개별 요소의 정밀한 샘플링과 리믹스가 가능합니다.

오디오를 MIDI로 변환

기본 피치 신경망을 사용하여 스템이나 전체 트랙을 MIDI로 변환하면 디지털 오디오 워크스테이션(DAW)에 원활하게 통합하여 추가 편곡 및 제작이 가능합니다.

키 및 템포 감지

Polymath는 Crepe와 librosa와 같은 도구를 사용하여 자동으로 음악 키와 템포를 감지하여 프로젝트의 다양한 트랙에서 요소를 더 쉽게 일치시킬 수 있도록 해줍니다.

양자화 및 비트 정렬

Pyrubberband를 사용하면 모든 스템과 오디오 파일이 비트 그리드에 맞춰 정렬되어 동기화된 매시업, 믹스 및 루프 기반 음악 제작이 가능합니다.

음악 구조 분석

Polymath는 sf_segmenter를 사용하여 노래를 코러스, 벌스, 브릿지처럼 레이블이 지정된 섹션으로 나눕니다. 이를 통해 음악적 기능에 따라 샘플을 쉽게 구성할 수 있습니다.

비슷한 노래 검색

분석이 완료되면 라이브러리에 있는 노래를 유사성을 기준으로 검색할 수 있습니다. 이는 DJ 세트를 구성하거나, 주제별 믹스를 만들거나, AI 음악 모델을 훈련하는 데 이상적입니다.

사용 사례

음악 프로듀서를 위한

좋아하는 트랙을 빠르게 분석하여 사용 가능한 샘플로 만들어 보세요. 여러 장르의 요소를 추출하고 결합하여 리믹스, 비트 또는 완전히 새로운 작품을 만들어 보세요.

DJ를 위한

라이브러리에서 화성과 리듬이 잘 어울리는 트랙을 찾아보세요. 전체 세트를 일정한 템포로 퀀타이즈하고, 매끄러운 전환을 위해 스템을 내보내세요.

ML 개발자를 위한

Polymath는 실제 음악에서 구조화되고 레이블이 지정된 데이터 세트를 생성합니다. 생성 모델 학습이나 음악학적 분석에 적합합니다.

연구자들을 위해

다양한 음악의 템포, 음높이, 조성, 음색 및 기타 오디오 특징을 분석합니다. Polymath를 사용하여 음악적 패턴, 추세 및 관계를 조사하세요.

작동 원리

• Source Separation — Demucs
• Segmentation & Structure — sf_segmenter
• Pitch & Key Tracking — Crepe
• Audio to MIDI — Basic Pitch
• Quantization — pyrubberband
• Feature Extraction — librosa

시스템 요구 사항 및 설정

• Python 3.7–3.10
• ffmpeg
• CUDA-enabled GPU (optional but recommended)

Docker 지원

제공된 Dockerfile을 사용하여 컨테이너 환경에서 Polymath를 실행하세요. 여러 플랫폼에서 입출력 디렉터리를 마운트하고 파일을 쉽게 처리할 수 있습니다.

라이선싱 및 커뮤니티

Polymath는 MIT 라이선스에 따라 오픈 소스로 제공되며, 음악가, 개발자, 연구자들의 기여를 환영합니다. Discord를 통해 성장하는 커뮤니티에 참여하여 지원, 업데이트, 협업을 받을 수 있습니다.