Polymath

ポリマスについて

AIを活用した音楽からサンプルライブラリまで

Polymathは、機械学習を用いて、ハードドライブやYouTubeなど、あらゆる音楽ライブラリを、検索可能でクオンタイズされた、制作にすぐに使えるサンプルライブラリに変換するオープンソースのPythonツールです。音楽プロデューサー、DJ、AIオーディオ研究者向けに開発されており、音源分離からMIDIトランスクリプションまで、あらゆる作業を効率化します。

オーディオイノベーターによって、そしてオーディオイノベーターのために作られました

オーディオ技術者と開発者によって設計されたPolymathは、通常は複雑なプロセスを自動化されたワークフローへと簡素化します。最先端のニューラルネットワークスイートを用いてオーディオを分析、ラベル付け、変換することで、ミュージシャンは編集に費やす時間を減らし、創作活動に多くの時間を費やすことができます。

コア機能

自動ステム分離

Polymathは、Demucsニューラルネットワークを用いて、ドラム、ベース、ボーカル、ピアノ、ギターなどの個々のオーディオステムを抽出します。これにより、分離された要素を正確にサンプリングし、リミックスすることが可能になります。

オーディオからMIDIへの変換

Basic Pitch ニューラル ネットワークを使用してステムまたはトラック全体を MIDI に変換し、デジタル オーディオ ワークステーション (DAW) にシームレスに統合して、さらにアレンジや制作を行うことができます。

キーとテンポの検出

Polymath は、Crepe や librosa などのツールを使用して音楽のキーとテンポを自動的に検出し、プロジェクト内のさまざまなトラック間で要素を簡単に一致させます。

量子化とビートアライメント

pyrubberband を使用すると、すべてのステムとオーディオ ファイルがビート グリッドに揃えられ、同期されたマッシュアップ、ミックス、ループベースの音楽作成が可能になります。

音楽構造分析

Polymathはsf_segmenterを使用して、曲をコーラス、バース、ブリッジなどのラベル付きセクションに分割します。これにより、音楽的な機能に基づいてサンプルを簡単に整理できます。

類似曲検索

分析が完了すると、ライブラリ内の曲を類似性で検索できるようになります。これは、DJ セットの構築、テーマ別のミックスの作成、AI 音楽モデルのトレーニングに最適です。

ユースケース

音楽プロデューサー向け

お気に入りのトラックをすぐに使えるサンプルに分解できます。ジャンルを超えた要素を抽出・組み合わせて、リミックス、ビート、あるいは全く新しい楽曲を作成できます。

DJ向け

ライブラリから、ハーモニーとリズムの相性が良いトラックを検索できます。セット全体を一定のテンポにクオンタイズし、ステムをエクスポートしてシームレスなトランジションを実現します。

ML開発者向け

Polymathは、実際の音楽から構造化されたラベル付きデータセットを生成します。生成モデルの学習や音楽学的分析に最適です。

研究者向け

様々な音楽のテンポ、ピッチ、キー、音色、その他の音響特性を分析します。Polymathを使えば、音楽のパターン、傾向、そして関係性を調べることができます。

仕組み

• Source Separation — Demucs
• Segmentation & Structure — sf_segmenter
• Pitch & Key Tracking — Crepe
• Audio to MIDI — Basic Pitch
• Quantization — pyrubberband
• Feature Extraction — librosa

システム要件とセットアップ

• Python 3.7–3.10
• ffmpeg
• CUDA-enabled GPU (optional but recommended)

Docker サポート

提供されているDockerfileを使用して、コンテナ化された環境でPolymathを実行します。入出力ディレクトリをマウントし、プラットフォーム間でファイルを簡単に処理できます。

ライセンスとコミュニティ

PolymathはMITライセンスに基づくオープンソースであり、ミュージシャン、開発者、研究者からの貢献を歓迎しています。サポート、アップデート、コラボレーションのために、Discordを通じて成長を続けるコミュニティに参加できます。