簡単・高速にさまざまなスタイルの楽曲を生成 進化したローカル音楽生成AI ACE Step 1.5 #生成AI

先日、Sunoライクな音楽生成AI HeartMuLa Studioを紹介したばかりですが、またすごいオープンソース音楽生成AIモデルが公開されました。以前試したことのあるACE Step v1の後継のACE Step 1.5です。多彩な音楽の生成が可能で、おかしな音楽を生成する確率が低く、生成スピードもかなり高速な印象です。さらに、一部を作成しなおしたり、入力曲の構成を使ったカバーを作成したり、楽曲スタイルを学習したりもできるようでSuno超え？とも言われています。RTX5070Ti搭載PCで簡単に楽曲生成を試してみました。

ComfyUI上のACE-Step 1.5 音楽生成ワークフロー

まずは、ComfyUI上のテンプレートで、ACE-Step 1.5 音楽生成ワークフローを利用してみました。概要と歌詞のほか、曲の長さやキー、拍子、BPM、言語などを指定できます。3分の曲生成が40秒くらいでした。

テンプレートそのままで生成してみた楽曲

ほぼ同じスタイル（概要）で歌詞を日本語にして生成してみた楽曲

少しスタイルを変更してみた楽曲

ChatGPTでスタイルと歌詞を作ってみた楽曲

日本語等少しあやしいところがありますが、音楽としてかなり完成度が上がってきている感じがします。音楽に詳しければ、言葉でイメージが伝えやすくなると思うので、よりイメージ通りの楽曲が生成できるかと思います。

Pinokio上のACE Step 1.5 Playground

PinokioでACE Step 1.5が簡単にインストールできるようになっていたので、そちらも試してみました。PlaygroundのUIでフル機能を試すことができます。とはいえ使い方がよくわからなかったので、簡単に楽曲生成を試してみました。
まずはInitialize Serviceで、モデルを読み込みます。

Sony Descriptionに作りたい曲の説明を英語で書いて、Create Sampleを押すと、Music CaptionとLyricsのサンプルが生成されます。LLMを外部連携しなくても使えるのが良いですね。必要に応じて編集し、Generate Musicを押すと、楽曲が生成されます。

デフォルトでは1度に2曲生成されるようになっています（変更可）。楽曲を再生できるので気に入ったら、Saveで保存可能。

Task Typeでrepaintを選べば読み込んだ楽曲の一部書き換え、coverを選べば同じような構成で曲を生成することができるようです。（まだ使い方がよくわからず）

LoRA Trainingでは、いくつかの曲をインプットすることで、曲のスタイルを学習することができるようです。（こちらはまだ使ってみていない）

とりあえず、概要だけ記載して、サンプル出力からそのまま生成してみた楽曲を載せておきます。

80’s ロックスタイルの楽曲

平成アイドルJ-POPスタイルの楽曲

アニメ主題歌風でちょっと変わったスタイルにチャレンジした楽曲

こんな風に多様な楽曲が簡単・短時間にどんどん生成できてしまうのはすごいですね。