音楽生成AIを利活用した即興演奏の実践

brightwaltz

第2回創作＋機械学習LT会

2022/11/5

【自己紹介】brightwaltz

【作曲】ピアノメインの曲を中心に作曲

【ライブ演奏】ジャズ・ポップス・クラシックの即興ピアノ独奏

本発表では、

音楽生成AIを活用して「即興演奏」作品を作ってみたので、

クリエイター視点で各トライアルを紹介

今日の流れ

• 音楽生成AIの例

​

• 即興演奏への応用
• [実践] AIを使った即興演奏の紹介: Imaginary Soundscape, RAVE
• [実践] 即興演奏を学習させて音楽生成: Dance Diffusion
• [実演] リアルタイム演奏: Drumify

​

• おわりに

作曲家数の推移

JASRACの会員数のデータ

• 作曲家数→年々増加

​

• IT発展の恩恵も
• DAW（作曲ソフト）の充実
• 演奏支援
• 学習支援

​

• 作曲支援AIも増えてきた

https://www.jasrac.or.jp/profile/outline/member.html

音楽生成の例

Qosmo, 音楽生成AIの現状と可能性 2022年度版

https://qosmo.jp/publication/musicai-whitepaper/

多様な入力

Qosmo, 音楽生成AIの現状と可能性 2022年度版

https://qosmo.jp/publication/musicai-whitepaper/

MIDI

波形

MIDI

＜音楽生成の例＞

MIDIから自動生成

MusicVAEを使用したメロディのモーフィング

​

MusicVAE ( magenta, Google )

https://magenta.tensorflow.org/music-vae

Qosmo, 音楽生成AIの現状と可能性 2022年度版

https://qosmo.jp/publication/musicai-whitepaper/

MIDI

波形

画像

入力された画像に適切なサウンドクリップを見つけるSoundify

​

Soundify: Matching Sound Effects to Video ( David Chuan-En Lin )

https://chuanenlin.com/soundify/

https://arxiv.org/abs/2112.09726

＜音楽生成の例＞

Image to Sound

＜音楽生成の例＞

Qosmo, 音楽生成AIの現状と可能性 2022年度版

https://qosmo.jp/publication/musicai-whitepaper/

多様な入力

Text to Music

Image to Music

( by fffiloni )

a photo of bright sunny forest, humid,

strong golden lighting,

Nikon D4 and Nikon Lens 50mm F1.4

Image -> (CLIP) -> Text -> (Mubert) -> Music

Text to Image (DALL·E)

( Mubert )

即興演奏への応用

1. 生成された音（リズム等）をベースに即興演奏　

Imaginary Soundscapeで挑戦！

​

​

• 即興演奏を学習させて音楽生成

Dance Diffusionで挑戦！

​

• リアルタイム演奏
1. Drumify(Magenta)で実演！（LT会後）

​

• AI DJ プロジェクトを紹介
• 簡単に即興演奏できるPiano Genieを紹介

​

AI

人

AI

人

AI

人

即興演奏への応用�1-1．Image to Music/Soundを使った即興演奏

• Imaginary Soundscape（Qosmo）

https://www.imaginarysoundscape.net

​

​

​

​

​

​

イメージに合う画像を生成　　→　　音源生成　　→　　ピアノ即興演奏　　→　合成して� 　　完成

by DALL·E

a photo of bright sunny forest, humid,

strong golden lighting,

Nikon D4 and Nikon Lens 50mm F1.4

即興演奏への応用�2-1．即興演奏を学習させて音楽生成

Dance Diffusionで楽曲生成（HarmonAI, Stability.Ai）�

​

​

https://github.com/pollinations/dance-diffusion

https://www.harmonai.org/

学習元の即興演奏

（10分×4曲分）

学習結果

（step.191001）

即興演奏への応用�3.1インタラクティブなリズム生成器を使ってリアルタイム即興演奏

Drumify

by magenta, Google

with Ableton Live

https://magenta.tensorflow.org/studio/ableton-live/

作ってみた所感

• AI先攻、人間後攻
• 即興演奏の場合、メロディラインが分かるような音より環境音のような”雰囲気”を表現した音は相性が良い
• 表現したいイメージの種を「音」で作ってもらえるのはありがたい

​

• 人間先攻、AI後攻
• 雰囲気が近い楽曲はできそう
• ただ、人間側（特に演奏者）は楽しいのだろうか

即興演奏への応用＜紹介＞�3-1．リアルタイム演奏：AI DJ

• AI DJ プロジェクトにおけるAIと人間の即興演奏（徳井直生）

​

​

AbletonLiveのプラグインとしてリズム生成モデル「 RhythmVAE_M4L」を公開

https://github.com/naotokui/RhythmVAE_M4L

Rhythm生成

Baseline生成

Melody生成

Mix

即興演奏への応用＜紹介＞�3-2．リアルタイム演奏： Piano Genie

• ピアノを即興演奏できるインターフェース – Piano Genie（Magenta, Google）

​

​

Google Magenta Project

https://magenta.tensorflow.org/pianogenie

おわりに

• 音楽生成AIを使って下記３パターンの即興演奏に挑戦
• [実践] AIを使った即興演奏の紹介: Imaginary Soundscape, RAVE
• [実践] 即興演奏を学習させて音楽生成: Dance Diffusion

​

• 「MagentaのMUSIC TRANSFORMERのようなMIDI生成」�「Dance Diffusionのような波形生成」�どちらが発展するだろうか
• 作曲する立場としては、完成された楽曲の生成より、�「一部だけ生成」や「新たな発想を生む種のような音」がほしい
• 将来的にマルチモーダル入力による音楽生成とかもあり得るんだろうか

その他の音楽生成AI（サイトで試せます）

• Jukebox（OpenAI）
• https://openai.com/blog/jukebox/
• https://jukebox.openai.com/?song=787770742
• MuseNet (OpenAI)
• https://openai.com/blog/musenet/

​

• Lo-Fi Player (Google Magenta)
• https://magenta.tensorflow.org/lofi-player
• MUSIC TRANSFORMER (Google Magenta)
• https://magenta.tensorflow.org/music-transformer

​

• Text to Music (Mubert)
• https://mubert.com
• https://huggingface.co/spaces/Mubert/Text-to-Music
• Image to Music (Image -> (CLIP) -> Text -> (Mubert) -> Music )
• https://huggingface.co/spaces/fffiloni/img-to-music

他：https://note.com/npaka/n/n48caad0f699f