音楽心象風景の視覚化がユーザの音楽体験に与える影響

情18-0338　西野歩真

研究背景

・現在，MV，リリックビデオ，VJ，ライブなど様々な音楽の楽しみ方がある

​

・これらは音楽のみでの聴取ではなく，その他の刺激などを合わせた聴取体験である

​

→音楽にその他の刺激を加えることで，音楽聴取体験が変化することがわかる

研究背景

・本研究では，特に視覚刺激が音楽聴取体験に与える影響に着目して取り組んだ

研究背景（関連研究）

• 規則性のある曲線を用いて音楽に適合した映像を自動生成するシステムの研究

​

• 歌詞と写真を紐づけたスライドショーを生成するシステムの研究

​

→音楽特徴の視覚化が音楽体験を向上させると考えられる．�

[1]梅村允康，保利武志，嵯峨山茂樹，Word2Vecを用いて歌詞と写真を対応づけたスライドショー生成システム，第81回全国大会講演論文集，2019，1，p403-404(2019-02-28)

[2]小杉将史，内田理，曲中のサビ区間を考慮した音楽向け自動映像生成システム，映像情報メディア学会技術報告，37，35，p63-66(2013-07-25)

研究背景

1.図形などを用いた抽象映像表現

2.写真などを用いた写実映像表現

3.それらを複合的に用いた映像表現

​

• 心象風景（音楽を聴取するユーザーの感情のイメージや心の中の風景）を再現することで，音楽体験の豊かさをより向上させられるのではないか�

研究目的

・音量，音高，歌詞などの音楽特徴を視覚化してユーザの心象風景を再現することで，音楽聴取体験の豊かさを向上させる手法を提案

​

・抽象的視覚化と写実的視覚化の2種類の心象風景視覚化表現を用意し，それぞれの視覚化における没入感や満足度，気分誘導効果への影響を比較検証する

提案システム

・音楽特徴（音量，音高，歌詞）を抽象的に視覚化→映像表現

​

・ユーザは音楽特徴に適合した映像とともに，音楽を聴取する

​

・実験のコンテンツ作成用に，音量，音高と連動しない抽象映像を生成する用途での派生システムも作成

提案システム

A：音量大・音高高・歌詞感情中　　　　　　　　　B：音量中・音高中・歌詞感情高

システム構成

・Pure Data Vanilla

​

・Python – Google Natural Language API

​

・Processing

システム構成(Pure Data Vanilla)

・ 音源を読み込ませて，音量，音高を抽出

→中高音域，低音域に分割

​

・数値をOSC通信を用いてProcessingへリアルタイムで送信

Pure Data Vanilla

システム構成(Python)

・Google Natural Language APIを動作

​

・歌詞の小節ごとに歌詞感情を抽出

​

・それぞれの数値をProcessingのプログラム上に事前に記述

システム構成(Processing)

・Pure Data VanillaとPythonから得られた数値を元に映像生成

​

・Pure Data Vanillaからの数値は，生成映像の円の位置と大きさに反映

​

・Pythonからの数値(magnitude,score)は，赤色を基調とする背景色の彩度と明度に反映

提案システム

A：音量大・音高高・歌詞感情中　　　　　　　　　B：音量中・音高中・歌詞感情高

システム構成(派生システム）

・円の大きさと位置が音量と音高に連動しない

​

・円の大きさと位置を決める数値をPure Data Vanillaから受け取らず，Processing上でランダム化

実験について

・近日中に実験を行い，再発表時に改めてまとめて発表します．

研究の展望

・歌唱音楽心象風景の視覚化と主体表現エージェントがユーザの音楽体験に与える影響について

研究の展望

・写実的な心象風景の視覚化をシステムで行う

​

・抽象写実システムを1つにして連続的に抽象度と動的度合いを変化させられるシステムを作る

​

・ユーザーの顔表情から感情を読み取り，それに合わせてシステムの軸を変化させられるようにする（背景）

​

・歌詞を元にした主体表現エージェントを作成する（前景）

実験参加のお願い

2月中に実験を行う予定です。�実験はオンラインで行うので、現地に集合していただく必要はありません。�参加していただける方には後日URLを送付するので、そこから複数の動画を視聴していただき、質問に回答していただく形になります。�所要時間は30分程度を予定しています。�お忙しいとは思いますが、よろしくお願いします！！

​

参加可否フォームあり