AI music�to Billboard?
DFMBA 4기 고승현, 한병훈, 이휘서
2 YES 1 NO
DFMBA 4기 한병훈
NO 클럽을 한번도 가보지 않았다
DFMBA 4기 한병훈
YES 색소폰을 연주 할 줄 안다
YES 미국에서 학부를 다녔다
2 YES 1 NO
DFMBA 4기 고승현
2 YES 1 NO
DFMBA 4기 이휘서
Contents of This Template
1. 주제 선정 배경
AI 생성 음악, 빌보드 핫 100 예측
AI가 생성하는 음악이 어느정도의 수준까지 와있는지?
전문가들만 작곡할 수 있는지
아니면일반인들도 작곡할 수 있는지 ?
> 24년에 빌보드 핫 100을 갈 수 있을지 확인해보고자 함
2. 보컬/ 작사 AI
2-1. 보컬 커버
2-2. 가사 생성
원리 – 작업순서 – 사례 소개- 저작권 이슈
원리 – 작업순서 – 사례 소개
2-1 보컬 커버
1단계 : 곡을 선택하여 MR과 보컬 분리
가우디오 스튜디오 사용. 보컬/베이스/드럼/다른 악기로 분리됨
2단계: 곡의 퀄리티를 위해 리드/백업 보컬 분리
코러스가 섞이면 소리가 뭉개지거나 깨짐
2-1 보컬 커버
3단계: 누군가의 목소리를 학습(RVC)
Or 디스코드에서 음성 모델 다운로드
4단계: 음원에서 분리한 보컬부분에 학습한 목소리를 덮음
옥타브 / 볼륨 등은 수동 설정
2-1 보컬 커버
2-1 보컬 커버 저작권 문제
정원준 한국법제연구원
공개적인 장소에 올리는 것은
“복제, 전송에 대한 권리 침해“, “공중 송신에 대한 권리 침해＂문제가 될 수있다.
AI는 법인격이 없기 때문에 침해에 대한 책임을 지지 못함.
다만, AI를 학습시킨 기업은 저작권 침해가 인정됨
“공정 이용” – 저작권자의 허락 없이도 저작물을 이용할 수 있는 특수 경우
기술발전에 사용되는 공정이용으로 볼 수 있는지에 대한 논의가 남아 있음
2-1 보컬 커버 저작권 문제
한국은 AI 창작물에 공정 이용 가능성을 폭넓게 인정해 저작권법 침해기준을 완화하고 있음.
미국도 공정 이용 규정을 확대함
유로/일본/영국에는 TDM(Text and Data Mining) 면책규정을 도입
TDM : 컴퓨터가 인터넷에 공개된 정보들을 자동으로 학습하는 과정에서 저작권법에 저촉되는 책임을 면해주는 규정.
이러한 방법으로 AI 저작물의 이용 범위를 넓혀 줌
상업적 목적이 없음을 밝히면 ‘공정 이용＇으로 인정 받을 가능성도 있음.
2-2 가사 생성
가사 생성은 다양한 기업들이 진출해 있음.
1)주제어를 입력하면 그와 관련된 단어들이 랜덤으로 나오는 방식이나
2)‘사랑’, ‘이별’ 등 키워드와 ‘슬픔’, ‘기쁨’ 등의 무드값을 입력하면 관련 가사가 나오는 방식
3)ChatGPT 도 작사 툴로 사용 가능
1.Beatopia
랩부터 메탈까지 다양한 음악스타일 가사 지원
한 문장씩 제공해줌
2. ChatGPT
곡의 진행 방식 벌스/코러스/브릿지/ 아웃트로
구성을 알고 있어서, 주제/감정/스타일을 입력하면 결과물이 나옴
2-2 가사 생성
ChatGPT 작사 결과물 - 발라드 / 랩
팀원 평가:
곡의 구성대로 잘 나오나 전체적으로 유치함.
주제어로 제시한 키워드를 그대로 사용해서
은유 표현에 약함.
다만 작성해준 가사에서
동사와 형용사를 수정하고, 은유 표현을 추가하면 더욱 완성도가 높아짐.
기본 틀을 잡는 용도로 적합해 보임
3. 음원 생성 기술의 Top dog, Deepmind
회사명: Google Deepmind
CEO: 데미스 허사비스
Headquarter: 영국
직원: 약 1,000명
매출: 약 11억 달러
최근근황
- 차세대 LLM 기반 Gen AI “Gemini” 발표
- 날씨예측 AI Model “Graphcast” 발표
- 단백질 분자구조 생성 AI Model “Alphafold” 발표
3-1. Music LM - 소개
Text 기반 음원 생성 AI
장르, 시대상, 장소, 느낌, 음악의 목적 등 다양한 caption을 통해 음악생성 가능
현재 AI Test Kitchen을 통해 제한적으로 서비스를 오픈하여 운영 중
다만 저작권 문제로 인해 특정 아티스트, 보컬을 기반으로 한 음원은 생성불가
3-1. Music LM – How does it do that?
5,551개의 음악 샘플에 음악 전문가에 의해 레이블된 “aspect”와 “caption” data set을 학습
SoundStream, Bert, MuLan을 사용하여 레이블된 주파수를 추출, 학습 후 텍스트 input data를 역으로 음원으로 전환
3-1. Music LM – Evaluation
실제 써볼 기회는 없었으나, 공개된 예시 상 상당히 높은 자유도의 음원생성을 확인
Story mode 사용을 통해 음원 구간별 transition, beat drop 등 다양한 요소까지 컨트롤 할 수 있음
언어 학습도도 높아 보여 기존에는 시도하기 힘들었던 독특한 음악 생성도 가능 할 것으로 보임 (e.g 차분한 바이올린과 합주를 이루는 일렉기타 등)
높은 정밀도를 보인다면 실제 작곡 작업 간에도 텍스트 input을 활용하여 초기 작업 시간 소요를 절감할 수 도 있을 것으로 생각됨
3-2. Lyria - 소개
YouTube와 공동으로 발표한 Gen-AI 기반 음원 생성 AI
Lyria Model을 기반으로한 2가지 플랫폼발표
Dream Track: 원하는 아티스트의 보컬 및 음원 스타일을 기반으로 30초 shorts 용 음원 생성
Music AI Tools: 텍스트 기반 음원 생성 AI Tool,
3-2. Lyria - Evaluation
Dream Track: 아티스트들과의 협업을 통해 저작권 이슈 해결. 실제 작곡 업무와는 거리가 멀지만 오히려 일반인들이 간단하게 원하는 느낌을 만들고 싶을때 아티스트 선택을 통해 직관적인 배경음악 생성 가능
Music AI Tools: Music LM에서 한발자국 더 나아간 모습으로 보이며, 어느정도의 자유도와 정밀성을 보여주는지가 작곡업무 보완에 결정적일 것
4. 완성도 있는 음원을 만들기 위한 조건
우리도 상업음악을 정말 쉽게 완성할 수 있을까?
음악 생성
(가사 포함)
작사
코드
멜로디
반주
or
연주곡
완성도 높음
커스텀 가능
편의성
음악지식 불필요
악기 생성
보컬 생성
Component별 생성은 완성도가 높으나, 종합 작곡 시 음악적 지식이 필요하게 됨
전체 생성을 한 번에 할 수록 편리하지만 퀄리티가 떨어지고, 상세 요구사항 전달 어려움
코드 생성
코드에도 일반적으로 정해진 규칙(화성학)이 있기 때문에, 규칙을 추천한다는 관점에서
AI에게는 손쉽게 해결 가능한 문제
학습이 어려운 부분이 있을까?
코드, 멜로디, 가사까지는 모두 손쉽게 AI로 완성이 가능하나,
악기를 구성하고, 서로 간 조합이 어울리도록 음색을 만드는 것은 어려움
작사
코드
멜로디
악기 생성
보컬 생성
< 악기별 음색 세팅 방법 무수히 존재 >
학습으로 해결되지 않고, 표기법이 대체로 부족함 -> Labeling어려움
작곡가들은 원하는 소리를 어떻게 만들까?
작곡가들은 어떻게 AI를 사용할 수 있을까?
DAW 내 플러그인 형태로 상용 툴 나오고 있음
AI: 코드, 멜로디 추천 생성
사람: Tuning, 악기 + 드럼비트 얹기
->음악 완성
작곡 시 생산성을 높혀 주는 툴로써 활용될 수 있음
영감 부재 시 영감을 만들어 주고, 작곡 시 소요되는 시간을 단축
Musia
GIST AI대학원 안창욱 교수님 팀이 개발한 프로그램으로,
작곡 및 플러그인 Product를 각각 런칭하여 구독 형태로 판매 중
장점
약점
그 외 AI작곡 지원 회사 다수 존재
Musia _ AI 생성 EDM 공연 후기
Musia _ AI 생성 EDM 공연 후기
팀원 후기 :
AI가 만들기에는 ‘EDM’장르가 적합하다고 느껴짐
구성 상 특정 패턴 반복이 많고, BPM 등 비교적 통제할 수 있는 변인에 영향을 많이 받기 때문
AI가 만들었지만, 아직은 사람이 재생 및 트랜지션 필요
아쉽게도 특별함이 없음.
무난하고, 일반적인 음악만 생성되는 문제 존재
음악을 즐기기위한 공간이 아닌, 일반 매장이라면 괜찮았을 것
음악과는 별개로 데킬라를 공짜로 줘서 매우 좋았음. AI 만세!
우리의 결론
플러그인 활용,
인간과 AI의 Collaboration을 통한 작업물 창작
대체로 바로 음악이 짠 나오는걸 기대하지만, 현실은 그렇지 않다.
AI가 해줄 수 있는 분야들 나누면 이렇다
디테일한 요구사항(feat. 박진영)을 수용할 수 있는 모델 개발을 통해 Prompt로 만족할 수 있는 수준의 작곡 가능
Prompt만 쓰면 음악이 한 번에 ‘짠’하고 나오기를 기대하지만,
생각보다 Iteration이 많이 필요한 분야
음악이 주가 아닌 BGM,
단순 패턴 반복 EDM 영역 기반으로 적용 확률 높음
머신러닝 학습대상을 크게 세 가지로 나누는데, 텍스트, 이미지, 사운드.
텍스트 분야는 AI가 Competition 순위권에 들 것(e.g. 베스트셀러)라고 예측을 하지 않는 것과 같이,
사운드도 단기간 안에 인간 선호의 순위권에 들기 쉽지 않을 것이라 예상
현재
단기적
중장기적
우리의 결론
State of AI 2024년에 빌보드 Hot 100 진입 예측
진입이 가능할 수는 있으나,
처음부터 끝까지 AI로 만든 곡은 아닐 것
특히 최근에는 평범한 음악으로는 차트 진입이 어렵고, 브랜딩, 스토리 등 음악 외적 요소도 중요함
AI플러그인을 활용하여 후처리를 통해 가공된 음악은 충분히 상업적으로 성공할 수 있음
다만, AI툴 사용 여부 공개는 작곡자의 결정
번외. Suno AI 작곡+작사
A.주제를 주고 B. 장르를 지정하면
가사와 음악 모두 포함된 음악 한 번에 작곡 가능
현재 나온 상용 툴 중에 가장 간단하며 완성도 높음
A. “정채상교수님과 인공지능추천시스템 과제” 주제로
B. “컨트리 / 힙합” 장르 음악 생성
가사 생성을 위한 Chat GPT Prompt:
“KAIST라는 학교의 DFMBA(디지털 금융 MBA) 과정에서 '인공지능 추천 시스템' 이라는 과목의 과제로 음악을 만들고 싶어. 여기에 들어갈 가사가 필요한데, '정채상' 교수님을 포함해서 가사를 써 줘. 같이 듣는 학생들이 아주 재미있어 할 만한 스타일로 한국어 가사를 써 줬으면 좋겠어.”
감사합니다
QnA