AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

BAF 670

December 8, 2024

이승국 (20224108)

중간·기말과제 vF (2023. 12. 08)

BAF670 – 중간 과제

고양이를 키운다

YES

IFC와 도보 10분 거리

INFP

2

2 Yes 1 No

여의도에 산다

YES

No.. But

BAF670 – 중간 과제

회사에서 하는 일 &�풀고 있는 문제들

• DFMBA 4기 이승국
• 나이: 35세 (88년생)
• 다니고 있는 회사:

​

DFMBA 과정, 이 과목이 영향을�주었으면 하는 내용

3

자기 소개

Basic Info

• 담당 업무: 해외 부동산 투자 및 운용
• 풀고 있는 문제들:
• 우량 자산을 어떻게 선별하고 확보할지?
• 건물 임차인이 나간다고 하면 붙잡아야 할지.. 아니면 새로운 임차인을 구할지?..
• 자산을 지금 팔아야 할지?.. 1년만 더 버틸지?..
• 투자자들을 어떻게 설득할지?

• 다양한 산업 내 AI, 데이터 분석 기법과 추천 시스템 등이 어떻게 활용되고 있는지?

1. 주제 선정 배경

• 지난 4월 Ghostwriter 977이라는 익명의 TikTok 사용자가 AI를 활용하여 Drake & The Weekend의 신곡 “Heart on My Sleeve”를 포스팅함 (약 16백만 뷰).

• 대중의 반응은 대체적으로 해당 곡이 Drake와 Weekend 등 각 가수의 독창적인 목소리 톤, 창법, 심지어 가사까지 굉장히 유사하다 느끼며 큰 호응을 얻었으며 미국 빌보드 15위 기록
• 반전으로 해당 음원의 창작자가 실제로 AI를 활용한 부분은 목소리 변조 필터 뿐이며, 가사, 음악 비트, 노래는 창작자가 직접 제작하였음.
• Drake 및 Weekend는 음원 스트리밍 사이트 등에 저작권 이슈 등을 사유로 재생 중단시킴

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

4

1. 주제 선정 배경 (계속)

AI가 주도적으로 상업적으로 성공할 수 있는 유의미한 작품을 만들 수 있을지?

AI는 인간의 창작활동을 지원하는 역할로 제한될 것인지?

• 예를 들어 사용자의 prompt 입력을 받으면 AI가 직접 영화 시나리오를 제작하고 CG 영상 등을 제작하는 등 창작할 수 있는지?

​

• 예를 들어 영상 편집, 영화 스크립트 작성 등 영화 제작 프로세스의 일부 기능만을 담당하거나 지원하고 있는지?

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

5

2. AI를 활용해 제작된 영화작품들

• 2016년 출시된 영화 Sunspring은 AI가 본격적으로 활용된 첫 단편영화 (9분)이며, 학습된 LSTM기반 모델을 통해 영화 대본을 작성함

• 영화: Sunspring (2016년 출시)
• 장르: Sci-fi
• 감독: Oscar Sharp
• 대본: Benjamin (LSTM 기반 모델; 80-90년대 영화 대본 약 100개를 데이터로 train)
• 제작기간: 48시간
• 제작방법: Benjamin은 배우들의 대사, 배경 음악 가사, 무대 연출 등을 세부적으로 작성했으며, 감독은 그러한 대본을 바탕으로 실제 배우 및 스태프들과 촬영함.
• IMDB 평점: 5.5/10점
• 비고: 개연성 없고 기괴한 대사들이 많음.�(예: In a future with mass unemployment young people are forced to sell blood. It's something I can do. You should see the boy and shut up. I was the one who was going to be 100 years old. I saw him again. The way you were sent to me, that was a big, honest, idea. I am not a bright light. Well, I have to go to the Skull.)

“AI가 금융부터 의료까지 우리의 일자리를 위협하고 있지만, AI 알고리즘에 의해 작성된 최근의 단편영화를 보면, 시나리오 작가들은 아직 한동안 안전할 것 같습니다.”

<실리콘리퍼블릭>

• LLM 이전 시대의 LM인 Benjamin을 통해 제작됨
• 학습된 dataset의 퀄리티, LSTM 모델의 한계 등을 감안하여도 대체적으로 캐릭터 간 관계구축, 스토리 개연성 개발 측면에서 부족하다는 평이 많았음.

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

6

2. AI를 활용해 제작된 영화작품들 (계속)

• 지난 1년 동안 DALL-E, ChatGPT 등을 활용한 영상 및 대본 제작 기능이 대폭 강화되어 실험적인 작품들이 대거 출품됨

• 단, Mainstream 제작사에서는 AI가 아직까지는 비주얼 이펙트, 영상편집/합성 측면에서 중점적으로 사용되는 추세인 것으로 보임.
• 만약 AI를 사용한다 하더라도 AI 생성 영상에서는 사람의 미묘한 감정 등을 아직까지 효과적으로 표현하고 있지 못해서 실제 배우 캐스팅은 필수라고 함
• D-ID나 Runway AI를 통해 생성된 영상들은 아직까지 어색한 부분이 많으며 움직임이 많은 영상에는 적합하지 않은 것으로 보임.

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

7

2. AI를 활용해 제작된 영화작품들 (계속)

• 영화의 순수 창작 영역에서는 AI가 아직까지 인간을 대체하기에는 시기 상조

• 인간의 미묘한 감성 (human storytelling)이 요구되는 Scriptwriting 영역에서는 인간 전문가를 지원하는 Co-Writer로서 아이디어 brainstorming 측면에서 충분히 활용 가능
• 이외로 labor intensive하고 비용이 많이 소요되는 비쥬얼 이펙트나 영상 편집/합성 분야에서 AI가 지금도 효과적으로 많이 활용되고 있음.

영화의 순수 창작 영역에서의�AI 활용법

• 영화 제작 프로세스 중 가장 많은 시간이 소요되고 노동 집약적인 부분이 Scriptwriting (대본 제작)임.
• 현재 활용 가능한 ChatGPT, Scriptbook, Google Dramatron (영화 스크립트 전문 LLM) 등을 통해 일부 input (간단한 plot 등)을 입력하면 배우 대사, 무대 연출 등을 포함한 대본이 생성
• 다만, 미묘한 human storytelling를 통한 각 캐릭터의 성격 구축, 세밀한 감정 묘사, 대사의 창의성 등 영역에서 AI가 현재까지는 역부족이라고 함.
• Scriptwriting 과정을 단축시키고 아이디어 영감을 얻기 위해 AI가 Co-Writer 지위에서 활용될 것으로 전망됨
• Storyboard 제작 과정에서 AI가 크게 활용될 것

​

AI가 도구로서 영화 창작을�지원하는 방법

• 자막 제작, 외국어 더빙 (실제 배우)
• 비쥬얼 이펙트, 영상 편집 및 합성 등
• 이미지 제작
• AI (예: Scriptbook)를 통한 영화 Script, 재무적 성공률, 소요 예산, 고객층 분석, 성평등 요소 등

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

8

3. AI를 활용한 음악 작곡 트렌드

• Google MusicLM, Dream Track을 통해 “text to audio” 기능을 사용할 수 있으며, 음악 비전공자들 또한 쉽게 작곡 가능

• 다만, 현존하는 작곡 AI 프로그램들은 sampling 기법에 의존하고 있는 것으로 보이며, 고난이도의 독창적인 작곡을 하거나 사용자가 직접 작곡하는 과정을 지원하는 요소는 적어 보임.
• 특정 가수의 목소리 또는 일반 사용자의 목소리를 vocal에 입히는 기능이 큰 인기를 끌고 있으나, 저작권 측면에서 가수들이 반발하고 있음.

Google Dream Track AI (Lyria)

• 사용자는 음악 아이디어 (text)를 prompt에 입력하고 아티스트를 골라서 30초 길이의 사운드트랙을 만들 수 있음.
• 아티스트들은 향후 자신의 목소리에 저작권 보호를 받으며 추가 수익 창출 기대 가능

Audioshake

• AI를 활용하여 곡들의 vocal, drum, guitar, bass 등 독립적인 사운드를 개별 stem으로 분리하여 저장
• 아티스트들은 과거 음악들을 stem 별 분리하여 음악적 실험이 가능함

Google MusicLM

• Text to music 지원
• 분위기, context에 맞는 음악 자동 생성
• 타 모델과 달리 직접적으로 음원을 고르지 않아도 적절하게�음원을 선별 및 조합하여 end product 창작

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

9

4. AI를 활용한 웹툰 창작 트렌드

• 웹툰의 ‘그림’ 측면에서 작업의 효율성을 강화하거나 실제 그림을 생성해주는 AI가 출시되었고 점차 활용되고 있음.

• Lionrocket의 Genvas AI를 활용하여 웹툰 그림 제작 시 제작 시간을 10배 빠르게, 비용은 50% 이상 절감할 수 있다고 함.
• 채색 작업 등 “노가다”성 작업 시간을 단축해주는 네이버 AI페인터는 작가들 사이에서 많이 사용되고 있음. ‘21년 10월 출시 후 2년 동안 작가들이 72만장 채색함 (학습데이터의 2배 +)
• 웹툰 구독자들은 AI를 사용한 그림 보정작업에도 상당한 거부 반응을 보이고 있으나, 현실적으로 웹툰작가의 한 회 제작 시 주 150시간이 필요한 점을 감안한 사회적 법적 합의가 필요

네이버 AI페인터

• ’21년 10월 출시되었으며, 웹툰 30만장의 데이터를 학습한 웹툰 채색에 특화된 AI임
• 특정 색을 고른 후 그림의 특정 부분을 one touch로 클릭하면 그림의 context에 맞게 자동 채색
• 여러가지 스타일의 채색을 손쉽게 비교 및 적용 가능

LIONROCKET의 Genvas

• 그림 작가의 소량의 그림을 학습하여 AI가 학습된 화풍으로 여러 각도, 일관된 캐릭터 얼굴과 복장을 유지하는 등 웹툰에 최적화된 그림 생성
• 콘티, 스케치 등 전통적인 그림 제작 프로세스를 스킵하고 최종 그림을 바로 생성할 수 있어 제작시간과 비용 대폭 감소 가능
• 그림 작가들은 자신의 화풍에 대한 저작권을 Genvas에 판매 가능
• 웹툰 제작사나 웹소설 IP를 갖고 있는 플랫폼 등에서 웹툰을 손쉽게 제작할 수 있고, 일반 작가들 또한 본인들의 화풍을 학습시켜 본인들의 작품에 활용 가능한 장점이 있음

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

10

5. 헐리우드 파업 논란

• Netflix와 같은 OTT 시대로 전환했으나, 배우 및 작가들에 대한 분배 방식은 여전히 옛날 방식으로 재방료 개념이 없어 고정된 소정의 로열티만 배우 및 작가들에 지급되고 있음

🡪 OTT 작품의 수익을 실적 (조회수)에 맞게 배우 및 작가들에 분배 요구

• ChatGPT 등 AI를 활용한 Scriptwriting은 작가들은 모두 실직자로 만들 수 있음
• (Digital Replica, Deepfake) 배우들을 AI로 대체하려는 움직임. 특히 무명 배우들의 얼굴과 몸을 스캔한 후 해당 스캔본에 대한 소유권을 독점해 향후 제작하는 영화나 드라마에 계속 사용

재방료 기준 확립

원고료, 출연료 인상

AI 사용 관련 규제

논점

합의 결과

• OTT는 짧은 기간에 수많은 편수의 작품들을 쏟아내는 전략을 취하고 있으며, 그러는 과정에서 작가, 배우들의 노동 시간은 급증했는데, 시즌당 회차는 적어 수입이 오히려 줄어든 효과 발생

• OTT 작품에 대한 재방료 제도 확립 (2024년부터 �미국 구독자의 조회 비중에 따라 로열티 지급)
• OTT 오리지널 작품들의 흥행 성적, 조합측에 투명 공개

• 최저 원고료 인상
• 제작비에 따른 원고료 로열티 지급

• (AI를 활용한 각본 집필 규제) AI가 일부 작업을 담당하여 인간 작가에게는 원고료의 반만 주는 등의 행위 금지
• 작가가 원할 경우 사측 동의 하에 AI 사용 가능하나 사측은 AI 사용 강요 불가

• 시나리오 작가들과 배우들은 AI가 지금 당장 모두를 대체하지는 않겠지만 장기적으로 인간을 대체할 수 있다고 믿고 있고, 특히 Main 작가나 탑급 배우들은 살아남을 태지만 무명 작가들이나 배우들이 성장하고 생계를 이어갈 자리를 AI가 뺏을 것이라고 믿고 있음.

BAF670 – AI 생성 창작물 (영화, 웹툰, 음악 등) 관련 트렌드 분석

11

THANK YOU