1 of 37

GE-NEMO

개인화 감성 이모티콘 생성 서비스

3조: 김지우, 박성원, 성현주, 최윤수

고려대학교 지능정보SW아카데미

2 of 37

INDEX

01

02

03

04

개발 배경

외부 환경 및 도전 과제

시스템 구성

architecture/ ChatGPT

감정

​

데이터

​

05

06

07

모델 설명

Stable diffusion

서비스 구현

GE-NEMO Service

기대 효과

​

3 of 37

01

개발배경

시장환경

출처 : 카카오톡 보도자료(21년 11월)

​

이모티콘 시장은 성장 중

수익 시장 규모도 증가하는 추세

4 of 37

01

개발배경

사회적 논의

출처 : https://mobile.newsis.com/view.html?ar_id=NISX20230403_0002252248

하지만

​

카카오는 AI가 만든 이모티콘에 대한 입점을 제한

​

저작권과 관련된 정책과 제도의 미비로 다양한 논의가 진행 중

-> 타인의 저작권을 훼손하지 않는 데이터로,

각각의 결과물이 서로 다를 수 있도록 한다면 문제가 해결될 수 있다!!

동일한 결과물

(예술성 저하)

지적 재산권

침해 우려

5 of 37

01

개발배경

목표 설정

  1. 사람들이 독창적인 이모티콘을 가질 수 있도록 개인화 요소를 넣은 서비스를 개발하자

​

  • 상업적 이용하기에 무리가 없도록, 모델 학습 과정에서 적절한 데이터를 이용하자

​

  • Text to Image 모델이 감정을 표현할 수 있도록 하자

​

4. (추가) 이모티콘을 카카오톡에 바로 등록할 수 있는 형식으로 만들자

​

★ 프로젝트 목표

여러분 만의 니모, 찾지 말고 만들자!!!

6 of 37

02

시스템 구성

시스템 구성도

7 of 37

02

시스템 구성

Input : Text

- 동사를 포함하는 완전한 문장이 아닌, 명사를 수식하는 형태의 Prompt들이 대부분

★ 고품질의 이미지를 생성하는 Prompt Data Set

8 of 37

02

시스템 구성

CHAT GPT Module

- 주어-동사 형식의 완전한 문장으로 번역

- 사용자가 입력한 텍스트를 모델 입력에 적절한 번역 스타일(명사구)로 번역

타 번역 서비스

CHAT GPT Module

9 of 37

02

시스템 구성

Output

  • 사용자가 카카오톡의 이모티콘 업로드가 목표

​

  • 멈춰있는 이모티콘에 업로드할 이모티콘 생성

​

  • 32개의 이미지 이모티콘

​

  • 360 x 360의 이미지 (PNG 이미지 파일 형식)

​

  • 용량 150KB 이하 (1개당)

​

  • 투명 배경 적용

출처 : 카카오톡 이모티콘 스튜디오(https://emoticonstudio.kakao.com/)

10 of 37

02

시스템 구성

User Interface 구현 설계

  • Form Wizard Style
  • 6 Step Processing
  • Progress Bar
  • Back /Next Button

11 of 37

02

시스템 구성

Concept Writing

원하는 컨셉을

설명하는 글 입력

POST 방식으로

입력된 데이터 이동

추가 개인화 여부 Page로 이동

Progress Bar

Concept Writing Page로 이동

12 of 37

02

시스템 구성

개인화 모드 / 간편 모드 선택

개인화 모드 :

감정 설정하기 Page로 이동

간편모드 :

이미지 생성 로딩 Page로 이동

Concept Writing Page로 이동

13 of 37

02

시스템 구성

개인화 모드 / 간편 모드 선택

★ 생성 모드가 왜 2가지일까?

Solution

(컨셉만 입력하는)

간편 모드 추가 도입

Original

개인화 모드

Problem

32개 세부 사항

텍스트 입력 부담

14 of 37

02

시스템 구성

개인화 모드 / 간편 모드 선택

​

​

개인화 모드

​

간편 모드

​

공통점

​

컨셉 디자인 텍스트 입력

​

차이점

​

7가지 감정 수량 선택

각 감정 별 행동 묘사 텍스트

​

32가지 설정한 감정에

따른 행동 묘사 사용

​

리스트 생성

​

컨셉 디자인 + 감정 + 행동묘사

​

컨셉 디자인 + 설정된 감정 행동 묘사

★ 개인화 모드와 간편 모드의 차이 (입력 부분)

15 of 37

02

시스템 구성

개인화 모드 : 설정할 감정 이미지 수 정하기

감정 : 7가지 고정

7개의 감성 기능 박스에

개수를 입력

+ / - 버튼으로 수량 조절

(숫자 입력도 가능)

7가지의 감정에 입력된 숫자의 합 => 32개

이모티콘 생성 개수 => 32개

남은 이모티콘 수량을 알려줌

추가 개인화 여부 Page로 이동

세부 사항 입력 Page로 이동

16 of 37

02

시스템 구성

개인화 모드 : 이모티콘 세부 사항 입력 (1)

ex)가방을 메고 신난 걸음으로 달려간다.

ex)휘파람을 불며 걸어간다.

원하는 세부 사항을

설명하는 글 입력

POST 방식으로

입력된 데이터 이동

17 of 37

02

시스템 구성

개인화 모드 : 이모티콘 세부 사항 입력 (2)

이미지 생성 로딩 Page로 이동

감정 설정하기 Page로 이동

18 of 37

02

시스템 구성

이모티콘 생성이 진행중입니다.

32개의 이모티콘 생성 진행 Page

생성 완료되면 이모티콘 출력 Page로 이동

19 of 37

02

시스템 구성

이모티콘 생성 결과

n+1/32

Page 이동 버튼

n-1/32

Page 이동 버튼

자신이 설정한 경로로

이미지 파일 저장

n/32(넘버링) :

32장의 이모티콘 중 n번째 이모티콘

Concept Writing Page로 이동

20 of 37

03

감정

기본 감정의 분류

★ 많은 학자들이 발표한 기본 감정의 분류

간편 모드

개인화 모드

32가지 감정

(복합감정 포함)

6가지 감정

21 of 37

03

감정

폴 에크만의 6가지 기본 감정

출처 : EBS

​

22 of 37

03

감정

폴 에크만의 6가지 기본 감정

  1. 얼굴 표정 접근법 기반 체계

​

  • 이모티콘 캐릭터의 핵심은 얼굴 표정
  • 적용에 용이할 것으로 판단.
  1. 확장성을 바탕으로 개인화에 이점

​

  • 기본 감정이 다른 감정들과 합쳐져 복합적인 감정으로 심화
  • 사람들은 똑같은 감정을 느끼면서 다르게 행동하기도 함
  • 복합 감정의 경우 다른 감정이지만, 표정상으로 비슷할 수도 있음 => 유저의 불만족 요인

=> 기본 감정을 토대로 삼아, 개인이 직접 상황이나 행동을 묘사하는 것이 유저만족에 도움

사용 이유

23 of 37

03

감정

플루치크 감정 휠

기본 감정

(8가지)

기본 + 혼합 감정

(32가지)

<그림> 플루치크 감정 휠

24 of 37

04

데이터

데이터 원본

Microsoft- Fluentui-Emoji-768

​

  • Fine Tuning을 위해 사용

​

  • Text, image의 pairset으로 이루어짐

​

  • Mit license로 상업적 이용 가능

​

  • 인물의 표정이 드러난 이미지 다수

​

  • 텍스트는 이미지를 묘사

25 of 37

04

데이터

데이터에 감정 클래스 부여

STEP 1

STEP 3

STEP 2

  • TEXT에 직접 클래스와

관련된 어휘가 드러난 유무

​

  • 사물 이미지 또는 이미지나 텍스트에서 감정을 도출하지 못하면 중립(Nuetral)

★ 감정 클래스 부여 과정

26 of 37

05

모델 설명

Stable diffusion

- 적은 컴퓨팅 리소스와 파라미터 수로 서비스가

Imagen, Parti 와 최신 같은 모델을 사용했을 때보다 상대적으로 가벼움

​

- KerasCV를 사용해 구현 할 수 있기 때문에 갖는 구현 편의성

​

- 다양성 => 파라미터를 조절함에 따라 모델이 다양하고 창의적인 이미지를 생성할 수 있다.

★ 왜, Stable Diffusion을 채택했는가?

27 of 37

05

모델 설명

Stable diffusion

★ Stable Diffusion의 구조

28 of 37

05

모델 설명

Stable diffusion

★ Fine-Tuning Stable Diffusion

High-performance image generation using Stable Diffusion in KerasCV

Emotion

Class

Image Data Set

Model

Text Prompt

Emotion Class Guide

(Fine-Tuning)

Original Text Data

29 of 37

05

모델 설명

Loss

★ Epoch 수에 따른 Loss 그래프

30 of 37

05

모델 설명

출력 이미지

7 epochs

★ Epoch

4 epochs

1 epoch

5 epochs

10 epochs

8 epochs

2 epochs

9 epochs

6 epochs

3 epochs

15 epochs

30 epochs

31 of 37

05

모델 설명

출력 이미지

Fear

Sadness

Disgust

Surprise

Happiness

Anger

★ 감정 이미지 출력

32 of 37

05

모델 설명

Semantic Segmentation

★ Semantic Segmentation

- 디지털 이미지를 여러 개의 픽셀 집합으로 나누는 과정

  • 이모티콘 생성물과 배경을 분리해서 이모티콘 생성물을 Mask 하도록 함

33 of 37

05

모델 설명

Semantic Segmentation

- Mask 처리 후, 배경 투명화 진행

​

  • 앞의 Sementic Segmentation 모델에서 mask 처리를 못 하여 투명화 작업을 할 수가 없었음

Input Image

Mask Image

  • Mask된 이미지가 생성되지 않음

​

  • 학습 데이터와 이모티콘 생성

결과물 간의 학습 데이터 불일치

34 of 37

06

서비스 구현

GE-NEMO Service

Service URL : http://13.125.48.15/

35 of 37

07

결론

Ge-Nemo 프로젝트의 의의

  1. 기존 Text to Image 모델이 추상적 개념인 감정을 이미지로 표현해 내는 데에 한계

- Text-Image Pair 데이터 셋에 감정 레이블링 작업을 통해 모델의 이미지 생성 과정을 Guiding 함으로써 그 점을 보완하였다.

​

2. AI 생성모델에 쏠리는 우려 섞인 시선을 시스템 차원에서 관리할 수 있다.

​

36 of 37

07

결론

Ge-Nemo 프로젝트의 의의

System

Model

시간이 필요한 기획

32장의 다양한 이미지

동일할지도 모르는 이미지

누구나 쓸 수 있는 텍스트

침해될지도 모르는 저작권

확실한 저작권 출처

생각을 바꿔보면

시스템을 바탕으로

생성AI로 인한 문제들을 해결할 수 있다!

37 of 37

감사합니다!