GE-NEMO
개인화 감성 이모티콘 생성 서비스
3조: 김지우, 박성원, 성현주, 최윤수
고려대학교 지능정보SW아카데미
INDEX
01
02
03
04
개발 배경
외부 환경 및 도전 과제
시스템 구성
architecture/ ChatGPT
감정
데이터
05
06
07
모델 설명
Stable diffusion
서비스 구현
GE-NEMO Service
기대 효과
01
개발배경
시장환경
출처 : 카카오톡 보도자료(21년 11월)
이모티콘 시장은 성장 중
수익 시장 규모도 증가하는 추세
01
개발배경
사회적 논의
출처 : https://mobile.newsis.com/view.html?ar_id=NISX20230403_0002252248
하지만
카카오는 AI가 만든 이모티콘에 대한 입점을 제한
저작권과 관련된 정책과 제도의 미비로 다양한 논의가 진행 중
-> 타인의 저작권을 훼손하지 않는 데이터로,
각각의 결과물이 서로 다를 수 있도록 한다면 문제가 해결될 수 있다!!
동일한 결과물
(예술성 저하)
지적 재산권
침해 우려
01
개발배경
목표 설정
4. (추가) 이모티콘을 카카오톡에 바로 등록할 수 있는 형식으로 만들자
★ 프로젝트 목표
여러분 만의 니모, 찾지 말고 만들자!!!
02
시스템 구성
시스템 구성도
02
시스템 구성
Input : Text
- 동사를 포함하는 완전한 문장이 아닌, 명사를 수식하는 형태의 Prompt들이 대부분
★ 고품질의 이미지를 생성하는 Prompt Data Set
02
시스템 구성
CHAT GPT Module
- 주어-동사 형식의 완전한 문장으로 번역
- 사용자가 입력한 텍스트를 모델 입력에 적절한 번역 스타일(명사구)로 번역
타 번역 서비스
CHAT GPT Module
02
시스템 구성
Output
출처 : 카카오톡 이모티콘 스튜디오(https://emoticonstudio.kakao.com/)
02
시스템 구성
User Interface 구현 설계
02
시스템 구성
Concept Writing
원하는 컨셉을
설명하는 글 입력
POST 방식으로
입력된 데이터 이동
추가 개인화 여부 Page로 이동
Progress Bar
Concept Writing Page로 이동
02
시스템 구성
개인화 모드 / 간편 모드 선택
개인화 모드 :
감정 설정하기 Page로 이동
간편모드 :
이미지 생성 로딩 Page로 이동
Concept Writing Page로 이동
02
시스템 구성
개인화 모드 / 간편 모드 선택
★ 생성 모드가 왜 2가지일까?
Solution
(컨셉만 입력하는)
간편 모드 추가 도입
Original
개인화 모드
Problem
32개 세부 사항
텍스트 입력 부담
02
시스템 구성
개인화 모드 / 간편 모드 선택
| 개인화 모드 | 간편 모드 |
공통점 | 컨셉 디자인 텍스트 입력 | |
차이점 | 7가지 감정 수량 선택 각 감정 별 행동 묘사 텍스트 | 32가지 설정한 감정에 따른 행동 묘사 사용 |
리스트 생성 | 컨셉 디자인 + 감정 + 행동묘사 | 컨셉 디자인 + 설정된 감정 행동 묘사 |
★ 개인화 모드와 간편 모드의 차이 (입력 부분)
02
시스템 구성
개인화 모드 : 설정할 감정 이미지 수 정하기
감정 : 7가지 고정
7개의 감성 기능 박스에
개수를 입력
+ / - 버튼으로 수량 조절
(숫자 입력도 가능)
7가지의 감정에 입력된 숫자의 합 => 32개
이모티콘 생성 개수 => 32개
남은 이모티콘 수량을 알려줌
추가 개인화 여부 Page로 이동
세부 사항 입력 Page로 이동
02
시스템 구성
개인화 모드 : 이모티콘 세부 사항 입력 (1)
ex)가방을 메고 신난 걸음으로 달려간다.
ex)휘파람을 불며 걸어간다.
원하는 세부 사항을
설명하는 글 입력
POST 방식으로
입력된 데이터 이동
02
시스템 구성
개인화 모드 : 이모티콘 세부 사항 입력 (2)
이미지 생성 로딩 Page로 이동
감정 설정하기 Page로 이동
02
시스템 구성
이모티콘 생성이 진행중입니다.
32개의 이모티콘 생성 진행 Page
생성 완료되면 이모티콘 출력 Page로 이동
02
시스템 구성
이모티콘 생성 결과
n+1/32
Page 이동 버튼
n-1/32
Page 이동 버튼
자신이 설정한 경로로
이미지 파일 저장
n/32(넘버링) :
32장의 이모티콘 중 n번째 이모티콘
Concept Writing Page로 이동
03
감정
기본 감정의 분류
★ 많은 학자들이 발표한 기본 감정의 분류
간편 모드
개인화 모드
32가지 감정
(복합감정 포함)
6가지 감정
03
감정
폴 에크만의 6가지 기본 감정
출처 : EBS
03
감정
폴 에크만의 6가지 기본 감정
=> 기본 감정을 토대로 삼아, 개인이 직접 상황이나 행동을 묘사하는 것이 유저만족에 도움
사용 이유
03
감정
플루치크 감정 휠
기본 감정
(8가지)
기본 + 혼합 감정
(32가지)
<그림> 플루치크 감정 휠
04
데이터
데이터 원본
Microsoft- Fluentui-Emoji-768
04
데이터
데이터에 감정 클래스 부여
STEP 1
STEP 3
STEP 2
관련된 어휘가 드러난 유무
★ 감정 클래스 부여 과정
05
모델 설명
Stable diffusion
- 적은 컴퓨팅 리소스와 파라미터 수로 서비스가
Imagen, Parti 와 최신 같은 모델을 사용했을 때보다 상대적으로 가벼움
- KerasCV를 사용해 구현 할 수 있기 때문에 갖는 구현 편의성
- 다양성 => 파라미터를 조절함에 따라 모델이 다양하고 창의적인 이미지를 생성할 수 있다.
★ 왜, Stable Diffusion을 채택했는가?
05
모델 설명
Stable diffusion
★ Stable Diffusion의 구조
05
모델 설명
Stable diffusion
★ Fine-Tuning Stable Diffusion
High-performance image generation using Stable Diffusion in KerasCV
Emotion
Class
Image Data Set
Model
Text Prompt
Emotion Class Guide
(Fine-Tuning)
Original Text Data
05
모델 설명
Loss
★ Epoch 수에 따른 Loss 그래프
05
모델 설명
출력 이미지
7 epochs
★ Epoch
4 epochs
1 epoch
5 epochs
10 epochs
8 epochs
2 epochs
9 epochs
6 epochs
3 epochs
15 epochs
30 epochs
05
모델 설명
출력 이미지
Fear
Sadness
Disgust
Surprise
Happiness
Anger
★ 감정 이미지 출력
05
모델 설명
Semantic Segmentation
★ Semantic Segmentation
- 디지털 이미지를 여러 개의 픽셀 집합으로 나누는 과정
05
모델 설명
Semantic Segmentation
- Mask 처리 후, 배경 투명화 진행
Input Image
Mask Image
결과물 간의 학습 데이터 불일치
06
서비스 구현
GE-NEMO Service
Service URL : http://13.125.48.15/
07
결론
Ge-Nemo 프로젝트의 의의
- Text-Image Pair 데이터 셋에 감정 레이블링 작업을 통해 모델의 이미지 생성 과정을 Guiding 함으로써 그 점을 보완하였다.
2. AI 생성모델에 쏠리는 우려 섞인 시선을 시스템 차원에서 관리할 수 있다.
07
결론
Ge-Nemo 프로젝트의 의의
System
Model
시간이 필요한 기획
32장의 다양한 이미지
동일할지도 모르는 이미지
누구나 쓸 수 있는 텍스트
침해될지도 모르는 저작권
확실한 저작권 출처
생각을 바꿔보면
시스템을 바탕으로
생성AI로 인한 문제들을 해결할 수 있다!
감사합니다!