AI 기반 화자 음성 감정 인식을 통한

자폐 스펙트럼 장애 소통 보조 어플리케이션 개발

연구팀 명: 아이엠

연구 팀원: 김지예, 양윤정, 구유정, 구수진, 김지영, 정혜영

‘자폐 스펙트럼 장애’ 를 가진 사람과 같이

화자의 감정을 인식하는데 어려움을 느끼는 사람들을 대상으로 한

보조적 의사소통 수단이 필요

• 문제 인식: 시각 이외의 감각을 이용한 훈련 부재, 실시간 소통 보조 수단 부재

• 해결안: 휴대용 기기에서 사용할 수 있는 청각 기반의 실시간 소통 보조 어플 개발

시각적 자료 기반의 학습 이미지

음성 인식 기술을 이용한 소통 보조 학습 활동

연구 목표

• 한국어 감정 데이터를 이용한 음성 감정 인식 딥러닝 모델 제작

​

• 실시간 음성을 입력하면 감정을 분류해주는 프로그램 제작

​

• 어플리케이션 구현

• MFCC (Mel-Frequency Cepstral Coefficient)
• Mel Spectrogram Frequency
• Chroma
• Contrast
• Tonnetz

Handcrafted feature

• state of the art 논문 모델 사용
• Input: Log-spectrograms
• Network: CNN-BLSTM

​

Papers 참고 내용

CNN Bi-LSTM Architecture

CNN – LSTM

데이터 분석 및 모델 제작

AI-HUB 한국어 음성 감정 인식 데이터세트

• 연속된 발화문
• 상황(situation): 연속된 발화문이 이루어진 상황(주제)에 대한 감정
• 5명의 작업자가 감정과 감정세기 labeling을 진행
• 4차(14606개), 5차(10011개) 데이터 세트

:상황 5가지, label 7가지

• 5-2차 데이터 세트(19374개) : 상황 7가지, label 7가지

​

Dataset 경향성 및 특징 파악

Labeling

Situation

• 오디오 음성 데이터 1440개
• 24명의 배우가 주어진 감정 상황에 맞추어 녹음.
• 발화문: 2개

("Kids are talking by the door", "Dogs are sitting by the door“)

​

The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS)

• Epoch = 3000

​

• Train : Validation : Test = 8 : 1 : 1

​

• Test accuracy: 57.3%

​

​

MLP (RAVDESS 데이터세트)

• 모델 및 정확도 (sklearn library 사용):

모델 계획 및 제작 (1)

4. AI-HUB

모델 계획 및 제작 (2~5)

모델 계획 및 제작 (2~5) 특징

• Audio feature

- Mel spectrogram frequency 사용

​

• Data preprocessing

- Mel Spectogram Chunking

- Add Additive White Gaussian Noise for data augmentation

​

• Train : Validation : Test = 8 : 1 : 1

모델 계획 및 제작 (2~5) 특징

모델 계획 및 제작 (2~5)

Parallel 2D CNN – Transformer Encoder Model (RAVDESS)

음성 데이터로부터 감정 추출 프로그램 제작

Input

Output

음성 감정 인식 모델

음성 데이터

음성 특징을 추출하여�7가지의 감정으로 �분류

화자의 감정

음성 데이터로부터 감정 추출 프로그램 제작

청각 기반의 실시간 소통 보조 웹 어플 ‘YOU ARE’ 개발

• 말하는 화자의 감정을 분석해 감정을 알려주는 어플리케이션 ‘YOU ARE’
• 상대방의 감정 인식에 어려움을 느끼는 사람을 위한 청각 기반 의사소통의 보조적 수단 개발 목표

🡺 의사소통의 어려움 개선

🡺 교육의 보편화

• 인식된 화자의 음성데이터를 DNN 알고리즘을 통해 분석
• 대화 참여자의 음성에서 감정과 텍스트를 분석, 맥락 상 감정을 7가지 화면에 표시를 목표

연구 의의

• 최신 논문을 바탕으로 speech emotion recognition 모델을 계획 및 구현
• Trained model을 바탕으로 어플리케이션을 제작
• 휴대용 청각 기반 소통 보조 어플 개발을 통해 ASD를 가진 사람들의 소통을 도움을 줄 수 있음

- 실제 대화에서 사용하여 원활한 맥락적 소통을 가능하게 함

- 고가의 특수 기기가 아니라, 웹 어플로 접근가능성과 진입장벽을 낮춤�

향후 계획

대화 모드 구현 ( ~ 11월 30일)

​

‘상대방’이 말을 할 때에만 녹음을 시작과 중단하는 것이 아니라, 자동으로 ‘상대방’을 인식할 수 있도록 함.

​

화자를 인식하여 사용자들이 대화를 하면,

화자를 ‘상대방’과 ‘나’로 분류하여�실시간으로 감정의 변화를 음성과 텍스트로 정보 제공

�🡪 의사소통에 보조 수단이 될 수 있도록 함을 목표로 함.

향후 계획

Google Playstore에 You Are 앱 출시 (12월)

​

​

실제로 사용자가 사용할 수 있도록 Android OS 기반인 Google Playstore에 앱을 출시할 계획��🡪 실생활에서 상대방과의 대화에서,�화자의 감정을 알려주어 의사소통을 도울 수 있도록 함.

You Are 앱

감사합니다.

참고 문헌

Reference Papers

​

• Etienne, Caroline, et al. (2018) Cnn+ lstm architecture for speech emotion recognition with data augmentation. arXiv

​

• Zhao, J. et al. (2019) Speech emotion recognition using deep 1D & 2D CNN LSTM networks. ELSEVIER

​

• Lee, C. M. et al. (2005) Toward Detecting Emotions in Spoken Dialogs. IEEE

​

• MUSTAQEEM et al. (2020) Clustering-based speech emotion recognition by incorporating learned features and deep biLSTM. IEEE

​

​

• CNN 모델 사진 https://www.researchgate.net

​

• LSTM 모델 사진 https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr

​

• 모델 정확도 사진 https://github.com/x4nth055/emotion-recognition-using-speech

​

​

​

​

​