음성 데이터를 활용한
치매 증상 감지
4조 - 맑은소리
이유림
김성룡
문지원
한동훈
허원준
맑은 소리
주제 선정 배경
프로젝트 목적
02
시스템 구조
04
기대 효과와 활용 전략
06
01
목차
맑은 소리
사용 데이터
03
시스템 구현
05
맑은 소리
팀원 소개
이유림
김성룡
문지원
한동훈
허원준
LLM 챗봇 개발
앱 구현
데이터 수집·특성 추출
치매 분류 모델 학습
기획안 작성
자료 조사
포스터 작성
PPT 제작
LLM 데이터 구축
결과 리포트 작성
중앙치매센터 대한민국 치매현황 2022 보고서
맑은 소리
주제 선정 배경
노인 인구수의 증가
500
1000
1500
2000
단위
: 만 명
년
Nature 논문: "Global burden of young-onset dementia, from 1990 to 2021"
맑은 소리
주제 선정 배경
조기 발현(만 65세 이하) 치매 환자 수 증가 추세
2배 이상
증가
년
단위
: 백만 명
맑은 소리
주제 선정 배경
세종특별자치시 치매센터 조기 발견과 지속 치료의 중요성 2021
무증상 단계 건망증 단계 치매 단계
인지 능력
조기 발견의 중요성
월
(%)
단위
: (%)
맑은 소리
프로젝트 목적
음성 데이터 분석 → 치매 감지
치매 여부를 정량적인 점수(0~100점)로 표현함으로써 상태를 명확히 파악 (높은 점수일수록 치매 증상 多)
지속적인 모니터링
이상 징후를 지속적으로 모니터링함으로써 조기 대응 및 관리 가능
맑은 소리
사용 데이터
성별
진단결과
노이즈 감소 파일
스크립트 전문 텍스트
나이
맑은 소리
사용 데이터
맑은 소리
시스템 구조
朝
鮮
맑은 소리
KoAlpaca-Polyglot-5.8
AI Hub
시스템 구현
- LLM(Large Language Model)
맑은 소리
시스템 구현
할머니, 오늘 하루는 어떠셨어요?
오늘은 참 지루한 하루였어.
내일은 주변 산책을 나가보시는 건 어때요?
그래, 그거 참 좋은 생각이네
- LLM(Large Language Model)
맑은 소리
시스템 구현
음향 특성
모델
발화 특성
모델
복합 특성 모델
맑은 소리
시스템 구현
- 음향 특성 모델
스펙트로그램
멜 스케일
멜 스펙트로그램
맑은 소리
시스템 구현
정상
경도 인지 장애
치매
- 음향 특성 모델
시스템 구현
- 음향 특성 모델
맑은 소리
음향 특성 CNN
성별 특성 MLP
+
멀티모달 구조
Mel-Spectrogram
맑은 소리
- 발화 특성 모델
시스템 구현
맑은 소리
Random Forest
- 발화 특성 모델
시스템 구현
Elastic Net
XGBoost
발화특성
나이
- 복합 특성 모델
맑은 소리
음향 특성 CNN
발화·나이·성별 특성 MLP
+
시스템 구현
멀티모달 구조
시스템 구현
맑은 소리
정확도
정확도
맑은 소리
시스템 구현
오늘은 참 지루한 하루였어.
그래, 그거 참 좋은 생각이네.
정상/치매 1차 분류
치매일 경우 경증/중증 2차 분류
맑은 소리
시스템 구현
맑은 소리
시스템 구현 결과
김성룡
정상
맑은 소리
시스템 구현 결과
김성룡
정상
매니저님
정상
유튜브 할머니
경증
유튜브 할머니
경증
유튜브 할아버지
치매
- 항시 음성 데이터 수집 가능
- 현재 지역 사업으로 독거 노인들에게 제공 중
- 대화 분석 결과로 병원 방문 권유 가능
- 치료 효과의 극대화
- 치매 환자 모니터링 관리
치매 조기 발견
맑은 소리
기대 효과와 활용 전략
(주) 임팩트 피플스
노인 돌봄에 AI 스피커를 사용할 의향
노인 돌봄 AI 스피커에 활용
없음
27.1%
있음
72.9%
1. 국내 치매 환자 성별 비율
2016년 기준 전국 치매환자 중 여성은 약 71.3%, 남성은 28.7%로 7:3의 비율을 보인다.
2021년 기준 65세 이상 치매 환자 약 88만6천 명 중 여성 비율은 61.7%, 남성은 38.3%로 나타났다.
2. 음향 특성에 성별 넣은 이유
남성 여성의 목소리(주파수)가 다르기 때문이다.
3. 이미지(2차원) CNN에서 학습하는 이유
이미지의 공간적 구조와 지역적 패턴을 효과적으로 학습할 수 있음
4. 1차원 MLP에서 학습하는 이유
1차원 벡터 데이터를 입력 받아 복잡한 패턴 분류 및 예측이 가능함
5. 멀티모달 정의 및 효과
여러 종류의 데이터를 동시에 처리하는 구조
이미지의 시각적 정보와 숫자, 실수의 수치적 정보를 동시에 반영해 단일 모델만 사용할 때보다 각각의 데이터 특성을 살리므로 더 정확한 예측이 가능