1 of 1

고령층을 위한 음성 기반 주문 서비스

신홍재 김성룡 김원우 한동훈

Ⅰ.주제 선정 배경

Ⅱ.구현

Ⅲ.기대효과 및 활용방안

기대효과

스마트홈 · IoT 음성비서연동

배달 앱을 직접 실행하지 않고,

자연스러운 대화로 자동 주문

활용방안

Kb국민카드 data root – 시니어 소비, 2040세대보다 매출액 증가율 앞서

70대 이상 고령층의 디지털 정보화 활용 수준.

시스템 구조도

주문 처리 시간 단축

50%

시각장애인 보조 플랫폼

음성만으로 주문할 수 있기 때문에,

시각장애인 보조용으로 활용 가능

오프라인 매장 활용

키오스크, 주문 태블릿 등

오프라인 매장에 활용 가능

STT 모델 파인튜닝

* WER: 단어 오류율, CER: 글자 오류율

STT

음성→텍스트 변환

벡터 DB

가게 정보 제공

Android​

Mobile

Node.js

NLU

의도 분석

DB

주문 정보 저장

FSM​

주문 상태 관리

RAG / LLM

정보 검색

답변 생성

Backend

• 최근 65세 이상 고령층의 스마트폰 이용이 빠르게 증가하고 있으나,
• 디지털 활용 역량은 여전히 낮은 수준
• 음성 인식 기반 배달 주문 AI 모델을 통해

고령층이 화면 조작 없이 쉽게 음식 주문할 수 있도록 지원하며,� 디지털 소외 해소와 배달 서비스의 포용성 강화를 목표로 프로젝트 진행

AI Processing

• 본 모델 도입을 통해 고령층의 음식 배달앱 이용률 약 2배 증가 예상
• 음성 기반 인터페이스로 고령층의 접근성과 사용 편의성이 향상되어

주문 처리 시간 약 50% 단축 가능

• 모바일 앱 – 서버 – AI 모듈로 구성
• 고령층이 전화로 주문하듯

음성으로 배달 주문 가능하도록 설계

​

1. STT : 음성을 텍스트로 변환

2. NLU : 사용자의 의도를 파악

3. FSM : 주문 흐름을 제어

4. RAG / LLM : 음식점과 메뉴 정보를 정확하고 개인화된 방식으로 제공하는 구조

• Whisper-medium을 지역별 방언 음성 데이터로 파인튜닝 후 ONNX 최적화 및

PTQ 정적 양자화를 적용하여 고령층에 최적화된 STT 모델을 생성

• 기존 STT 모델들 대비 속도 및 정확도 모두 대폭 향상

서비스 시연 및 기능

NLU/FSM -> RAG/LLM 구조

NLU / FSM

사용자

• 사용자가 음성으로 주문을 요청하면, STT가 음성을 실시간으로 텍스트로 변환
• 변환된 텍스트를 바탕으로 AI가 최적의 가게를 음성으로 추천
• 사용자는 음성 또는 간단한 UI 버튼으로 추천된 가게를 선택
• 선택한 가게의 메뉴 정보를 AI가 다시 음성으로 안내
• 원하는 메뉴를 선택하면, 주문 완료 화면이 표시

​

1. 사용자 발화  : "짜장면집 추천해줘"

2. NLU : 의도 추출 → '가게추천', 슬롯 → '짜장면집'

3. FSM : 현재 상태 = 가게 추천 단계

4. 조건 생성 : {의도 : 가게추천, 메뉴 : '짜장면'}

5. 조건 기반 질의 → 문장 생성 또는 임베딩 기준 문서 선택

6. 벡터화 → 벡터DB 검색 → 별점 및 리뷰 정보 추출

7. LLM : FSM 상태 기반 프롬프트 + 검색된 유사 문서로 응답 생성

NLU 모델 파인튜닝

• 음식 전화 주문 상황에 맞는 문장 생성 후, 노인 말투, 사투리, 맞춤법 오류 등으로 증강
• KoBigbird-RoBERTa-large, KLUE-RoBERTa-large 에 8가지 의도를 파인튜닝

  추천 · 가게 선택 · 메뉴 선택 · 주문 확정 · 긍정 응답 · 부정 응답 · 가게 문의 · 잡담

LoRA 파인튜닝

ONNX 최적화

PTQ 정적 양자화

데이터 생성

데이터 증강

파인튜닝