ĐỒ ÁN NHÓM · T145
HandsFree
Messenger
Trợ lý nhắn tin bằng giọng nói dành cho tài xế
Nhóm T145
BỐI CẢNH
Bài toán
Tài xế vẫn phải thao tác điện thoại khi đang lái xe.
Khi nhận tin nhắn trên đường, tài xế thường phải:
Hệ quả: giảm sự tập trung, tăng nguy cơ mất an toàn khi lái xe.
!
Mắt rời đường · tay rời vô-lăng
02 / 11
HANDSFREE MESSENGER · NHÓM T145
ĐỀ XUẤT
Giải pháp
HandsFree Messenger — xử lý tin nhắn hoàn toàn bằng giọng nói.
1
Tin nhắn đến
Nhận thông báo
bằng âm thanh
2
Trợ lý đọc
Nghe nội dung
tóm tắt
3
Tài xế nói
Trả lời tự nhiên
bằng giọng nói
4
Bản nháp
Tạo bản nháp
phản hồi
5
Xác nhận gửi
Xác nhận hoặc
hủy bằng giọng nói
03 / 11
HANDSFREE MESSENGER · NHÓM T145
TRẢI NGHIỆM
Luồng hoạt động chính
Toàn bộ quy trình được thiết kế để Driver hạn chế tối đa thao tác chạm vào màn hình.
Bắt đầu
Nhận
thông báo
Đọc /
tóm tắt
Driver
nói
STT →
văn bản
Tạo bản
nháp
Xác nhận
giọng nói
Gửi tin
nhắn
Kết thúc
Notification → Voice-first → STT → Draft → Human-in-the-loop → Gửi
04 / 11
HANDSFREE MESSENGER · NHÓM T145
HỆ THỐNG
Kiến trúc hệ thống
ANDROID COMPANION
Điện thoại
BACKEND FASTAPI
Railway
FRONTEND
Trình duyệt
05 / 11
HANDSFREE MESSENGER · NHÓM T145
HỆ THỐNG
Mô hình sử dụng trong phiên bản triển khai
HANDSFREE MESSENGER · NHÓM T145
08 / 11
Chỉ liệt kê mô hình dùng trong bản triển khai — không kể các model thử nghiệm chưa đưa vào bản đang chạy.
THÀNH PHẦN
CẤU HÌNH
VAI TRÒ
STT
ZipFormer trên backend Railway*
STT_ENGINE=zipformer · whisper.cpp dự phòng
Chuyển giọng nói tiếng Việt thành văn bản
LLM
OpenAI gpt-4o-mini
LLM_ENGINE=openai · điều phối bằng LangGraph
Tóm tắt và hỗ trợ hội thoại
TTS
OpenAI gpt-4o-mini-tts
TTS_ENGINE=openai · giọng coral · chuẩn hoá viết tắt
Đọc thông báo và bản nháp
* ZipFormer 30M RNN-T 6000h chạy qua sherpa-onnx, whisper.cpp dự phòng — theo cấu hình .env.example. Khi backend chưa có runtime cục bộ, đặt STT_ENGINE=openai để dùng gpt-4o-transcribe thay thế.
KỸ THUẬT
Luồng xử lý trong LangGraph
HANDSFREE MESSENGER · NHÓM T145
09 / 11
Nhận thông báo, soạn bản nháp bằng giọng nói và yêu cầu xác nhận trước khi gửi.
1. Nhận và đọc tin
Nhận thông báo từ Android Companion
Đọc nội dung hoặc bản tóm tắt
Hỏi trả lời hay bỏ qua, rồi mời nói nội dung
2. Soạn bản nháp
Thu âm lời trả lời của người dùng
STT chuyển giọng nói thành văn bản
Tạo và đọc lại bản nháp
3. Xác nhận hoặc chỉnh sửa
Gửi: kiểm tra xác nhận, tạo lệnh gửi
Sửa: nhận nội dung mới, cập nhật bản nháp
Hủy: kết thúc, không gửi
lời nói
bản nháp
Sửa xong → đọc lại bản nháp và xác nhận lại
An toàn: mỗi bản nháp gắn draft_id + version, hạn 5 phút — sai hoặc quá hạn đều bị từ chối. Không xác nhận thì không gửi.
KẾT QUẢ
Tính khả thi của dự án
ĐÃ TRIỂN KHAI THỰC TẾ
ĐÃ KIỂM CHỨNG LUỒNG CỐT LÕI
Kết quả: hệ thống đã chạy end-to-end, sẵn sàng cho giai đoạn thử nghiệm với người dùng thực tế.
07 / 11
HANDSFREE MESSENGER · NHÓM T145
TƯƠNG LAI
Định hướng phát triển
01
Thử nghiệm thực tế
Đánh giá độ chính xác, độ trễ và trải nghiệm khi lái xe.
02
An toàn khi lái xe
Giảm thao tác màn hình, tăng cơ chế xác nhận và xử lý lỗi.
03
Edge AI & Offline
Xử lý cục bộ để giảm độ trễ, tăng riêng tư, giảm phụ thuộc Internet.
04
Mở rộng & thương mại hóa
Tích hợp thêm nền tảng nhắn tin, thiết bị và mở rộng quy mô người dùng.
10 / 11
HANDSFREE MESSENGER · NHÓM T145
CẢM ƠN
Sẵn sàng đồng hành cùng doanh nghiệp
HandsFree Messenger · Nhóm T145
11 / 11
HANDSFREE MESSENGER · NHÓM T145