AI AGENT GIÁM SÁT AN TOÀN PPE & KHU VỰC NGUY HIỂM
BẰNG COMPUTER VISION (PPE & ZONE SAFETY AGENT)
Team T239:
• Nguyễn Hải Quân (PO/ PM / Frontend Lead)
• Bùi Tiến Phát (AI Core / Agent)
• Đặng Trần Trung Dũng (Integration Specialist)
• Trần Văn Toàn (AI Data & CV Specialist)
BÀI TOÁN THỰC TẾ & SỐ LIỆU NỖI ĐAU
Thực trạng: Các phân xưởng cơ khí, dập thép nặng luôn tiềm ẩn rủi ro tai nạn lao động nghiêm trọng ở khu vực máy móc đang vận hành.
60% tai nạn lao động tại các xưởng cơ khí xuất phát từ việc không trang bị đầy đủ bảo hộ (mũ, áo) và vi phạm khoảng cách an toàn với máy móc. (Theo Thông báo số 630/TB-BLĐTBXH của Bộ LĐ-TB&XH).
40% vi phạm bị bỏ sót khi giám sát thủ công bằng mắt người do sự suy giảm tập trung trong ca trực 8 tiếng liên tục. (Theo Nghiên cứu suy giảm sự chú ý - Vigilance Decrement ).
Lãng phí 15 - 30 phút cho mỗi sự cố khi cán bộ an toàn phải tự tua lại camera, ghi nhận thông tin và lập biên bản giấy tờ thủ công.
Rào cản quyền riêng tư: Việc camera ghi hình khuôn mặt công nhân vi phạm luật bảo vệ dữ liệu cá nhân
(Nghị định 13/2023/NĐ-CP).
SƠ ĐỒ TỔNG THỂ KẾT NỐI 3 KHỐI: CAMERA > BỘ NÃO AI > WEB DASHBOARD
BỨC TRANH TỔNG THỂ & LUỒNG HOẠT ĐỘNG
QUY TRÌNH CẢNH BÁO 2 ĐỢT (TWO-PHASE ALERT)
BỨC TRANH TỔNG THỂ & LUỒNG HOẠT ĐỘNG
Đợt 1 (Tức thì)
Ngay khi phát hiện vi phạm, hệ thống truyền tín hiệu cảnh cáo tức thì lên Web Dashboard kích hoạt báo động & chớp đèn tại nhà máy.
⏱️ Ngắt HITL chờ Cán bộ phản hồi trong 5 phút...
Đợt 2 (Leo thang)
Nếu sau 5 phút Cán bộ không phản hồi, AI Agent tự động gọi LLM phân tích tình huống và biên soạn bản vi phạm gửi lên cho cấp cao hơn.
KẾT QUẢ ĐẠT ĐƯỢC & TÁC ĐỘNG DOANH NGHIỆP
<1s
PHẢN XẠ TỨC THỜI
Độ trễ <100ms khi gánh 4 camera song song, kích hoạt báo động nguy hiểm ngay khi có vi phạm.
100%
LỌC BÁO ĐỘNG GIẢ
Loại trừ cảnh báo sai khi công nhân bảo trì lúc máy móc đang ở trạng thái tắt (STOPPED).
90%
TIẾT KIỆM THỜI GIAN
Rút ngắn thời gian lập hồ sơ vi phạm xuống 30 giây nhờ bản nháp tự động của Gemini & duyệt HITL.
100%
TUÂN THỦ PHÁP LÝ
Làm mờ khuôn mặt liên tục ngay tại biên, bảo vệ tuyệt đối dữ liệu cá nhân của người lao động.
Hiệu suất mô hình (YOLOv11): mAP50 = 90.72% | Precision = 90.77% | Recall = 83.89% (Hugging Face)
Nhận diện 4 lớp chính: human, helmet/no-helmet, vest (suy luận logic no-vest).
KIẾN TRÚC LÕI THỊ GIÁC MÁY TÍNH (CV CORE)
BẢO MẬT QUYỀN RIÊNG TƯ
Async Face Blur: AI RetinaFace làm mờ Gaussian (15x15).
Face Blur Fallback: Tự làm mờ 20% bounding box kết hợp IoU tracking nếu RetinaFace bị lỗi.
■
■
KIỂM SOÁT VÙNG CẤM
Khoanh vùng Polygon động qua JSON + Convex Hull.
Zone Fallback: Tự vẽ vùng cấm mặc định chống sập.
■
■
TỐI ƯU HIỆU NĂNG
Luồng AI đơn: Tối ưu `frame_skip = 3` kết hợp Caching đạt `~50 - 70 FPS` (Độ trễ 14 -20ms).
4 camera song song: Đạt `~8 - 12 FPS/camera` (~86 - 120ms)
■
■
CHỐNG SPAM CẢNH BÁO & GHI SỰ CỐ
Giãn cảnh báo 300 frames, bảo vệ tải máy chủ Backend.
EventClipRecorder: Cắt video 5s (±2.5s) làm bằng chứng.
■
■
Sơ đồ đồ thị LangGraph
•
Node 1: YOLOv11 & OpenCV xác định vi phạm & vẽ vùng cấm.
•
Node 2: Kiểm tra trạng thái máy đang ON/OFF.
•
Node 3: Gửi cảnh báo đợt 1 lên Web Dashboard để hiển thị cảnh báo và còi.
AI AGENT & ĐỒ THỊ QUYẾT ĐỊNH (LANGGRAPH)
•
Node 4: Bật ngắt bằng MemorySaver, lưu checkpoint dừng luồng & chạy vòng lặp Polling API ngầm 10s/lần chờ Cán bộ duyệt.
•
Node 5: Tự gọi LLM viết báo cáo, gửi đợt 2 khi timeout.
Kiến trúc dự phòng LLM 3 tầng (Fallback)
Độ bền bỉ trong môi trường công nghiệp
•
Tầng 1 (Tiết kiệm): Tự động cascade từ Gemini Flash Lite lên các model Flash cao hơn để tối ưu chi phí.
•
Tầng 2 (Chống nghẽn): Tự động chuyển hướng sang OpenAI nếu cụm Gemini bị lỗi.
•
Tầng 3 (Offline): Dùng biên bản mẫu có sẵn trên Local khi mất mạng, đảm bảo luồng ngắt không bị đơ.
•
Worker đa luồng: Xử lý song song, hỗ trợ gánh cả 4 camera song song trên CPU laptop thông thường.
•
Cơ chế tắt sạch (Graceful Shutdown): Bảo toàn tuyệt đối dữ liệu biên bản đang tạo khi xảy ra sự cố điện/tắt server đột ngột.
•
Vượt qua 46/46 Automated Tests (pytest).
ĐỘ ỔN ĐỊNH & CƠ CHẾ DỰ PHÒNG CÔNG NGHIỆP
Giám sát đám mây (LangSmith Tracing): Tracing thời gian thực luồng quyết định của Agent.
Chuẩn hóa văn bản pháp lý: Khóa cố định nhiệt độ sáng tạo temperature= 0.0 để chống ảo giác (hallucination).
TRUNG TÂM QUẢN TRỊ & ĐIỀU HÀNH� (WEB DASHBOARD)
Bố cục 3 cột chuyên dụng (SOC Layout)
Cột 1 (Camera giám sát): Hỗ trợ chuyển nhanh từng camera, & Chế độ xem Toàn cảnh song song camera đồng thời.
▹
Cột 2 (Cảnh báo realtime): Cập nhật tức thời danh sách vi phạm, thẻ vi phạm tự động đếm ngược theo nhịp đập từng giây.
▹
Cột 3 (Xử lý sự cố & Biên bản): Chi tiết ảnh vi phạm kèm biên bản vi phạm.
▹
Phân quyền chặt chẽ 2 vai trò (RBAC)
Cán bộ an toàn (Safety Officer): Toàn quyền xác nhận, xử lý và đóng sự cố.
▹
Quản lý khu vực (Area Manager): Xem báo cáo thống kê, biểu đồ và lịch sử vi phạm (Chế độ chỉ đọc).
▹
TÍCH HỢP HỆ THỐNG & TRIỂN KHAI CLOUD
Kiến Trúc Hợp Nhất
Triển khai Monolithic: FastAPI phục vụ đồng thời API, React UI, và WebSockets trên cùng tên miền, triệt tiêu lỗi CORS và tối ưu độ trễ.
Xử Lý Tranh Chấp
Cơ chế Idempotency: Lọc trùng và phản hồi lỗi 409 Conflict khi AI Agent bắn dữ liệu trùng với thời điểm Cán bộ bấm xác nhận.
Đóng Gói Siêu Nhẹ
Multi-stage Build: Tách biệt thư viện AI nặng, giúp Web Service chỉ tiêu thụ <150MB RAM trên giới hạn 512MB Render (Tiết kiệm 75% tài nguyên).
Cảm ơn Ban Giám Khảo! Q&A.
Tính khả thi & Tối ưu chi phí
Mở rộng & Thương mại hóa
•
Tận dụng hệ thống Camera IP sẵn có tại nhà máy, không cần đầu tư lại hạ tầng camera mới.
•
Chạy mượt mà trên máy tính công nghiệp giá rẻ tại biên (Edge PC) nhờ thuật toán tối ưu hóa.
•
Mở rộng tương lai: Tích hợp cảm biến rung động IoT của máy móc và hỗ trợ quản lý tập trung hàng trăm phân xưởng trên cùng một nền tảng.
•
Khung phần mềm đóng gói sẵn (Framework): Khi triển khai cho một nhà máy mới, chỉ cần thu thập 500 - 1000 ảnh đặc thù tại xưởng và tiến hành Fine-tune mô hình trong là đạt độ chính xác tối đa.
TÍNH KHẢ THI & ĐỊNH HƯỚNG THƯƠNG MẠI HÓA