1
半導體創新技術與產業應用驅動智匯菁英計畫
115年度智匯菁英選拔賽 參賽作品說明書
作品名稱：邊緣運算用於鼠患檢測系統
使用之國產平台：
奇景光電 Himax WiseEye2 HX6538 AI 晶片（Grove Vision AI V2 模組）
瑞昱半導體 Realtek RTL8735B（AMB82-mini 開發板）
比較項目 | 奇景 Himax WiseEye2 (HX6538) | 瑞昱 Realtek RTL8735B (AMB82-mini) |
系統角色 | 節點 A：低功耗極速 AI 初篩節點 | 節點 B：邊緣觸發與本地儲存節點 |
關鍵 AI / 演算法 | Swift-YOLO INT8 (Ethos-U55 NPU) | 板端動作偵測 + PC 端 YOLO11 辨識 |
反應速度 / 韌性 | 0.1 秒極速推論過濾 | Micro-SD 斷網暫存與自動補傳 |
硬體特色 | PIR 觸發 + 自適應亮度補光 LED + 3S 鋰電池獨立供電外殼 | 廣角鏡頭 + 3S 鋰電池獨立供電外殼 |
【雙晶片協同效益總結】
應用於大量範圍鼠患監控應用於下列優勢
2
產業痛點與應用場景
1/12
痛點一：現行鼠患監控方式較耗費人力
台灣目前多仰賴人工巡查、放置餌劑或「抓放法」進行統計，規模化監控難度較高且人力、時間成本高昂。
以香港鼠患治理為例
舊制
依賴人工擺放鼠餌及咬囓統計
2024 新制
導入熱能攝錄與 AI 技術，以「無鼠百分比 RAR」客觀量化
痛點二：缺乏長時間與持續性的動態監控
現行調查多為單點、單次的人工巡查，難以掌握老鼠長期的夜間活動規律、季節消長與路徑趨勢，容易形成防治盲區。
痛點三：投藥後無法清楚掌握滅鼠效果與趨勢變化
傳統投放化學藥劑或黏鼠板後，缺乏長期追蹤鼠隻數量在該範圍是否有增加或減少的趨勢，難以精準評估防治效益與即時調整策略。
數據轉型效益：透過量化數據掌握投藥前後的變化曲線，實現盲目投藥到精準防治。
應用場景：市場攤商與生鮮供應鏈
如何有效監測鼠類活動及評估鼠患程度以利於防治
傳統市場與攤商因大量堆放蔬果肉類及集中廢棄物，成為鼠類覓食棲息的高風險溫床，可能造成漢他病毒症候群、鉤端螺旋體病、食源性毒素污染等。
台北市公有安東市場（圖源：台北市市場處）
團隊自主聯絡，後續會找熟識攤商現場測試
3
作品實測數據
本組開發兩套系統：以下稱節點A為奇景 WiseEye2 HX6538 AI 晶片；節點B為瑞昱半導體 Realtek RTL8735B
指標項目 | 實測結果（數字） | 取得方式（測試方法、設備、次數） | 對應之產業需求 |
資料回傳 端到端時間 （節點A） | 板端 0.1 秒｜伺服器複核 中位 32.5 秒 27 + 73 ms／張；3 張送達中位 1.0 秒；複核 P95 35.3 秒（n = 224 事件） | 板端時間為 WE2 韌體回報（384×384 INT8）；送達與複核時間取自 Pi 接收端每事件紀錄；10/18 即時運作 21 事件，最後一張送達至判定中位 40 秒 | 只上傳觸發事件 3 張，不需連續串流；告警以分鐘計即可 |
資料驗證 板端偵測召回率 （節點A，保留測試） | 92% 桌面場景（23／25 影格），門檻 0.30 34.5%／42% 陰影遠距場景（41／119、50／119），門檻 0.30／0.15 | 召回率＝偵測成功影格 ÷ 人工核可影格（IoU ≥ 0.3 且分數 ≥ 門檻）；兩段未參與訓練之拍攝，以板上同版 INT8 模型重跑（測試目標為遙控玩具鼠） | 漏檢即錯失鼠患事件；陰影與遠距為目前弱點，以每事件 3 張連拍與補光降低漏檢 |
鼠類辨識 PC 端辨識 （節點B，YOLO11s） | Precision 88.28% Recall 98.92% TP 2,192／FP 291／FN 24 | 既有驗證集 2,024 張、2,216 個鼠類標註。rat／rat2 合併為單一類別後重新評估，非重新訓練。 | 既有資料集結果可供模型比較；仍須於實際場域驗證漏報與誤報。 |
誤報抑制 （節點A） | 板端 0.6%｜伺服器 0.5% 板端誤觸發 2／323 影格；伺服器誤判為鼠 1／203 事件；貓入鏡 8／8 事件判為「其他動物」 | 板端：同一安裝位置、未用於訓練之箱內無鼠影格，門檻 0.30；伺服器：10/17 箱內 PIR 實際觸發 203 事件（人、腳、家貓），Pi 以 MegaDetector + BioCLIP 2 判定，被標記事件逐一人工核對 | 誤報直接增加攤商與清潔人員負擔；市場常見貓狗不可誤觸鼠警報 |
斷網補傳驗證 （節點B） | 斷網 5 分鐘 179 次 HTTP 200 回應 單批次 94 張不同照片 94 張皆完成後端處理 | 斷網 5 分鐘後重啟後端服務，檢查請求紀錄與單一拍攝批次，確認 SD 暫存照片可於恢復連線後補傳。179 次為成功回應次數，不代表不同照片數。 | 支援網路或後端中斷後補傳。未提供全部待傳照片數，不換算補傳成功率。 |
2/12
4
實體展示 Demo
Demo 說明
啟動方式
A、B 連上現場網路並啟動各自後端，於同一個 Web 前端查看事件。
互動流程
成果輸出
共用前端呈現事件列表、影像與偵測框，以及趨勢、場域與設備資訊。
展示備案
A 的 PIR 不易由室溫玩具鼠觸發，改以連續偵測展示；網路中斷時 A 以 USB 顯示板端結果，B 保留 SD 暫存；備妥預錄影片。
作品實體裝置照片
3/12
左：A 板端 INT8，單張分數 0.85
右：B PC YOLO11，單張分數 0.84（玩具鼠）
分數為單張信心值，不代表整體準確率
左：節點B（AMB82-mini） 右：節點A（Grove Vision AI V2），編號如下
1 Grove Vision AI V2 2 OV5647 相機 3 XIAO ESP32-C3 4 Wi-Fi 天線 5 PIR 感測 6 補光 LED 7 3S 鋰電池 8 降壓模組 9 電源開關 10 DC 插座 11 保險絲座 12 快速接線端子
5
系統架構圖
4/12
邊緣感知層
伺服器層（二次辨識）
應用層
節點A：低功耗篩選節點
PIR
紅外線觸發
Grove Vision AI V2
奇景 WE2・Swift-YOLO INT8 384
XIAO ESP32-C3
主控・Wi-Fi・框合併・OTA
補光 LED
依亮度自動開啟
I²C
AMB82-mini（瑞昱 RTL8735B）
相機・板端 YOLO 初篩・發送佇列
Micro-SD 本地緩存
斷線時保存，復聯後補傳
接收與複核伺服器
（Raspberry Pi）
事件接收 API
MegaDetector 動物偵測
BioCLIP 2 物種判定
（依板端框擴大裁切）
電腦端二次辨識
YOLO11s 遷移學習模型
信心度篩選・Burst 去重
事件紀錄
HTTPS
JPEG×3
＋板端框
簽章韌體
OTA 更新
Wi-Fi
事件影像
共用 Web Dashboard
A／B 事件列表� 活動趨勢與場域地圖� 設備狀態與 Email 告警
事件明細與影像
A：3 張連拍與複核標籤� B：事件照片與偵測框
兩種硬體於同一前端呈現
真實資料串接範圍待確認
實線：已實作 虛線：規劃中（判定結果以 REST API 匯入 Dashboard）
6
軟硬體整合說明
ˊ6/12
① 硬體模組與感測元件
② 韌體與通訊協定
③ AI 模型與演算法
④ 前後端介面與資料格式
7
軟硬體整合說明--智慧鼠害監控系統 EVE 核心頁面與即時告警
為了貼近公務人員能夠快速監控，在系統的前半段，主要提供兩核心監控頁面：【即時平面圖儀表板】，能在場域圖上直觀標示所有智慧捕鼠匣與感測器。一旦發生鼠患事件，點位會立即閃爍告警並發送通知。 第二是 【事件與歷程紀錄頁】，完整保留每次觸發的時間、感測器 ID 與影像快照，並結合派工處置流程，讓衛生管理有據可循。
匿名審查提醒：請勿於任何頁面、圖片、影片、連結或附件揭露學員名、指導老、所屬學校或解題輔導單位等可辨識資訊。
7/12
【即時平面圖儀表板】
藉由活動事件清單可快速了解老鼠出沒時間
【事件與歷程紀錄頁】
能在場域圖上直觀標示所有智慧捕鼠匣與感測器
8
自主獨特技術與創新面向
創新點主要於系統整合，服務流程，以及監控場所隱私保護等項目，提供完整解決方案
創新點 一：板端初篩＋伺服器複核+自適應補光
【技術描述】
板端以高召回模型篩選，上傳時附板端框座標；伺服器先以 MegaDetector 找動物，再以 BioCLIP 2 對板端框位置擴大裁切後判定物種。
系統可算出畫面平均亮度（不需完整解碼與額外記憶體），過暗才開補光 LED；韌體以簽章驗證後遠端更新，失敗自動回滾
【自主開發範圍】
韌體上傳格式、框合併、裁切與判定邏輯、門檻與單元測試，亮度演算法（主機端與完整解碼比對測試）、補光策略、OTA 簽章與回滾
【與既有方案差異】
傳統相機陷阱需人工看片或全部上傳雲端；MegaDetector 對約 75 px 寬（約 1.5 m）的鼠影找不到框，改由板端框補位
常見作法為常亮補光（耗電、驚擾動物）或需拆機更新
【可量化優勢】
板端 0.1 秒內初篩，只上傳觸發事件 3 張；伺服器中位 32.5 秒完成複核（n＝224 事件），誤判為鼠 0.5%
暗場亮度 28 時模型分數 0.00 → 低於 60 自動補光；亮場免開燈（4 顆 LED 全亮約 240 mA）
創新點 二：雲端平台便於統計，並發出警訊
【技術描述】
【自主開發範圍】
判定為老鼠死亡，寄送mail
【與既有方案差異】
【可量化優勢】
極速事件告警：伺服器於 30 秒內完成複核並發出 Email 告警，大幅縮短通報處置時效。
100% 客觀量化：提供自動化統計與場域風險排名，有效支援環保單位精準投藥與成效評估
�
8/12
創新點 三：隱私保護，避免人臉，以及一般雜訊回傳
【技術描述】
採邊緣初篩機制，僅在板端判定「疑似有鼠」時連拍 3 張與座標框上送，絕不進行全時串流，從源頭杜絕人臉記錄與環境雜訊。
【自主開發範圍】
邊緣過濾邏輯：PIR/動作感測與板端 AI 協同觸發、連拍控制與框合併。
負樣本過濾：針對鞋襪、雜物訓練模型，精準排除無關雜訊。
事件化 API：自訂傳輸格式（JPEG×3 + meta.json）與安全簽章機制。
【與既有方案差異】
既有方案：全時串流錄影，易記錄人臉引發隱私疑慮，且無關動靜大量佔用頻寬。
本系統：邊緣過濾、事件驅動，僅回傳疑似事件，兼顧人臉隱私與頻寬節省。
【可量化優勢】
極速過濾：板端 <0.1 秒 完成初篩（73 ms 推論 + 27 ms 前處理）。
傳輸極小：非全時串流，每次觸發僅傳送 3 張 JPEG 及元資料。
高精準度：板端初篩召回率 92%；伺服器複核 Precision 88.28% / Recall 98.92%。
9
技術難度攻克與突破
技術難點 | 失敗嘗試/改進歷程 | 最終解法 | 改善前後差異�（請填寫量化差異） |
原廠韌體封閉、模型輸出格式未公開（節點A） | YOLOX-Nano 在主機可運作，但原廠韌體不解碼其輸出 | 實機測試後改用 Swift-YOLO（Apache-2.0），把解碼做進模型，不需改韌體 | 無法執行 → 板上直接執行；146 個運算子 100% 在 NPU、0 個 CPU 回退 |
板端記憶體上限未公開（節點A） | 官方只寫「建議 <1 MB」，AT 指令回報模型大小恆為 0；416×416 實機載入失敗（需 1,216,128 B） | 從實機錯誤訊息反推可用 1,136,392 B，以 Vela 逐一比對各尺寸，選定 384×384（SRAM 1,013 KiB） | 載入失敗 → 73 ms 推論；比保守的 320 像素多 44% |
沒有活鼠、沒有部署視角的標註資料（節點A） | 公開鼠類照片與箱內視角不同，舊模型對遙控玩具鼠召回 0–4%；256 訓練模型在 384 執行，分數由 0.47–0.62 掉到 0.08–0.34 | 自建遙控玩具鼠拍攝與自動標註流程（每段 2 分鐘約 240 張，人工核可）＋箱內負樣本，在部署尺寸 384 重新訓練 | 保留測試召回 0–4% → 92%（23／25影格，門檻 0.30） |
二次辨識 mAP 停滯（節點B） | YOLO11s 雙類別 mAP@0.5 於第 22 輪約 50.02% 後不再提升；檢查發現同為老鼠卻分成 rat／rat2 兩種標註 | 找出標註不一致的根因，合併為單一鼠類別，只修正標註、不需重新訓練 | Precision 88.28%、Recall 98.92%（只修正標註即達成） |
連拍傳輸衝突與影像破損（節點B） | 前一筆未傳完即觸發下一筆；同時執行錄影串流、AI 與拍照導致記憶體不足、影像破損 | 發送佇列與狀態管理；上傳時關閉 H.264 串流並暫停 AI 釋放記憶體 | 斷網 5 分鐘後恢復：179 次 HTTP 200 回應，單批 94 張照片全數完成後端處理 |
9/12
10
商業化潛力與開源貢獻（加分項）
加分項目 | ||
全程使用國產平台（不混用境外平台）加2分 | 跨領域或多元成員組隊 加2分 | 提交於GitHub等國際開源社群平台 加2分 |
□ 是 ■ 否 | ■ 是 □ 否 | ■ 是 □ 否 |
相關佐證說明
開源：
跨領域組隊：
成員為跨校組隊，專長涵蓋電機與通訊工程、醫學、藥學與醫學資訊系，分別負責硬體與邊緣運算、AI 模型與伺服器、公共衛生需求與文獻、前端介面。
國產平台：
商業化潛力：
：另有動物數量需要大量統計需求的國家公園之類的地方
需求量大，另有一般公園，道路等地方。
10/12
11
補充說明
補充說明
一、對應業師回饋（期中訪視三項建議）
二、場域驗證規劃（PoC，3 個月）
三、目前限制與下一步
四、分工方式
11/12
拜訪台北市環保局確認鼠類監控問題的需求
目前開始討論後續的研究方向
12
補充說明 驗證過程簡述
12/12
老鼠感測與障礙物遮擋後捕捉新輪廓測試
老鼠死亡測試
複雜環境測試