AI協作校務研究
日期:115/11/26
報告人:廖碩彥
耕莘健康管理專科學校
Humanity Ethics Advance Learning Technique Healing
Cardinal Tien Junior College of Healthcare and Management
耕莘健康管理專科學校
環境及整體流程
2
1
收集
校務行政系統
各單位資料
2
清洗
VBA
VBA (web ai)
Python (claude)
3
上傳
(NAS MariaDB )
Navicat (excel)
Python (claude)
4
串接
Navicat (SQL)
Python (SQL)
年度 | 113 | 114 | 115 |
清洗軟體 | VBA | VBA(web ai) | python(claude) |
花費時間 | 5-8天 | 3-5天 | 1-3天 |
SQL軟體 | Navicat | Navicat | python(claude) |
視覺化 | looker studio | looker studio | html(claude code) |
歷年資料規模成長
3
年度 | 113 | 114 | 115 |
表單數 | 8 | 17 | 26 |
欄位數 | 79 | 150 | 374 |
資料列數 | 560,000 | 820,000 | 1,629,309 |
資料期限 | 109-112學年度 | 107-113學年度 | 102-113學年度 |
Python資料清洗流程 (連結)
4
1
整合
讀取 Excel
解析課程區塊
合併存成 CSV
2
檢誤
6 項資料檢查
有錯誤 → errors.xlsx
3
上傳
分批寫入 MariaDB
同時存成 Excel
4
抽檢
Excel 對照 MariaDB
比對各欄位值
y/n
確認
--phase 選項
--phase all
1→2→確認→3→4
--phase merge
只做 Phase 1
--phase validate
只做 Phase 2
--phase upload
只做 Phase 3
--phase check
只做 Phase 4
Phase 1 · 讀取與整合
5
phase1_merge() 輸出 OUTPUT_CSV
1
列出 DATA_DIR
內 .xls / .xlsx
有檔案?
逐檔呼叫
parse_score_sheet
(見下一頁)
套用 COLUMN_MAPPING
改欄名、加
_source_file
是
否
FileNotFoundError
pd.concat
合併所有檔案
只保留 COLUMN_ORDER
欄位 + _source_file
移除全空白列
去除前後空白
存成 OUTPUT_CSV
(utf-8-sig)
Phase 1 · 解析成績計分冊
6
parse_score_sheet() 一張工作表含多個課程區塊,依每列第一格內容判斷類型
1
讀取每張工作表
header=None
逐列掃描
含「XX學年度第X學期」
記錄學年度、學期
並重置課程資訊(新區塊)
以「開課班級」開頭
取開課班級、課程代碼、課程名稱
以「課程類別」開頭
取課程類別、選修別、學分
以「授課教師」開頭
取授課教師
以「項」開頭(表頭列)
記下 期中 / 期末 / 平時 / 學期 / 備註
各欄位所在位置
編號為數字(學生列)
組成一筆紀錄:學年度、學期、課程資訊
班級、學號、姓名、各項成績
Phase 2 · 資料檢誤
7
phase2_validate() 逐項檢查,違規列加上 _error_reason 後彙整輸出
2
輸入 DataFrame
(Phase 1 結果或 CSV)
① 學號空白
② 學年度空白
③ 重複主鍵
學號+學年度+
學期+課程代碼
④ 學號格式異常
(非 8–9 位數字)
⑤ 姓名空白
⑥ 學年度格式異常
(非 3 位數字)
每項違規列都會加上
_error_reason 欄位
有錯誤?
是
否
存 ERROR_XLSX
請人工確認
後再上傳
顯示
「未發現明顯錯誤」
Phase 3 · 上傳 MariaDB
8
phase3_upload() 分批寫入資料庫,並另存 Excel
3
輸入 DataFrame
移除
_source_file
建立 SQLAlchemy
engine → MariaDB
依 CHUNK_SIZE
(10,000 筆)
逐批 to_sql
第 1 批?
是
if_exists='replace'
建表
(覆蓋整張表)
否
if_exists='append'
追加
上傳完成
(所有批次)
筆數
> 100 萬?
否
存單一檔
OUTPUT_XLSX
是
分檔存
_part1, _part2 …
Phase 4 · 抽檢比對
9
phase4_check() 以主鍵把 Excel 與 MariaDB 的資料對照
4
讀取 OUTPUT_XLSX
(分檔時取 part1)
移除
_source_file
連線 MariaDB
隨機抽樣主鍵
取前 100 個學號
SELECT * FROM
A99_99 WHERE
學號 IN (…)
以主鍵 merge
Excel × DB
(inner join)
各欄位值
一致?
是
抽檢結果 OK
資料完整性確認
否
列出不一致欄位
請人工確認
注意:查詢條件只有「學號」
一位學生修多門課時,DB 回傳筆數會多於抽樣數
「這是最好的時代,也是最壞的時代」
11
--查爾斯 · 狄更斯
資安(1)
12
Zeabur
Railway
Node.js
NGINX
Zeabur再遭駭後公布調查結果,攻擊者讀取逾321萬筆環境變數
雲端平臺Railway客戶環境變數遭解密,駭客疑鎖定AI服務金鑰
不只影響Node.js,Node2Shell漏洞恐波及其他開發工具及應用程式
Nginx修補5項漏洞,3項恐導致遠端程式碼執行
資安(2)
13
GitLab
Fortinet
Synology
PHP2Shell
GitLab修補存在12年的滿分漏洞
Fortinet同步修補多款產品漏洞,涵蓋5大產品系列及多個版本分支
群暉NAS遭C3RB3R勒索軟體攻擊,原廠呼籲用戶盡速更新DSM系統
PHP2Shell漏洞影響多家IT與OT廠商的產品,全球6成網站受影響
資安(3)
14
Ubuntu APT
Java4Shell
NGINX2Root
Ubuntu修補高風險APT套件漏洞,中間人可替換套件取得root權限
資安公司Calif.io揭露OpenJDK記憶體損毀漏洞Java4Shell
Nginx緊急修補10個漏洞,其中5個恐遭遠端執行程式碼
謝謝
15