深度學習與類神經網路教材

TIPCI臺灣國際專業認證學會製作

深度學習與類神經網路導論

• • 深度學習：人工智慧的核心技術
• • 多層神經網路自動學習特徵
• • 典型任務：影像辨識、語音辨識、NLP、推薦系統

人工智慧、機器學習、深度學習關係

• • AI：讓機器具智慧
• • ML：從資料學模型
• • DL：多層神經網路自動特徵學習

類神經網路基本構成

• • 神經元 Neuron
• • 權重 Weight
• • 偏置 Bias
• • 激活函數 Activation

常見激活函數

• • Sigmoid：易梯度消失
• • ReLU：主流，簡單高效
• • Tanh：輸出範圍(-1~1)
• • Softmax：分類輸出層

損失函數與優化

• • 損失函數：衡量模型錯誤
• - Cross Entropy, MSE
• • 優化器：更新參數
• - SGD, Adam

過擬合與泛化

• • 過擬合：訓練好 → 測試差
• • 解法：Dropout、正則化、資料增強

卷積神經網路 CNN

• • 局部感受野、權重共享
• • 應用：影像識別、醫學影像、OCR

CNN組成元件

• • 卷積層
• • 池化層（Max Pooling）
• • 全連接層
• • BatchNorm

循環神經網路 RNN

• • 處理序列資料（語音、語言）
• • LSTM/GRU 解決長期依賴問題

Transformer 與自注意力機制

• • Self-Attention 取代 RNN
• • 應用：NLP、語音、視覺

注意力機制實例

• • Query / Key / Value
• • 多頭注意力 Multi-head Attention

生成模型

• • AutoEncoder
• • VAE
• • GAN → 生成影像、藝術、數據增強

訓練技巧與加速

• • BatchNorm、LayerNorm
• • Learning Rate Decay
• • 混合精度訓練 FP16

資料處理與增強

• • 正規化 Normalization
• • Data Augmentation（翻轉、旋轉、裁切、Mixup）

模型部署與工程化

• • ONNX、TensorRT
• • Edge AI、Mobile AI
• • 模型壓縮：剪枝/量化/蒸餾

AI倫理與負責任AI

• • 資料隱私、偏見檢測
• • 模型透明度、追蹤性

結語

• 深度學習 = 數據 × 模型 × 算力 × 工程
• 未來核心：AI + Edge + 自動化 + 安全