1 of 25

台北科技大學，經管系，陳擎文�

模型的驗證

模型的效能

2 of 25

迴歸模型

常用的效能評估方法

3 of 25

迴歸模型常用的效能評估方法

4 of 25

分類模型

常用的效能評估方法

5 of 25

分類模型常用的效能評估方法

6 of 25

迴歸問題範例

修改前一章的特徵選取

預測汽車售價

7 of 25

前一章的特徵選取預測汽車售價�特徵選取方法2，挑出10個特徵欄位

  • 前一章的範例
  • 從特徵選取方法2，挑出10個特徵欄位
  • 把這10個欄位的資料集，讓模型學習訓練
  • job-08-evaluate - Azure Machine Learning
  • https://ml.azure.com/experiments/id/70aeb3ca-5215-4802-b284-794d164b2217/runs/b85ccb16-1306-4fd3-a696-277ffa83fb0e?wsid=/subscriptions/48f9500a-ead5-4b75-93b0-40ab42f76209/resourcegroups/teresa33/providers/Microsoft.MachineLearningServices/workspaces/AML02&tid=dfb5e216-2b8a-4b32-b1cb-e786a1095218#/?graphId=b486a0d1-41b3-406b-8f96-d40bb62e9967&label=job-08-evaluate&newGraphId=b486a0d1-41b3-406b-8f96-d40bb62e9967&path=%2Fexperiments%2Fid%2F70aeb3ca-5215-4802-b284-794d164b2217%2Fruns%2Fb85ccb16-1306-4fd3-a696-277ffa83fb0e&runId=b85ccb16-1306-4fd3-a696-277ffa83fb0e

​

8 of 25

9 of 25

模型的效能，明顯提高

  • 決定係數（coefficient Determination)
    • 0.991443
    • 準確率很高

10 of 25

比較各種

預測汽車售價模型

的準確率(決定係數)

11 of 25

比較：有處理缺值，對迴歸預測的線性擬合度r^2（決定係數）的影響

  • 1.沒有處理缺值：

​

  • 2.有處理缺值：提高決定係數，提高預測準確率

​

​

​

  • 3.沒有處理缺值，
  • 但挑出10個最重要特徵欄位訓練
    • 結果，準確率最高

​

12 of 25

本範例內容designer

的檔案分享

13 of 25

本範例：share link to graph

  • job-08-evaluate - Azure Machine Learning
  • https://ml.azure.com/experiments/id/70aeb3ca-5215-4802-b284-794d164b2217/runs/b85ccb16-1306-4fd3-a696-277ffa83fb0e?wsid=/subscriptions/48f9500a-ead5-4b75-93b0-40ab42f76209/resourcegroups/teresa33/providers/Microsoft.MachineLearningServices/workspaces/AML02&tid=dfb5e216-2b8a-4b32-b1cb-e786a1095218#/?graphId=b486a0d1-41b3-406b-8f96-d40bb62e9967&label=job-08-evaluate&newGraphId=b486a0d1-41b3-406b-8f96-d40bb62e9967&path=%2Fexperiments%2Fid%2F70aeb3ca-5215-4802-b284-794d164b2217%2Fruns%2Fb85ccb16-1306-4fd3-a696-277ffa83fb0e&runId=b85ccb16-1306-4fd3-a696-277ffa83fb0e

​

14 of 25

本範例：pipeline job

  • b85ccb16-1306-4fd3-a696-277ffa83fb0e

15 of 25

練習第2個範例：分類

​

讀入資料集Adult Census

預測income是否大於5萬

16 of 25

Run：測試模型test model

    • Run🡪 Visualize🡪看預測結果🡪

​

​

17 of 25

Run：評估模型的效能

    • Run🡪 Visualize🡪看整體準確率🡪

​

​

18 of 25

評估分類問題的效能：�混淆矩陣，準確率accuracy，召回率recall，精確率precision，f1

19 of 25

分類問題的重要評估成效指標，主要看2個：Accuracy，AUC

20 of 25

修改為Category型態後，準確率有提高�0.883 🡪 0.892

21 of 25

什麼是AUC？

  • AUC指數（Area Under the Curve）
    • 指的是接收者操作特徵曲線（ROC Curve）下的面積

22 of 25

什麼是AUC？

  • AUC指數（Area Under the Curve）
    • 這個指數用於：衡量分類模型的性能，
    • 尤其是在二分類問題中。

23 of 25

什麼是AUC？

  • AUC指數（Area Under the Curve）
    • AUC指數範圍：從0到1，
    • 其中1表示完美的分類器，
    • 0.5表示無效的分類器（相當於隨機猜測）。
    • AUC指數越高，模型的【分類性能越好】
    • AUC指數高意味著模型能夠有效地區分正例和負例。

24 of 25

評估分類問題效能：ROC曲線

  • AUC指標
    • 曲線下方面積
    • 越大越好

25 of 25

舉例：評估分類問題效能：AUC數值

  • 舉某個範例：
  • 計算AUC數值
    • 曲線下面積
    • 0.888

​

  • 本題整體準確率
    • accuracy
    • 0.837