1 of 68

1

AI智慧創客營

2 of 68

�CONTENTS�

2

深度學習入門

7

AI 體驗與實作研究

4

實作討論與交流

5

卷積網路與電腦影像

3

AI 加速棒實際操作

8

分組專題實作

1

認識人工智慧

6

邊緣運算簡介

3 of 68

認識人工智慧、認識深度學習

7/18

4 of 68

  1. 認識AI

第一天 1/4

課程：

  • 深度學習應用介紹
  • AI 原理
    • 函式
    • 為什麼需要深度學習
    • 實踐深度學習新框架
    • 何時用 AI

5 of 68

“機器學習是迄今為止 AI 應用最成功的子領域，而在這個領域中，最大的技術突破就是深度學習。”

​

“AI, 2041”, 李開復

6 of 68

AI 的應用

CV: 電腦視覺 (Computer Vision)

7 of 68

1.1. AI CV 的應用與未來科技

https://developer-blogs.nvidia.com/wp-content/uploads/2018/07/Autonomous_1.jpg

https://pjreddie.com/media/image/Screen_Shot_2018-03-24_at_10.48.42_PM.png

https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/first_edition/5.4-visualizing-what-convnets-learn.ipynb

https://developer.nvidia.com/blog/wp-content/uploads/2020/07/annotated-output-1-625x344.png

分類

​

單一物種推論

​

沒有位置資訊

語意分割

​

畫素蘊含種類資訊

​

沒有位置資訊

物件偵測

​

多物種偵測

​

具有位置資訊

實例分割

​

多物種偵測

​

畫素蘊含種類資訊

​

具有位置資訊

8 of 68

1.1. AI CV 的應用與未來科技：生活應用

https://jishuin.proginn.com/p/763bfbd57bfb

分類（物件偵測）

  • 水表、瓦斯表、電表
  • 停車場
  • 違規車牌

9 of 68

1.1. AI CV 的應用與未來科技：智慧教室

https://read01.com/0AD2ax.html#.Ys0UJuxBxo4

物件偵測_姿勢偵測

  • 老師板書或說明偵測
  • 同學舉手偵測、異常事件偵測

10 of 68

1.1. AI CV 的應用與未來科技：智慧教室

gif demo

​

https://docs.openvino.ai/latest/omz_demos_smart_classroom_demo_cpp.html

物件偵測_姿勢偵測

  • 老師板書或說明偵測
  • 同學舉手偵測、異常事件偵測

11 of 68

1.1. AI CV 的應用與未來科技：智慧教室

https://penntoday.upenn.edu/news/link-between-midday-naps-and-happier-children-excel-academically-fewer-behavioral-problems

物件偵測_行為偵測

  • 同學瞌睡、疲勞偵測
  • 同學滑手機偵測
  • 同學聽不懂偵測

12 of 68

1.1. AI CV 的應用與未來科技：智慧交通

https://github.com/shambhavimalik/Autonomous-Driving-Car-Detection

物件偵測_自駕車

  • 交通號誌
  • 行人
  • 車輛
  • 障礙物
  • 其他路況

13 of 68

1.1. AI CV 的應用與未來科技：智慧交通

https://dotblogs.azurewebsites.net/Ryuichi/2021/05/15/101414

物件偵測

  • 人流計算

14 of 68

1.1. AI CV 的應用與未來科技：智慧交通

https://www.idsmag.com.tw/new_article_result.asp?search_security_id=31650&xmonitor=1&secur_id=HCP011

物件偵測_車流

  • 路口車流

​

延伸

  • 空氣品質

​

15 of 68

1.1. AI CV 的應用與未來科技：智慧交通

分類_駕駛狀況

  • 疲勞偵測
  • 危險行為：手機
  • 危險行為：飲食

​

延伸

  • 保險

​

16 of 68

1.1. AI CV 的應用與未來科技：智慧交通

https://m.match.net.tw/pc/news/life/20220512/6544517

  • 都市交通中心

​

17 of 68

1.1. AI CV 的應用與未來科技：智慧交通

深度學習綜合

​

  • 車況狀況預測
  • 車況維修警報

​

https://twgreatdaily.com/_gUWmXABgx9BqZZI5a_6.html

18 of 68

1.1. AI CV 的應用與未來科技：智慧零售

物件偵測

  • 櫃檯收銀結帳

​

​

19 of 68

1.1. AI CV 的應用與未來科技：智慧零售

物件偵測

  • 目光偵測
  • 精準行銷

​

​

gif demo

20 of 68

1.1. AI CV 的應用與未來科技：智慧零售

https://docs.openvino.ai/latest/omz_demos_interactive_face_detection_demo_cpp.html

gif demo

物件偵測

  • 客戶情緒偵測

​

​

21 of 68

1.1. AI CV 的應用與未來科技：交流溝通

https://www.youtube.com/watch?v=fN1Cyr0ZK9M

https://flipedu.parenting.com.tw/article/000877

姿勢偵測

  • 手語
  • 手勢

語音偵測

  • 防霸凌

22 of 68

1.1. AI CV 的應用與未來科技：交流溝通

https://poem.xiaoice.com/

23 of 68

1.1. AI CV 的應用與未來科技：交流溝通

生成模型

  • 繪圖
  • GAN

24 of 68

1.1. AI CV 的應用與未來科技：交流溝通

https://docs.openvino.ai/latest/omz_demos_deblurring_demo_python.html?highlight=deblur

生成模型

  • 模糊清晰化

25 of 68

1.1. AI CV 的應用與未來科技：交流溝通

https://docs.openvino.ai/latest/omz_demos_image_inpainting_demo_python.html?highlight=paint

生成模型

  • 修補

26 of 68

1.1. AI CV 的應用與未來科技：交流溝通

https://6b.eleuther.ai/

27 of 68

https://fb.watch/eeaXze86L_/

28 of 68

1.1. AI CV 的應用與未來科技：健身娛樂

gif demo

https://docs.openvino.ai/latest/omz_demos_human_pose_estimation_demo_python.html?highlight=human%20pose

姿勢偵測

  • 健身
  • 運動
  • 遊戲
  • 眼、頭、肩膀、關節

29 of 68

1.1. AI CV 的應用與未來科技：資安

https://docs.openvino.ai/latest/omz_models_model_person_attributes_recognition_crossroad_0230.html

特徵標記

​

  • 根據標記尋找影片段落

30 of 68

1.1. AI CV 的應用與未來科技：製造

物件偵測

​

  • AOI 光學瑕疵檢測

​

語意分割

​

  • AOI 光學瑕疵檢測

31 of 68

1.1. AI CV 的應用與未來科技：製造

深度學習綜合

​

  • 設備狀況預測
  • 輸入品品質回饋

​

32 of 68

1.1. AI CV 的應用與未來科技：製造

https://docs.openvino.ai/latest/omz_demos_human_pose_estimation_demo_python.html?highlight=human%20pose

物件偵測、姿勢偵測

​

  • 危險動作偵測
  • 工序品質

​

33 of 68

1.1. AI CV 的應用與未來科技

藉由姿勢偵測，去提醒人的體姿，消弭駝背習慣。

​

“象頭神保險公司所使用的深度學習技術的力量：納雅娜的媽媽麗婭買到划算的東西，省下不少錢：爸爸桑賈伊戒了菸，開車風格也有所收斂；弟弟格汗改變了不良的飲食習慣，吃得更健康，以免成為印度八千萬糖尿病患中的一員。客觀來說，象頭神保險公司的確做到了幫助投保人『活得更長久、更健康、更安全』。

“AI, 2041”，李開復

34 of 68

  1. 這些應用對你而言有覺得驚奇嗎？
  2. 這些應用沒有共同處？
  3. 這些應用如何改變世界？

深度學習應用想一想？

35 of 68

AI 的原理

36 of 68

1.2. 為什麼需要 AI

智人 ⇒ 工具人 ⇒ 遊戲人

​

​

工具人：工業時期

第一波: 1769 年，蒸汽機

第二波: 1840 ~ 1920 (END OF WW1) 提升生產力

第三波: 1947 Diode, 1958 IC，電腦數位革命

第四波: 數據決策，價值主張

由 Nicolás Pérez, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=195711

37 of 68

1.2. 為什麼需要 AI：一個工具的表示

輸入

工具

方法

輸出 成果

38 of 68

1.1. 為什麼需要 AI：一個工具的表示

都是一個函式、功能、轉換、公式、程式。

​

​

39 of 68

1.1. 為什麼需要 AI：一個工具的表示

SD 01_01

客戶會議

SD 01_02

客戶需求審核與說明

SD 02_01

生產會議

SD 02_02

營業會議

SD 02_03

市場會議

SD 02_04

研發會議

SD 02_05

品質會議

SD 03_01

產品規格書

SD 03_01

專案計畫書

……

40 of 68

1.1. 為什麼需要 AI：據說人是最麻煩的

  • 業務跟客戶進行生意合作，他需要協調生產的時程、與產量的許可、備料所需的時間、他也必須要知道客戶提出的價錢能不能被主管接受等等。
  • 以上的項目哪些用自動化處理掉？比如產能的預定系統，是不是可以讓業務與客戶即時完成 “確定”與”共識“？
  • 價格是不是有規定的系統，還是可以跟主管爭取？如果是系統規定，是不是就是可以及時完成確定與共識？如果主管可以有彈性，那麼可能就要電話主管、會公司跟主管爭取、或者每週會議中討論，所以就需要 30 分鐘、兩個小時、一兩天、或一週的時間。
  • 備料呢？是公司有一定的備料，給業務一個規定接單三週上產線，第四週出貨？為什麼要三週？因為每週開產銷，提出要求需要兩週完備料況... 所以就是等大家討論，然後兩週備料？
  • 我們下週開了產銷，採購根據目標、長短料，跟上游下單，大約10天收到貨，可以上線，這也就說明大概需要 3 週才比較保險進行生產，才有機會符合給客戶的承諾。
  • 採購的購料是根據公司給的規則，給出的一對一建議，比如 A 一直都維持 5000 備料，不足就補，或者 B 料 根據一個月平均值多備有 20% 的料？還是採購會根據經驗去判斷？

….

​

  • 一個接單，牽涉到上游、上游的上游，各層供應的決策與所需生產勞動時間。�這些決策是由人來決定，還是其實就是公司系統寫得很完備？這些決策如果是公司系統寫得完備，需不需要有幾層人事簽核把關？如果不由人決定、不需要有人簽核，可以省掉多少時間？

如果把人的核定、溝通共識、判斷、預測、經驗都由機器去作估測是不是可以讓交期有35天變成 4 天？

41 of 68

1.1. 為什麼需要 AI：據說人是最麻煩的

目前 ”美國新創的保險公司 Lemonade 和中國的水滴等，它們讓使用者透過應用程式購買保險或申請貸款，並且在很短的時間內就能完成審核流程。“

​

”AI, 2041”, 李開復

42 of 68

1.1. 為什麼需要 AI：一個工具的表示

  • 程式程序 ⇒ 人 ⇒ 程式程序 ⇒ 人 ……
  • （邏輯、推理） �⇒ （學習、經驗、辨識的能力） �⇒ （邏輯、推理） �⇒ （學習、經驗、辨識的能力）
  • 如果 （學習、經驗、辨識的能力） 可以由電腦執行，�整個程序會非常快同時節省很多人力成本。

43 of 68

1.1. 為什麼需要 AI：一個工具的表示

  1. 理解、邏輯、歸納
  2. 數學式、運算計算
  3. 程序描述
  4. 函式

解決問題的方法

44 of 68

  1. 電腦只會執行人清楚告訴它步驟的事。
  2. 理想中的程序一段接一段快速執行，但是總會遇到某些問題 “不知道” 如何程式設定。
  3. 就是有一些功能、“我們” 不知道如何用程式、數學式完成。複雜、心思、影像、文字語意。
  4. 我們必須跳脫邏輯演繹的框架，採用新的框架。

為什麼需要 AI?

45 of 68

1.3. AI 的框架：一直都是找一個函式

你問一個問題，他回一個答案。

你問一個蘋果多少錢，他回 25 塊錢。

你問兩個蘋果多少錢，他回 50 塊錢。

你問三個蘋果多少錢，他回 75 塊錢。

可能就有外插的預測...

​

​

線性模型

f (x)

46 of 68

1.3. AI 的框架：一直都是找一個函式

你問一個問題，他回一個答案。

你問一個蘋果多少錢，他回 25 塊錢。

你問兩個蘋果多少錢，他回 50 塊錢。

你問三個蘋果多少錢，他回 75 塊錢。

可能就有外差的預測...

但是，五個以上，每個蘋果只要 20 元

​

​

非線性模型

f (x)

47 of 68

1.3. AI 的框架：我們找的函式是一對一或多對一

我們喜歡的函式是

一對一或者多對一

​

我們喜歡的函式是

一對多 （其實就不是函式定義了）

比如問他一個蘋果多少錢？ 25

再問他一個蘋果多少錢？ 35

可能.... 就打結了

f (x)

48 of 68

1.3. AI 的框架：一直都是找一個函式

def sigmoid(x):

x = np.array(x)

z = 1/(1+np.exp(-x))

return z

$sigmoid(x) = \sigma(x) = \large\frac{1}{1+e^{-x}}$

f (x)

49 of 68

1.3. AI 的框架：一直都是找一個函式

def simple_relu(x):

if x >= 0:

return x

else: return 0

relu

f (x)

50 of 68

1.3. AI 的框架：一直都是找一個函式

image source: https://en.wikipedia.org/wiki/Algorithm

​

猜數字流程

f (x)

51 of 68

1.3. AI 的框架：一直都是找一個函式

汽車、飛機運行

​

電腦、手機運作

​

洗衣機、咖啡機、自動販賣機

​

感應悠遊卡

​

​

  1. 理解、邏輯、歸納
  2. 數學式、運算計算
  3. 程序描述
  4. 函式

解決問題的方法

f (x)

52 of 68

1.3. AI 的框架：一直都是找一個函式

  1. 理解、邏輯、歸納
  2. 數學式、運算計算
  3. 程序描述
  4. 函式

解決問題的方法

如果太複雜、無法理解、歸納

數學式找不出來

程式不夠全面....

  1. 不理解規則
  2. 函式無法用數學式表示

認知的問題

53 of 68

1.3. AI 的框架：一直都是找一個函式

image source: https://medium.com/cogitotech/what-is-semantic-image-segmentation-and-types-for-deep-learning-4c2f245f0287

昨日我沿著河岸

漫步到蘆葦彎腰喝水的地方

CV

NLP

f (x)

54 of 68

我們原本的數學式、程序、演算法都沒有辦法好好處理某些問題，所以我們需要新的方法。

55 of 68

1.3. AI 的框架：一直都是找一個函式

  1. 一個輸入 ⇒ 一個輸出
  2. 函式、轉換

我們都是在找一個函式

什麼是輸入：好像就是一些自變數

什麼是輸出：好像就是一些因變數

​

就好像我的 身高、體重、年齡與睡眠時間長短當輸入 ⇒ 推估我的健康

f (x)

56 of 68

1.3. AI 的框架：一直都是找一個函式

能量計算器 f1(m) = mc2

影像分類器 f2( ) = 貓

f2( ) = 狗

物件偵測器 f3( ) =

​

情緒辨別器 f4(“完成了一隻聊天機器人” ) = “開心”

f4(“跑完了一場馬拉松” ) = “疲憊”

​

​

​

​

​

​

​

f (x)

57 of 68

1.3. AI 的框架：一直都是找一個函式

下班時間估測器 f5(‘派大’, ‘週三’, ‘21:40’, ‘9:45’ ) = 19:25

f5(‘大元’, ‘週二’ , ‘17:40’, ‘08:55’ ) = 20:55

採購量估測 f6(‘A6連接器’, ‘100’, ‘300’, ‘290’ ) = 3

零件更換推估器 f7(‘G7_8’, ‘ ’, ‘4.7(m)’, ‘147(h)’) = 不換

f7(‘G7_8’, ‘ ’, ‘4.3(m)’, ‘137(h)’) = 更換

食品推薦器 f8( ) = [ 焦糖瑪奇朵、波士頓派]

​

f8( ) = [ 魚骨頭、貓罐頭]

股市 f9( ) = “明天上漲 3.5%”

f9( ) = “明天上漲 0.17%”

f (x)

58 of 68

哪一些是可以說得清楚、可以邏輯表達、算式計算？

哪一些是說不清楚、還可能因人而異的？

說得清的，我們幾乎都 “說給電腦” 處理了。

說不清的，電腦正在等我們 “說清楚” 告訴它...

所以... 說倒底，電腦會的都是我們告訴它的！

59 of 68

AI 的原理之：新方法、新框架

60 of 68

1.3. AI 的框架：三個步驟

  1. 設計一個模型
  2. 制定評估好壞的方法
  3. 從模型中挑出最好的函式

由機器學習找出一個函式的方法

61 of 68

1.3. AI 的框架：三個步驟

推敲心思

函式：

模型：

損失函式：

函式：

推敲心思

函式：“對方的心思”

模型：很多軍師

損失函式：100個問題的回答與對方的吻合度

函式：損失最少的那位軍師

model = Sequential()

model.add(Dense(128, input_dim=784,

activation = ‘relu’)

modeladd(Dense(10, activation = ‘softmax’)

​

model.compile(loss = ‘categorical_

crossentropy’, optimizer = ‘adam’)

​

model.fit(train, label, epochs = 10)

練習：連連看

62 of 68

  1. 從模型中挑出最好的函式，原本的方式是測試模型中所有的函式，但是這是不可能、沒效率。
  2. 我們採取調整一個權重變大或變小時觀察損失值是否變小，以此為根據去多次調整該權重，以獲取可接受的結果。切確的方法就是梯度下降法。
  3. 每一個資料的推論，都跟全體資料相關，這可以視為成見、偏見，每一個個體都不再有個性。
  4. 機器學習的偏見是顯性的偏見，人的偏見會被影藏。

我們原本的數學式、程序、演算法都沒有辦法好好處理某些問題，所以我們需要新的方法，一種新的框架：

63 of 68

1.3. AI 的範疇與問題類型

64 of 68

1.3. AI 的範疇與問題類型

答案

問題

(資料)/問題

推論

(資料)/問題

推論

設計好

的程序

機器學習

深度學習

65 of 68

f(x)

定義規則

新資料

答案

大量資料

新資料

推論，建議

f(x)

解決問題的方法比較：資料驅動

66 of 68

1.3. AI 的範疇與問題類型

分類

回歸

分群

降維

監督式學習

非監督式學習

強化學習

自監督式學習

67 of 68

1.4 何時使用深度學習

  1. 找不出數學式
  2. 擁有資料
  3. 資料間有 Pattern 存在

68 of 68

第一章 我們想說的是...

  • 原本理解、邏輯、陳述、程序的模式遭遇到問題，整個工作的全自動化是有困難的。
  • 取而代之的是一種趨近方式減少誤差的方式，所以歸納成三個步驟。
  • 如果有方程式就不要用深度學習。
  • 所有驅動都是資料，資料需要標籤。
  • 是的，是數學式，沒有自我意識。
  • 是的，它的目標是趨近人類的能力，而不是超越人類的能力（當然可以去除人了錯誤資料，學習比較精準）
  • 它有一些威脅：偏見、不可解釋。同時容易理解人類的喜惡、進而為企業所用。
  • 都是簡單的分類與回歸，都是弱 AI，不是強 AI。