深度學習�Densely Neural Netwrok�Chapter 1~4�Part 1

教材主要來源: Tensorflow 與Keras 深度學習運用實物 陳允傑/旗標

由淺入深的深度學習

• 「不聞不若聞之，聞之不若見之，見之不若知之，知之不若行之，學至於行之而止矣。 」 ── 《荀子．儒效》
• 「沒聽過比不上聽過；聽過比不上實際看過；看過則比不上實際了解；而了解又不如動手實踐。唯有身體力行才能真正地學到東西。」
• 做為一門學問，深度學習也是同樣道理。 僅說自己對深度學習有興趣或是有關注（聞、見），但卻沒有實際花時間去深入了解或實際應用（知、行）是無法真正體會深度學習。

​

​

​

​

https://leemeng.tw/deep-learning-resources.html

​

Tensorflow 提供資料集

• https://www.tensorflow.org/datasets/catalog/overview

​

https://www.tensorflow.org/datasets/catalog/overview

​

Chapter 1 認識人工智慧與機器學習

1-1 人工智慧概論

• 1-1-1 人工智慧簡介
• 1-1-2 人工智慧的應用領域
• 1-1-3 人工智慧的研究領域

1-1-1 人工智慧簡介 - 認識人工智慧

人工智慧三波浪潮

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

第三波AI浪潮的觸媒

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

學習地圖

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

人工智慧應用

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

1-2 認識機器學習

1-3 機器學習的種類

• 1-3-1 監督式學習
• 1-3-2 非監督式學習
• 1-3-3 增強學習

監督式學習

• 個性一板一眼的大兒子：監督式學習 Supervised Learning
• 它的個性單純、踏實，大部分的事情你必須先跟它解釋夠多遍，它才有足夠的判斷力做出決定。舉例來說，你今天帶著它來到公園，為了讓他了解什麼是植物，你指向榕樹、矮樹林、灌木叢與草地，看！這些都是植物，接著指著天空、汽車和房子說這些不是植物，帶著它認識大部分的物件後，大兒子最終找到了規律(綠色、有根或葉)，學會了如何判斷什麼是植物。

​

監督式學-自駕車

• 手寫數字辨識
• 鳶尾花辨識
• 自駕車

自駕車

0度

180度

彎

度

小

彎

度

大

直

線

彎

度

小

彎

度

大

非監督式學習

• 明察秋毫、善於分類的女兒：非監督式學習 Unsupervised Learning
• 喜歡將看到的物件依照結構分門別類、劃分成不同群組的它，當你將一箱動物玩具放在它面前時，它很快就能夠從中分出不同的小圈子，讓你感到驚訝的是，你事先並沒有告訴它每隻動物是哪種分類，它卻可以透過觀察分成有翅膀能夠飛的、能在水中生活的或只能在路上爬的動物，有些甚至有它獨特的分類方法是你沒想到的，這就是非監督式學習，你不必透過監督，就從玩具中透過觀察解析結構將資訊做好分類。

範例範例:範例:購物籃分析

強化學習

• 失敗就是進步，越挫越勇的老么：Reinforcement Learning
• 而最小的老么最喜歡下棋，常常要求你跟它對弈，一開始你一定會竊笑它的思路缺乏常識，總是下險棋犯些很明顯的錯誤，但經過一局又一局的對弈之後，它不斷思考每一局的過錯是不是有改變的可能，所以它越下越好，思考的套路也更加深層，沒錯！AlphaGo就是強化式學習的一種應用。

範例範例:Nvidia 範例:Nvidia 自駕車

深度學習的神經網路種類

• 多層感知器�（Multilayer Perceptron，MLP、�Densely Neural Network ，DNN）
• 卷積神經網路�（Convolutional Neural Network，CNN)
• 循環神經網路�（Recurrent Neural Network，RNN）

必備數學技巧

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

Logic Programming VS. Data Programming�傳統程式設計 VS. 機器學習

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

深度學習的修練

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

深度學習開發流程

陳昭明: 深度學習 專題實戰

Python 深度學習應用實務

陳允傑 著

TensorFlow & Keras

Chapter 2 建構 Tensorflow 與

Keras 開發環境

2-1 認識TensorFlow與Keras

• 2-1-1 Google的TensorFlow
• 2-1-2 Keras

​

2-1-1 Google的TensorFlow

• TensorFlow是Google Brain Team開發，在2005年底開放專案後，2017年推出第一個正式版本，之所以稱為TensorFlow，這是因為其輸入/輸出的運算資料是向量、矩陣等多維度的數值資料，稱為張量（Tensor），我們建立的機器學習模型需要使用流程圖來描述訓練過程的所有數值運算操作，稱為計算圖（Computational Graphs），這是一種低階運算描述的圖形，Tensor張量就是經過這些流程Flow的數值運算來產生輸出結果，稱為：Tensor+Flow=TensorFlow。

​

2-1-1 Google的TensorFlow

• 使用Python語言搭配TensorFlow來開發機器學習專案，基於效能考量，實際的數值運算是使用C++語言實作，在硬體運算不只支援CPU，也支援顯示卡GPU和Google客製化TPU（TensorFlow Processing Unit）加速機器學習的訓練。

2-1-2 Keras

• Keras是Google工程師François Chollet使用Python開發的一套開放原始碼的高階神經網路函式庫，支援多種後台的神經網路計算引擎，其預設引擎是TensorFlow。基本上，Keras的主要目的是讓初學者也能夠方便且快速建構和訓練各種深度學習模型，其特點如下所示：
• Keras能夠使用相同的Python程式碼在CPU或GPU上執行。
• Keras提供高階APIs來快速建構深度學習模型的神經網路。
• Keras預建全連接、卷積、池化、RNN、LSTM和GRU等多種神經層，可以如同烘焙多層蛋糕般，輕鬆堆砌出每一層蛋糕來建立多層感知器、卷積神經網路和循環神經網路。

​

2-1-2 Keras

• Python語言雖然可以直接使用TensorFlow Core API的張量、計算圖和運算操作等低階API來建立深度學習模型和進行除錯，但是對於初學者來說，Keras是架構在TensorFlow上的高階函式庫，可以使用更人性化方式來建構深度學習模型。

2-2 建構Python深度學習的開發環境

• 2-2-1 使用Anaconda建立開發環境
• 2-2-2 是否需要GPU獨立顯示卡

Chapter 3 深度學習基礎

3-1 認識深度學習

• 3-1-1 人工智慧、機器學習與深度學習的關係
• 3-1-2 什麼是深度學習
• 3-1-3 深度學習就是一個函數集

3-1-1 人工智慧、機器學習與深度學習的關係

3-1-2 什麼是深度學習 –是一種神經網路

• 深度學習就是模仿人類大腦神經元（Neuron）傳輸的一種神經網路架構（Neural Network Architectures）。

​

• 深度:隱藏層超過2層。
• 學習:求得一組好的神經元的參數。

3-1-2 什麼是深度、學習

3-1-2 深度神經網路-辨識手寫數字

3-1-3 深度學習就是一個函數集

• 「用訓練的方法找出一個函數，將輸入的資料映射到正確的答案」
• 深度學習的神經網路是使用一套函數集來執行多次矩陣相乘的非線性轉換運算。
• 這個函數集如果完成訓練，將特徵資料送入神經網路，經過每一層神經元的計算（將一個向量映射至另一個向量的過程），整個神經網路可以輸出最後結果的最佳解(分類預測結果)。

​

3-1-3 神經網路模型訓練

• 神經網路模型訓練:
• 送入圖片4、5、1、0，辨識結果6、2、3、1，有很大的誤差
• 依據誤差反過來調整神經網路函數集的參數，以便修正誤差，產生更接近正確答案的辨識結果。

3-2 深度學習的基礎知識

• 3-2-1 圖形結構
• 3-2-2 向量與矩陣
• 3-2-3 微分與偏微分

3-3 深度學習的神經網路 –建構你的計算圖

• 3-3-1 神經元
• 3-3-2 感知器
• 3-3-3 深度學習的神經網路種類

3-3-1 神經元 - 腦神經細胞的神經元

• 人類的大腦十分複雜，據估計大腦擁有超過300億個使用各種方式連接的「神經元」（Neuron），能夠使用神經元之間的連接來傳遞訊息和處理訊息（電子脈衝訊號），可以讓人類產生記憶、思考、計算和識別的能力。

​

大腦奧秘(神經網路)

​

樹突

軸突

突觸

腦神經細胞

訊號傳遞

神經網路傳遞動畫

神經訊號傳遞

神經細胞-突觸

訊號傳遞

化學訊號 + 電子訊號

腦神經內的運輸

神經網路連結建構

3-3-1 神經元 - 腦神經細胞的神經元

• 神經元擁有多個輸入，但是只有一個輸出。
• 一般來說，就算同時有多個訊號輸入，如果訊號不夠強；神經元也不會有任何輸出，
• 當短時間有大量高強度訊號輸入時，神經元就會被激活，然後透過軸突向其他神經元輸出電子脈衝訊號。

​

3-3-1 神經元 - 人工神經元

• 「人工神經元」（Artificial Neuron）的數學模型，這是模仿神經元依據輸入訊號的強弱來決定是否輸出訊號
• 因為是一個數學模型，所以使用1或0的數值來代表訊號。
• 在加總後，即可依據閾值判斷是否輸出訊號1或0。
• 訊號強度 = 輸入1*權重1+輸入2*權重2+輸入3*權重3

​

​

3-3-2 感知器 - 認識感知器

• 「感知器」（Perceptions），一個可以模擬人類感知能力的機器，進化版的人工神經元和二元線性分類器。
• 感知器是神經網路的基本組成元素，單一感知器就是一種最簡單形式的二層神經網路，擁有輸入層和輸出層。
• 感知器運算 : f(W1xX1 + W2xX2 + …… + Wn xXn +b )

​

​

3-4 深度學習的資料 – 張量(Tensorflow)

• 張量就是不同大小維度（Dimension），也稱為軸（Axis）的多維陣列，其基本形狀（Shape）如下所示：

(樣本數, 特徵1, 特徵2….)

• 上述「,」逗號分隔的是維度，第1維是樣本數，即送入神經網路訓練的資料數，之後是資料特徵數的維度，視處理問題而不同，例如：圖片資料是4D張量，擁有3個特徵寬、高和色彩數，如下所示：

(樣本數, 寬, 高, 色彩數)

• 上述張量的維度數是4，也稱為軸數，或稱為等級（Rank）。

神經網路運算影片

• 大腦奧秘(神經網路)
• 李宏毅教授深度學習(教學影片)
• 深度學習-神經網路(3Blue)(深度學習)
• 深度學習神經網路((動畫展示(動畫展示)

第四章 神經網路-多層感知器� (Multilayer Perceptron)

第四張 多層感知器(Multilayer Perceptron)

• 多層感知器
• 線性不可分割
• 多層感知器
• 神經網路學習過程:正向與反向傳播
• 激活(啟動)函數與損失函數
• 反向傳播與梯度下降
• 神經網路樣本與標籤資料

多層感知器(Multilayer Perceptron)

• 多層感知器(Multilayer Perceptron)
• 密集連接神經網路(Densely Neural Network、�Fully Connected )
• 深度神經網路(Deep Neural Network)

多層感知器(Multilayer Perceptron)

• 迴歸(預測房價、預測股票漲、跌多少錢….)
• 分類(手寫數字分類、圖片動物分類….

4-0 迴歸-線性迴歸

• 找一個函數曲線來擬合(fit)資料的分布點

4-0 迴歸-非線性迴歸

一次項函數

二次項函數

三次項函數

四次項函數

五次項函數

4-1 線性分割-幾何座標轉換

h1(x1,x2) = x1 + x2 - 0.5

​

h1(0,0) = 0 + 0 – 0.5 = - 0.5

h1(1,0) = 1 + 0 – 0.5 = 0.5

h1(0,1) = 0 + 1 – 0.5 = 0.5

h1(1,1) = 1 + 1 – 0.5 = 1.5

X1

X1

X2

w1 = 1

w2 = 1

b = -0.5

y = w1．x1 + w2．x 2 -0.5

感知器

(神經元)

​

輸出

輸入

(0,0)

(0,1)

(1,0)

(1,1)

0

4-1 線性分割-幾何座標轉換

0

P1(3)

(3)

(0,0)

P2(3,3)

(3,3)

1 Dimension

2 Dimension

4-1 線性分割-幾何座標轉換

P3(3,3,3)

(3,3,3)

3 Dimension

線性分割-幾何座標轉換

線性分割-幾何座標轉換�

[[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 3 18 18 18 126 136 175 26 166 255 247 127 0 0 0 0]

[ 0 0 0 0 0 0 0 0 30 36 94 154 170 253 253 253 253 253 225 172 253 242 195 64 0 0 0 0]

[ 0 0 0 0 0 0 0 49 238 253 253 253 253 253 253 253 253 251 93 82 82 56 39 0 0 0 0 0]

[ 0 0 0 0 0 0 0 18 219 253 253 253 253 253 198 182 247 241 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 80 156 107 253 253 205 11 0 43 154 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 14 1 154 253 90 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 139 253 190 2 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 11 190 253 70 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 35 241 225 160 108 1 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 81 240 253 253 119 25 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 45 186 253 253 150 27 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 93 252 253 187 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 249 253 249 64 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 46 130 183 253 253 207 2 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 39 148 229 253 253 253 250 182 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 24 114 221 253 253 253 253 201 78 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 23 66 213 253 253 253 253 198 81 2 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 18 171 219 253 253 253 253 195 80 9 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 55 172 226 253 253 253 253 244 133 11 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 136 253 253 253 212 135 132 16 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]]

線性分割-幾何座標轉換�

P784[0,0,0,0…..6,7,50,66,78,,9,8,0,0,0,……………..0,0,0]

784 Dimension

線性分割-幾何座標轉換�

[0,0,0,0…..6,7,50,66,78,,9,8,0,0,0,……………..0,0,0]

784 Dimension

線性分割-幾何座標轉換�

784 Dimension

線性分割-幾何座標轉換�

784 Dimension

線性分割-幾何座標轉換

784 D 🡪 16 D 🡪 16D 🡪 10D

7

1

6

5

2

4

3

8

0

9

16 Dimension

線性分割-幾何座標轉換

線性分割-幾何座標轉換�

784 D [0,0,0,0,…..,3,18,18,……,0,0,0]

10 D [0.01, 0.005, 0.005, 0.003, 0.002, 0.96, 0.001,0.002,0.003,0.009]

1.00 = 0.01 + 0.005 + 0.005 + 0.003 + 0.002 + 0.96

+ 0.001+ 0.002 +0.003+ 0.009]

784 D [0,0,0,0,…..,6,128,18,30,40,……,0,0,0]

10 D [0.97, 0.005, 0.005, 0.003, 0.002, 0.001, 0.001,0.001,0.003,0.009]

784 D [0,0,0,0,…..98,13,128,45,50,……,0,0,0]

10 D [0.002, 0.005, 0.005, 0.003, 0.97, 0.002, 0.001,0.002,0.003,0.007]

線性分割-幾何座標轉換�

784 D [0,0,0,0,…..,45,67,89,128,18,……,0,0,0]

10 D [0.95, 0.005, 0.005, 0.003, 0.002, 0.02, 0.001,0.002,0.003,0.009]

784 D [0,0,0,0,…..,34,128,118,129……,0,0,0]

10 D [0.01, 0.005, 0.96, 0.003, 0.002, 0.005, 0.001,0.002,0.003,0.009]

784 D [0,0,0,0,…..,98,95,112, 3,18,18,……,0,0,0]

10 D [0.005, 0.005, 0.005, 0.955, 0.002, 0.003, 0.001,0.002,0.003,0.009]

線性分割-幾何座標轉換

10Dimension

1

9

8

7

6

5

4

3

2

AIAI AI Experiments

0

線性分割-幾何座標轉換

784 Dimension

10 Dimension

混亂 🡪 特徵 萃取 🡪 規律

4-1 線性不可分割-多層感知器

一條線(一個感知器) 無法分割紅色方塊與黑色圓點

4-1 線性不可分割-多層感知器

• 2條分割線

h1(x1, x2)=x1+x2-0.5

h2(x1, x2)=x1+x2-1.5

• 透過2個感知器來產生新的輸出，首先是h1()函數

h1(0,0)=f(1*0+1*0-0.5)=f(-0.5)=0

h1(0,1)=f(1*0+1*1-0.5)=f(0.5)=1

h1(1,0)=f(1*1+1*0-0.5)=f(0.5)=1

h1(1,1)=f(1*1+1*1-0.5)=f(1.5)=1

• 然後是h2()函數

h2(0,0)=f(1*0+1*0-1.5)=f(-1.5)=0

h2(0,1)=f(1*0+1*1-1.5)=f(-0.5)=0

h2(1,0)=f(1*1+1*0-1.5)=f(-0.5)=0

h2(1,1)=f(1*1+1*1-1.5)=f(0.5)=1

​

4-1 線性不可分割-多層感知器

• 利用函數(h1,h2)做座標轉換，轉換成o1(h1,h2)新座標

(x1,x2)=(0,0)🡪o1(h1,h2)=(0,0)

(x1,x2)=(0,1)🡪o1(h1,h2)=(1,0)

(x1,x2)=(1,0)🡪o1(h1,h2)=(1,0)

(x1,x2)=(1,1)🡪o1(h1,h2)=(1,1)

4-1 線性不可分割-多層感知器

4-1 線性不可分割-多層感知器

• (0,1)和(1,0)兩個點都是轉換成(1,0) 。

4-2 多層感知器就是神經網路

• 第一層感知器就是隱藏層，加上前後的輸入層和輸出層，就是一種三層神經網路。

​

4-2 多層感知器 –深度神經網路

• 如果多層感知器有2層隱藏層，加上輸入與輸出，�共四層神經網路，就是深度神經網路。

​

4-2 深度神經網路-複雜函數

• 深度神經網路就是一套複雜的函數

Ｆ(o1(h1(w11,w12,b1), h2(w21,w22,b2) ,b3))

4-2 神經網路-特徵捕捉

(2,2) ． (1,1) = 2+2 =4.0

(1.5,1.5) ． (1,1) = 1.5 + 1.5 = 3.0

(1,2) ． (1,1) = 1 + 2 = 3.0

(2,1) ． (1,1) = 2 + 1 = 3.0

(0.5,0.5) ． (1,1) = 0.5 + 0.5 = 1.0

(-1,1) ． (1,1) = -1+ 1 = 0.0

(-1,-1) ． (1,1)= -1 -1 = -2.0

​

X1

X1

X2

W1 = 1

W2 = 1

b = -2

y =w1 x1 + w2x 2 -　2

感知器

(神經元)

輸出

輸入

(0,0)

(0,1)

(1,0)

(1,1)

(0,0)

(2,2)

(2,1)

(1,2)

[1,1]

(0.5,0.5)

(-1,1)

(-1,-1)

(1.5,1.5)

h1(x1,x2) = x1 + x2 - 0.5

特徵要大於2 才入選

4-2 神經網路-特徵捕捉

4-2 神經網路-特徵捕捉

4-2 神經網路-特徵捕捉

4-2 神經網路-特徵捕捉

4-2 神經網路-特徵捕捉�

4-2 神經網路-特徵捕捉�

4-2 神經網路-特徵捕捉

4-2 神經網路-特徵捕捉

• 蝴蝶較鮮豔
• 蝴蝶觸鬚較細
• 蛾顏色較黯淡
• 蛾觸鬚較粗

4-2 神經網路-特徵捕捉�

捕捉顏色鮮艷

捕捉觸鬚較厚

捕捉顏色較暗

捕捉觸鬚較細

4-2 神經網路-特徵捕捉

0.95

0.85

0.2

0.3

0.98

0.02

蝴蝶

蛾

4-2 神經網路-特徵捕捉

0.2

0.1

0.92

0.93

0.01

0.99

蝴蝶

蛾

4-2 深度神經網路的解釋

• 幾何座標轉換(分割):�隱藏層有2個神經元，就是一種幾何平面座標轉換。�隱藏層有3個神經元，就是空間座標的轉換。�隱藏層超過3個神經元，就是高維度空間座標的轉換。
• 複雜函數:�深度神經網路就是一套複雜函數(多層次函數轉換)。
• 特徵捕捉:�神經元依據神經元的參數捕捉輸入資料特徵，透過bias（偏移植） 過濾特徵不夠強的資料，不同神經元捕捉不同特徵。

​

​

4-2 幾何座標2D🡪 3D

4-2 空間座標轉換

• 神經網路是由一層一層構建的，那麼每層究竟在做什麼？
• 空間座標轉換

神經網路範例操作

Playground.tensorflow.org((連結(連結)

ConvJetJs((連結(連結)

3Blue1Brown-1(深度學習深度學習)

李弘毅教授((深度學習(深度學習)

​

Playground.tensorflow.org 說明

X1可以看成以横坐标分布的数据特征，X2是以纵坐标分布的数据特征，X1X1和X2X2是非负的抛物线分布，X1X2是双曲抛物面分布，sin(X1)和sin(X2)正弦分布。我们的目标就是通过这些特征的分布组合将两类数据（蓝色和黄色）区分开，这就是训练的目的

Playground.tensorflow.org 說明

Activation Function

L1、L2 Regulation 降低Overfitting

L1L1、L1、L2 regulation L1、L2 regulation 教學影片

L1L1、L1、L2 Regulation L1、L2 Regulation 降低L1、L2 Regulation 降低Overfitting

​

L1、L2 Regulation 降低Overfitting

• 第一個例子 underfit
• 第二個例子 洽到好處
• 第三個例子 overfit

L1、L2 Regulation 降低Overfitting

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

加入雜訊增加分類困難度

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground.tensorflow.org 說明

Playground螺旋資料分布-無法分類

Playground螺旋資料分布-改變激活函數-可以分類

Playground 改變特徵