1 of 13

SqueezeNet

輕量級神經網路

Ivan Lee

2 of 13

摘要

1.與AlexNet同樣的精度，但容量小50倍

2.使用模型壓縮技術，可SqueezeNet壓縮到小於0.5MB（比AlexNet小510倍）

3.需要較少帶寬，可部署在移動裝置上

​

​

3 of 13

AlexNet比較

​

model size

top-1 accuracy

top-5 accuracy

parameter

AlexNet

240MB

57.2%

80.3%

60M

SqueezeNet

4.8MB

57.5%

80.3%

​

1.25M

4 of 13

策略設計

（1）使用1x1濾鏡

相較3x3濾鏡，1x1比起3x3參數少9倍。

​

（2）減少3x3卷積的Input

組成Fire model，用1X1接3x3 filiters的方式，減少3x3的Input。

​

（3）延遲下降採樣

減少降採樣，使卷積有更大面積的激活。

​

5 of 13

Fire Module

6 of 13

SqueezeNet

conv1�max pool��fire2�fire3�fire4

​

max pool�fire5�fire6�fire7�fire8

​

max pool

fire9��conv10(softmax)�global avgpool

7 of 13

設計選擇

1.設定Zero-padding

2.擠壓層與拓展層使用Relu

3.fire 9 疊一層Dropout(50%)

4.沒有FC，最後搭全局均值池化

5.lr = 0.04開始，線性降低

6.caffe不支援不同濾鏡同時多個。

因此使用兩個展開圖層來實現拓展層。

8 of 13

9 of 13

實現框架

�- MXNet (Chen et al., 2015a) port of SqueezeNet: (Haria, 2016) �- Chainer (Tokui et al., 2015) port of SqueezeNet: (Bell, 2016) �- Keras (Chollet, 2016) port of SqueezeNet: (DT42, 2016) �- Torch (Collobert et al., 2011) port of SqueezeNet’s Fire Modules: (Waghmare, 2016)

10 of 13

精準度、容量比較

11 of 13

旁路設計(左:簡單版,右邊:複雜版)

簡單版：增加準確率，模型大小相同

複雜版：增加準確率，模型大小增加

12 of 13

Deep Compression-裁剪

13 of 13

參考

Code：https://github.com/DeepScale/SqueezeNet

Deep Compression：https://arxiv.org/pdf/1510.00149.pdf