Using Semantic segmentation on hyperspectral images to predict the landcover

Group 7 黃世宇 雷聿文 

outline

• Brief intro.
• Dataset
• Model intro.
• 損失函數與評估標準
• 實驗結果
• 結論與未來可改進的部分

​

​

​

​

​

Brief intro.

• Model : U-Net backbone, with resnet18 as encoder, and bilinear interpolation as decoder. 4 skip connection is used. For encoder part, we add SE module to see if it will perform better or not.

​

​

​

​

​

​

ref. [Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun]

​

此圖第三個column是resnet18的架構，我們的模型的卷積核大小以及數量就是遵循這個resnet18的架構(conv2_x~conv5_x)。(當然output size不同)

​

Dataset info.

• Training set : Validation set : testing set = 6:2:2

​

• 裁切圖像塊數之shape : 96 x 96 x 200 (height x width x channel)

​

• mask pixel value range : 0,1,2,...,29 (total 30 classes)

• ref.HSI-TransUNet: A transformer based semantic segmentation model for crop mapping from UAV hyperspectral imagery Bowen Niu , Quanlong Feng , Boan Chen , Cong Ou , Yiming Liu , Jianyu Yang ​

Model intro.

• spatial，channel，layer attention modules的抉擇
• 在許多channel attention module中，選SE module的原因
• 選resnet18，不是34、50、101的原因
• 解碼端選bilinear interpolation，不是deconvolution的原因

Ref. : https://arxiv.org/abs/1505.04597 (U-Net)

​

上圖是U-Net原始論文的模型架構圖，我們跟他的模型區別只在於我們模型

​

• 做捲積時有做zero padding，使得捲積前後的特徵圖長寬不變

​

• 編碼端是用residual block + SE module

​

• 每一次的捲積的#kernel是遵循resnet18的#kernel

​

• 反捲積部分改成雙線性內插

​

• 輸入的影像大小CxHxW = 200x96x96

​

• 輸出的特徵圖大小CxHxW = 30x96x96，30是類別數

�

損失函數與評估標準

• 損失函數:
• cross entropy，focal loss and weighted

​

• 評估標準(evaluation metric):
• MIOU
• Overall accuracy

實驗結果

ref.HSI-TransUNet: A transformer based semantic segmentation model for crop mapping from UAV hyperspectral imagery Bowen Niu , Quanlong Feng , Boan Chen , Cong Ou , Yiming Liu , Jianyu Yang 

結論與未來可改進的部分

​

• 解決樣本數少的類別的像素分類很差的問題 
• 可以使用一些更複雜的模組，或是更深更廣的網路架構 �

• END