1 of 11

AsConvSR: Fast and Lightweight Super-Resolution Network with Assembled Convolutions

​

​

Jiaming Guo1, Xueyi Zou1, Yuyi Chen1, Yi Liu1, Jia Hao2, Jianzhuang Liu1, Youliang Yan1

1Huawei Noah’s Ark Lab, 2HiSilicon (Shanghai) Technologies Co., Ltd

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

1

2 of 11

Introduction

1. In recent years, most media contents are produced and distributed in high resolution like 720p (HD), 1080p (FHD). However, these high resolution images and videos cannot achieve the expected visual effect due to the limitation of the internet bandwidth. Therefore, super-resolution needs to process higher resolution images and videos, which significantly increase the processing time.

2. Previous works mainly aim at lower input resolutions like 540p and 640p. Their real-time (30fps) performance cannot be guaranteed on higher input resolutions. And the effectiveness of skip-connection, concatenation and other operations which are commonly used in existing methods needs to be reevaluated.

3. Furthermore, it's very intuitive to apply different enhancement methods on the patches with different textures and contents. Designing an efficient dynamic network will also become the key to solve the above problems.

​

In this paper, we propose a fast and lightweight super-resolution network with assembled convolution for real-time super-resolution. We revisit the efficiency of several network designs and propose a lightweight block named assembled block which can adaptively assembles the convolution kernels according to the input features.

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

2

3 of 11

Overview of AsConvSR

 

Figure 1. Architecture of AsConvSR.

Pixel-unshuffle

 

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

3

4 of 11

Overview of AsConvSR

  • Besides the convolution layers, skip connections also occupy a large amount of computational resources. They not only require additions of two feature maps, but also have to cache the previous feature map which consumes more memory. We discard all intermediate skip connection, and replace the classical interpolation used in the global skip connection by repeat upscaling proposed by ABPN.

Figure 1. Architecture of AsConvSR.

Skip connection

Assembled Block

  • By reviewing the idea of divide-and-conquer, we propose assembled convolutions which can adapt convolution kernels according to the input features. In AsConvSR, we replace the residual block with the assembled block. Each assembled block contains one control module and three assembled convolutions.

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

4

5 of 11

Assembled Block

Control module

Assembled Conv

 

Figure 2. Details of the assembled block. Conv-1 indicates a convolution whose kernel size is 1×1.

The function of assembled convolution is:

  • Multiplying the coefficient and the basic convolution kernels to obtain a classical 3x3 convolution kernel.
  • Perform convolution on the input feature using the convolution kernel obtained from previous step.

Note that the control module and the multiplication between coefficient and basic kernels are performed at the weight dimension, so their computational cost is very small compared with the convolution performed at feature dimension.

​

Therefore, using assembled convolution will not increase too much runtime, and can improve the effectiveness of the network.

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

5

6 of 11

Assembled Block

Dynamic Conv vs Assembled Conv

Figure 3. Comparison between dynamic convolution and assembled convolution.

 

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

6

7 of 11

Experiments

Comparison with State-of-the-Arts

 

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

7

8 of 11

Experiments

Comparison with State-of-the-Arts

Figure 3. Visual comparison of efficient SR models.

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

8

9 of 11

Experiments

Ablation Studies

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

9

10 of 11

Conclusion

In this paper, we propose a fast and lightweight super-resolution network with assembled convolution for

real-time super-resolution. We revisit the efficiency of several designs such as pixel-unshuffle, repeat upscaling, residual and bias removal. Furthermore, we design a lightweight block named assembled block which can adaptively assembles the convolution kernels according to the input features. By introducing these designs, our model runtime is significantly reduced while an excellent super-resolution performance is kept. Quantitative experiments demonstrate the competitive performance of our model.

As demonstrated in Tab.8, our model wins the first place in NTIRE 2023 Real-Time Super-Resolution - Track 1 (×2).

​

The major difference in training the competition model is the training datasets. We use DIV2K, Flick2K, DIV8K, GTAV, and LIU4K-V2 for training in the competition.

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

10

11 of 11

Thanks!

HUAWEI TECHNOLOGIES CO., LTD.

英文标题:32-35pt

颜色: R153 G0 B0

内部使用字体 :

FrutigerNext LT Medium

外部使用字体 : Arial

​

中文标题:30-32pt

颜色: R153 G0 B0

字体:黑体

​

​

​

英文正文:20-22pt

子目录 (2-5级) :18pt

颜色:黑色

内部使用字体 :

FrutigerNext LT Regular

外部使用字体 : Arial

​

中文正文:18-20pt

子目录(2-5级):18pt

颜色:黑色

字体:细黑体

配色参考方案：

建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。（仅供参考）

客户或者合作伙伴的标志放在右上角.

Huawei Confidential

11