1 of 23

إعداد الطلاب :

ريم جبيلي نوار عيسى أنس عبود

إشراف الدكتور: سامر سليمان

​

تقييم أداء أنظمة توليد الصور فائقة الدقة

​

أعد هذا البحث كجزء من متطلبات نيل الإجازة في هندسة الحاسبات والتحكم الآلي

الجمهورية العربية السورية

جامعة تشرين

كلية الهندسة الميكانيكية والكهربائية

قسم الحاسبات والتحكم الاّلي

Syrian Arab Republic

University of Tishreen

Facility of Mechanical & Electrical Engineering

Department of Computer Engineering & automatic Control

العام الدراسي : 2020/2019

2 of 23

هدف البحث :

  • إجراء دراسة تحليلية لمجموعة من النماذج المستخدمة في الدقة الفائقة.

​

غاية البحث:

​

الوصول إلى تقييم بحثي للنماذج المستخدمة في الدقة الفائقة.

3 of 23

المحتويات :

  • هدف البحث.
  • غاية البحث
  • مشكلة البحث.
  • مقدمة البحث.
  • الخوارزميات والنماذج المدروسة.
  • الأدوات المستخدمة.
  • النتائج.
  • الخاتمة والتوصيات.

4 of 23

مشكلة البحث:

  • اختلاف أداء النماذج المستخدمة في الدقة الفائقة.
  • انخفاض أداء الأنظمة المعتمدة على الدقة الفائقة.

5 of 23

مقدمة البحث:

  • الذكاء الاصطناعي:

تعلم الآلة:

التعلم العميق.

​

  • مفهوم الدقة الفائقة Super Resolution :

عملية تكبير الصورة وتحسين تفاصيلها ودقتها.

​

  • الهدف من الدقة الفائقة:

- تكبير الصور مع الحفاظ على انخفاض جودتها أقل ما يمكن.

- الدقة الفائقة المعتمدة على الشبكات العصبية تعالج عدة مشاكل منها إزالة البكسلات التالفة.

​

​

6 of 23

الخوارزميات والنماذج المدروسة:

  • تتم دراسة مجموعة نماذج تم الحصول عليها من الـ GitHub وهي:

​

  • الشبكات العصبية الالتفافية ذات الدقة الفائقة

Super-Resolution Convolutional Neural Networks (SRCNN)

  • الشبكات العصبية الالتفافية السريعة ذات الدقة الفائقة

Fast Super-Resolution Convolutional Neural Networks (FSRCNN)

  • الشبكات التوليدية المتعاكسة ذات الدقة الفائقة

Super-Resolution Generative Adversarial Networks (SRGAN)

  • الشبكات التوليدية المتعاكسة ذات الدقة الفائقة المحسنة

Enhanced Super-Resolution Generative Adversarial Networks (ESRGAN)

  • الشبكات العميقة المحسنة ذات الدقة الفائقة

Enhanced Deep Super-Resolution (EDSR)

7 of 23

SRCNN

 

حيث:

n: عدد المرشحات في الطبقة

f: حجم المرشح في

8 of 23

FSRCNN

 

9 of 23

SRGAN

  • تعتمد على الشبكات التوليدية المتعاكسة Generative Adversarial Networks (GAN).

​

  • تطبق شبكة عميقة مع شبكة معاكسة لها لإنتاج صور SR.

​

  • خطوات تدريب الشبكة:
  • معالجة الصورة HR للحصول على صورة مصغرةLR .
  • تمرير صور HR إلى المولد الذي يقوم بتكبير الصور وإنتاج صور SR.
  • تمييز الصور باستخدام المميز.

​

  • التقنيات المستخدمة:
  • تابع التنشيط ReLU.
  • الكتل المتبقية Residual Blocks.
  • تابع الخسارة البصرية Perceptual Loss Function.
  • المحسن Adam Optimizer.

GAN:

شبكتين عصبيتين متعاكستين:

1- المولد: شبكة عصبية تحاول توليد بيانات زائفة.

2- المميز: شبكة عصبية تميز بين البيانات الزائفة والأصلية.

10 of 23

ESRGAN

  • نموذج مطور عن SRGAN يحسن مدى حقيقية الصورة HR.

​

  • بنية الشبكة:

- تعديل بنية المولد:

  1. إزالة طبقات التطبيع Batch Normalization.
  2. اعتماد بنية Residual-In-Residual Dense Blocks:

- الشبكة المتبقية متعددة المستويات.

- الاتصالات التامة.

​

  • اعتماد المميز النسبي.
  • تابع التنشيط ReLU.
  • تابع الخسارة البصرية Perceptual Loss Function.
  • الاستيفاء الشبكي.

11 of 23

EDSR

 

12 of 23

الأدوات ولغات البرمجة المستخدمة

13 of 23

اللغات المستخدمة :

  • يدعم لغة Python.
  • إنشاء الملفات ومجموعات البيانات وحفظها واستيرادها من وإلى Google Drive.
  • استيراد الأكواد من GitHub.
  • المكتبات مضمنة تلقائياً.
  • تتيح استخدام مجاني لوحدات معالجة الرسوميات GPU ووحدات المعالجة المركزية CPU ووحدات معالجة المصفوفات TPU.

Google Colaboratory

الأدوات المستخدمة :

Python

14 of 23

خطوات العمل

15 of 23

  • تحديد النماذج التي ستتم دراستها وهي EDSR, SRCNN, FSRCNN, SRGAN, ESRGAN.
  • تحميل أوزان النماذج.
  • تجهيز صور الاختبار.
  • تجهيز دخل كل نموذج.
  • الحصول على قيمة الخرج المتنبأ بها.
  • حساب التوابع MSE, PSNR, SSIM للخرج المتنبأ به.

​

خطوات العمل:

16 of 23

عينات من الدخل المُستخدمة بمقياس 2 مع نتائج خرج كل نموذج:

Scaled

SRCNN

bicubic

FSRCNN

EDSR

SRGAN

ESRGAN

النتائج:

17 of 23

النتائج:

نتائج مجموعة البيانات Set5 المحُجّمة بمعامل تحجيم 2:

SRGAN

EDSR

FSRCNN

SRCNN

​

ssim

psnr

mse

ssim

psnr

mse

ssim

psnr

mse

ssim

psnr

mse

0.903844

31.960764

41.40034

0.955156

36.698075

13.90826

0.950570

36.061228

16.104881

0.951514

36.453002

14.715675

Baby_GT

0.949927

34.100926

25.29226

0.985466

40.441162

5.874409

0.987435

37.816558

10.750398

0.978250

37.809701

10.767385

Bird_GT

0.913073

27.003206

129.64617

0.967655

32.430879

37.15287

0.90276

30.004890

64.951828

0.951812

29.699429

69.684708

Butterfly_GT

0.743154

29.970027

65.47533

0.860325

34.181449

24.82764

0.854550

33.853641

26.774184

0.851988

33.998251

25.897347

Head_GT

0.949927

29.339061

75.713663

0.968727

34.320893

24.04313

0.960632

33.163927

31.382510

0.951812

32.861756

33.643781

Women_GT

Model name

Image

name

18 of 23

النتائج:

معدل القيم الناتجة لكل مِن Set5 و Urban50 :

SRGAN

EDSR

FSRCNN

SRCNN

​

Urban50

Set5

Urban50

Set5

Urban50

Set5

Urban50

Set5

267.209773

67.505558

166.341931

21.161264

219.162606

29.992760

151.376008

30.941779

Average MSE

24.698306

30.474797

27.87968

35.614492

26.019538

34.180049

27.611660

34.164428

Average PSNR

0.802980

0.886258

0.889758

0.974466

0.856164

0.938892

0.878969

0.939022

Average SSIM

Model name

metrics

19 of 23

عينات من الدخل المُستخدمة بمقياس 4 مع نتائج خرج كل نموذج:

Scaled

SRCNN

bicubic

FSRCNN

EDSR

SRGAN

ESRGAN

النتائج:

20 of 23

النتائج:

نتائج مجموعة البيانات Set5 المحُجّمة بمعامل تحجيم 4:

ESRGAN

SRGAN

EDSR

FSRCNN

SRCNN

​

ssim

psnr

mse

ssim

psnr

mse

ssim

psnr

mse

ssim

psnr

mse

ssim

psnr

mse

0.85

31.9

​

41.446957

0.564617

22.728514

346.91966

0.883844

30.805315

54.01926

0.828677

30.063956

64.074436

0.827401

29.908455

66.410217

Baby_GT

0.87

30.27

61.043752

0.685457

23.8220

269.69962

0.921439

31.033512

51.25415

0.865233

28.880607

84.143353

0.858123

28.559297

90.604685

Bird_GT

0.72

22.25

387.176559

0.630105

18.262478

970.135925

0.883844

23.881188

266.048935

0.781305

21.207469

492.41743

0.758578

21,038686

511.931442

Butterfly_GT

0.76

32.01

40.914401

0.507056

25.114553

200.27427

0.736937

30.523113

57.64598

0.715353

30.163332

26.774184

0.709587

30.082853

63.796237

Head_GT

0.83

26.44

147.429149

0.676511

20.836641

536.310598

0.887562

26.862645

133.910865

0.842073

25.573178

180. 203246

0.831990

25.148228

198.727305

Women_GT

Model name

Image

name

21 of 23

ESRGAN

SRGAN

EDSR

FSRCNN

SRCNN

​

Urban50

Set5

Urban50

Set5

Urban50

Set5

Urban50

Set5

Urban50

Set5

294.14

135.602163

1120.105154

464.667992

404.650870

112.575845

692.176933

176.692673

561.004220

186.293977

Average MSE

23.26

28.586

18.308685

22,152387

22.078731

28.621155

20.846190

27.177708

21.657866

26.947504

Average PSNR

0.6764

0.805

0.520978

0.612747

0.717433

0.856239

0.650287

0.806528

0.669558

0.797136

Average SSIM

النتائج:

معدل القيم الناتجة لكل مِن Set5 و Urban50 :

Model name

metrics

22 of 23

الاستنتاجات

- بحسب النتائج المبينة في الجداول:

الأداء يختلف بحسب حجم الصورة المدخلة.

​

- النموذج EDSR هو أفضل للتعامل مع الصور المشوهة أكثر من غيرها.

23 of 23

الخاتمة و التوصيات:

  • دراسة مجال أشمل من النماذج المصممة لتحقيق دقة فائقة على الصور.
  • إجراء عملية تحسين على هذه النماذج بحيث يمكن استخدامها في تطبيقات عملية.

الصعوبات والتحديات:

​

  • عدم استمرارية الوصول إلى الانترنت.
  • انقطاع الكهرباء.
  • عدم جاهزية النماذج للاستخدام بشكل مباشر.

​