딥러닝

프로그래밍

2022612012 김용석

2020204049 정승우

2019204095 노준석

2024404068 서민혁

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

목차

1

연구 배경 및  소개

2

데이터셋 준비

3

모델 구축 및 성능 비교

4

활용발안

table of contents

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 1

연구배경 및 소개

고라니는 한국의 농업 환경에서 심각한 문제를 일으키는 야생동물 중 하나다. �고라니는 주로 농작물을 파괴하여 심각한 경제적 손실을 초래한다. 이들의 식성 및 행동 패턴은 농작물 피해와 밀접한 관련이 있고, 이로 인해 농업 생산성이 크게 저하될 수 있다.

​

또한, 고라니는 빛을 보면 달려드는 습성 때문에 로드킬이 빈번하게 발생한다. 로드킬은 야생동물이 다치거나 죽는 일 외에도 교통사고 및 2차 인명 피해까지 부정적인 영향을 미칠 수 있다.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 1

연구배경 및 소개

이러한 문제들로 인해 실제로 고라니는 1984년 7월부터 대한민국에서 유해동물로 지정되어 총기를 사용한 포획이 허용될 정도로 유해동물로 인식이 되어 있는 동물 중 하나로 자리잡음

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 1

연구배경 및 소개

노루는 고라니와 외관상 매우 유사하여 비전문가가 육안으로 구분하기 매우 어렵다.

​

과연 이런 문제를 ai가 해결할 수 있을까?

​

이런 비슷한 외모임에도 유해 야생동물인 고라니와 달리 아이러니 하게도 노루는 보호종으로 분류 된다.

따라서 고라니의 피해를 줄이고 생태계의 피해를 최소화 하기 위해선 두 종을 정확하게 식별하고, 두 종에 대한 객체 탐지 모델을 개발하는 것이 필요했기 때문에

위 내용을 목표로 프로젝트를 진행하였다.

고라니 vs 노루 ??

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 2

데이터셋 소개

본 모델을 구축하기 위해 AIHub의 야생동물 활동 영상 데이터를 사용

위 데이터는 각도, 조도, 기상 상황 등 상황이 매우 다양하고, 실제 상황처럼 다양한 조건의 Dataset

위 데이터은 11개의 야생동물 class과 약 27만장의 Image, JSON으로 구성되어 있음.

그 중 “고라니”, “노루“ class인 약 7만장을 Image 및 JSON을 Dataset으로 사용

JSON에선 각종 Image의 정보 및 Bounding Box 의 좌표가 포함되어 있음.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 2

데이터 전처리 과정

Original Image

(1920 * 1080)

JSON

Bounding Box Coordinate

Model_1

Model_2

Model_3

Change to Each Model Input

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

d

모델 | Overview

Mask R-CNN

RetinaNet

YOLO v5

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

YOLO v5

YOLO는 실시간 객체 탐지에서 널리 사용되는 CNN 기반 모델

접근성이 쉬운 뿐더러, Custom Dataset을 이용해 모델을 구축하기 위한 오픈소스가 많아 사용하기 적합한 모델로 선정, 본 프로젝트에선 YOLOv5을 사용

​

YOLO는 각 Image를 s*s개로 분할 후 각 grid의 Confidence를 계산 한 후,

위치를 조정하고 주변의 grid를 합쳐 높이는 방식으로 높은 정확성을 갖는 방법

​

다양한 크기의 network를 사용하여 상황에 맞는 선택이 가능, 본 프로젝트에선 YOLOv5s 를 사용

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Result Of YOLO v5

YOLOv5 Mosaic Augmentation

YOLOv5 Model Image Prediction

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Result Of YOLO v5

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Result Of YOLO v5

Classification Confusion Matrix

F1 score / Confidence Graph

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Mask R-CNN

Mask R-CNN은 Faster R-CNN을 기반해 Object classification, Bounding Box Regression, Mask prediction 3가지를 동시에 수행하는 모델이다. 높은 정확도와 유연성 덕분에 본 프로젝트에 사용하기 적합한 모델이라고 판단

​

본 데이터셋에서 Pixel 단위로 segmentation 할 수 있는 Polygon Dataset은 없었기 때문에 Object classification, Bounding Box Regression 두가지만 예측해보는 걸로 진행

​

다양한 Backbone Network를 사용할 수 있어 모델의 유연성과 학습속도를 크게 향상 가능함.

본 프로젝트에선 ResNet-50을 Backbone Network를 사용

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Result Of Mask R-CNN

Classification & Bounding Box Regression Prediction (t = 0.7)

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

RetinaNet

RetinaNet은 Object Detection을 위해 개발된 모델로, 정확하고 빠른 모델로 유명하다.

​

중요한 특징으론 feature pyramid levels (FPN)을 사용하여 여러 크기의 Object를 탐지할 수 있는 능력을 향상 시킨다.

특히 RetinaNet은 Model이 잘 맞추지 못하는 샘플에 더 높은 가중치를 부여하는 Focal Loss를 사용하여 Class별 데이터가 Unbalance 할 때 유용하게 쓰이는 모델이며, 프로젝트에 성능비교하기 좋은 모델이라고 판단

​

모델 구축에 있어 Mask R-CNN과 동일한 ResNet50을 Backbone Network로 사용

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

Result Of RetinaNet

Classification & Bounding Box Regression Prediction

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

성능 비교

세 모델 동일한 Dataset, Hyperparameter으로 모델을 구현 했을 때의 Train Loss 이다.

그 중 YOLOv5가 다른 모델에 비해 전체적으로 성능이 압도적으로 좋았으며, retinaNet의 loss가 상대적으로 높았다.

​

retinaNet과 Mask R-CNN은 bounding box의 오차와 예측의 confidence score가 불안정한 모습을 보여준 반면,

YOLO는 그에 반해 정확한 confidence score와 bounding box를 예측하였다.

​

이는 yolo가 전체적으로 해당 데이터셋에 가장 잘 fitting이 되었다고 설명할 수 있을 것이다.

그리고 전반적으로 비전문가가 육안으로 구별하기 어려운 classification 문제는 모든 모델이 잘 예측하는 것을 확인할 수 있었다.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

농업

실시간 농작물 보호 시스템: 농장 주변에 설치된 카메라와 연결된 시스템을 통해 고라니가 접근할 경우 이를 실시간으로 감지하여 즉시 경고를 발송하고, 필요한 경우 자동으로 방어 장치를 작동한다.

​

데이터 기반 농업 관리: 고라니의 활동 데이터를 바탕으로 고라니의 활동 패턴을 분석하여 예측 모델을 구축하고, 고라니가 주로 출몰하는 시간대와 경로를 파악할 수 있다. 이를 통해 효과적인 방어 전략을 수립 할 수 있다.

지속 가능한 농업 방어 체계 구현 가능

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

교통

하지만 전광판이 없더라도 개인 운전자에게 알릴 필요가 있음.

이를 위해 네비게이션 등의 어플리케이션에 연계하여 야생동물 출현 정보를 실시간으로 운전자 개개인에 제공을 하게 된다면 로드킬로 인한 사고는 기하급수적으로 줄어들 것으로 예상됨.

​

로드킬 예방 차원의 기술연구는 최근에도 활발하게 진행중. 최근에 포스코DX는 딥러닝이 적용된 CCTV를 설치해 도로상에 출현한 야생동물을 감지하고 전광판으로 경고표시를 하는 기술을 개발함.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

Part 3

전이학습

본 야생동물 탐지 모델은 고라니, 노루 단 2종의 야생동물을 학습한 모델이지만, 전이학습을 통해 분류 가능한 종의 확대,

유사 동물 판별 정확도 향상 등 추가적인 데이터와 학습을 통해 다른 야생동물 종들을 효과적으로 분류할 수 있을 것

​

궁극적으로 인간과 야생동물의 공존을 도모하고, 환경 보전 및 생태계 균형 유지를 기여하는 중요한 도구 및 시나리오로 자리매김할 수 있을 것으로 기대 된다.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint

감사합니다.

ⓒSaebyeol Yu. Saebyeol’s PowerPoint