황정민

IT공학전공

오예지

문헌정보학과

이현지

문헌정보학과

박세라

IT공학전공

Team 가상거짓

Contents

table of contents

3D 모델링

이미지 인식

AR구현

01

02

프로토타입

활용기술

03

기대효과 및 활용 방안

04

역할 분담

Prototype

UI/UX Wireframe & Prototyping

3D 모델링

Solution 1

PolyCam

Solution 3

삼각 측량

꽃다발

3D 모델링

🌹

이미지 인식

3D 모델링

AR 구현

Solution 2

Photogrammetry

3D 모델링

이미지 인식

3D 모델링

AR 구현

LiDAR 센서 · Photogrammetry 기반

3D 스캐닝 랜더링 앱

이미지 인식

3D 모델링

AR 구현

1️⃣ 대상을

여러 각도에서 촬영

2️⃣ 3차원(X, Y, Z)

위치 결정

3D 모델링

이미지 인식

3D 모델링

AR 구현

1️⃣ 사진 측량에 사용되는 기본 원리

2️⃣ 2장 이상의 사진에서 얻은 각의 측정

3️⃣ 카메라의 위치, 방향, 초점 거리, 렌즈 왜곡

3D 모델링

PolyCam

삼각측량

Photogrammetry

이미지 인식

3D 모델링

AR 구현

🤔 왜 하필 폴리캠일까 ?

📌 편리성

영상촬영

빠른 랜더링

📌 적합성

고정 대상물

높은 퀄리티

3D 모델링

AR 구현

이미지 인식

3D 모델링

이미지 인식

Solution 1

학습 데이터셋 생성

Solution 2

이미지 객체 인식

꽃 종류 인식

🌹

Darknet

YOLO

학습 및 테스트

dnn(심층 신경망)들을 학습시키고 실행시킬 수 있는 신경망 프레임워크

빠르게 이미지에서 객체를 탐지하는 모델

근접한 정확도 + 대량의 이미지를 처리할 수 있는 실시간 객체 탐지

AR 구현

3D 모델링

이미지 인식

Darknet을 통해

YOLO 모델을 위한

학습데이터셋 생성

이미지 인식

1. 학습데이터셋 생성

꽃 종류 인식 | 학습 데이터셋 생성

이미지 인식

AR 구현

3D 모델링

2. 라벨링

• 라벨링이란?

컴퓨터에게 정답(Labeling)을 알려주며 학습시키는 지도학습을 위한 데이터 전처리의 중요한 부분

라벨링을 위한 툴인 YOLO Label 활용

• 라벨링 작업 과정

꽃 종류 인식 | 학습 데이터셋 생성

이미지 인식

AR 구현

3D 모델링

3. 커스텀 데이터셋 구조화

• data라는 디렉토리 생성

Directory: data/train

학습에 사용될 이미지와 그 이미지의 라벨링이 저장된 디렉토리

�File: data/train.txt

data/train 디렉토리 내에 있는 이미지 파일의 목록이 쓰여 있음

Darknet 학습 실행 시 본 텍스트파일을 통해 학습 이미지를 불러옴

�Directory: data/test

테스트에 사용될 이미지와 그 이미지의 라벨링이 저장된 디렉토리

�File: data/test.txt

data/test 디렉토리 내에 있는 이미지 파일의 목록이 쓰여져 있음

�File: data/obj.names

만약 내 데이터셋에는 총 2개의 객체가 라벨링 되어 있는데 본 파일에는 1개 혹은 3개 이상의 클래스명이 작성되어 있다면 학습이 진행되지 않음

�File: data/obj.data

지금까지 구성한 모든 파일의 경로를 알려주는 파일

꽃 종류 인식 | 학습 데이터셋 생성

이미지 인식

AR 구현

3D 모델링

• darknet 디렉토리로 이동하여 cfg파일 수정

4. yolov.cfg 수정

• 다크넷 환경 빌드

5. 다크넷 구축

6. 학습 및 훈련

꽃 종류 인식 | 이미지 객체 인식

이미지 인식

AR 구현

3D 모델링

• python 개발환경에서 OpenCV와 numpy 라이브러리 import

1. 필요한 라이브러리 import

• 미리 만들어둔 가중치 파일을 불러와 YOLO에 연결

2. YOLO 불러오기

• opencv를 통해 꽃다발 사진을 가져옴

3. 이미지 불러오기

💻 스크립트

💻 스크립트

💻 스크립트

꽃 종류 인식 | 이미지 객체 인식

이미지 인식

AR 구현

3D 모델링

• 불러온 이미지를 blob 객체로 생성
• forward 함수를 사용해 꽃의 종류를 감지

4. 물체 감지

• 물체의 범위를 박스 형태로 바운딩
• 해당 물체가 무엇인지 라벨링
• → 이때, 신뢰도가 0.7을 넘어야 해당 물체라고 인식

5. 물체 인식 정보를 화면에 표시

• 중복된 박스 중 confidence가 가장 높은 박스 선택

6. 노이즈 제거

💻 스크립트

꽃 종류 인식 | 이미지 객체 인식

이미지 인식

AR 구현

3D 모델링

• 사각형 테두리 그리기
• 탐지된 객체의 정보 출력

7. 결과 이미지 출력

💻 스크립트

AR 구현

이미지 인식

AR 구현

3D 모델링

Solution 1

Hand Tracking SDK 활용

(Manomotion)

Solution 2

Body Tracking 스크립트 작성

(AR Human Body Manager)

Unity

AR Foundation

🤔 손 위치에 꽃 오브젝트를 올리고 싶어!

AR 구현

이미지 인식

AR 구현

3D 모델링

핸드 트래킹

제스처 분석

현재 빌드시 카메라 작동하지 않는 이슈 존재

실제 프로젝트 화면

AR 구현

이미지 인식

AR 구현

3D 모델링

그렇다면, 직접 스크립트를 작성해보자!

AR Foundation 4.2.7

class ARHumanBodyManager

AR 구현

이미지 인식

AR 구현

3D 모델링

📌 Package Manager 추가

AR Foundation

AR Kit

📌 ARSession 생성

📌 ARSessionOrigin 생성

AR 라이프사이클 관리

AR Camera,

AR 오브젝트 위치 조정

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Human Body Manager를 이용한

Body Tracking 스크립트 작성 과정

AR Body Tracker

AR Joint Tracker

Hand Tracker

신체 추적 후 중앙부에 3D 오브젝트 올리기

신체를 추적하여 모든 조인트를 찾아내고 그 위에 3D 오브젝트 올리기

추적된 조인트에서 오른손에 해당하는 부분에만 3D 오브젝트 올리기

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

C# ARBodyTracker.cs

💻 스크립트

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

C# ARBodyTracker.cs

AR Body Tracker

Unity3D docs

💻 스크립트

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

C# ARBodyTracker.cs

AR Body Tracker

💻 스크립트

✓ DegreePerSecond 생성

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

C# ARJointTracker.cs

AR Joint Tracker

Unity3D docs

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

C# HandTracker.cs

Hand Tracker

ARJointTracker 빌드 후 커맨드라인에서 Joint Index 값 확인

오른손 Joint를 찾으면

오브젝트를 배치

AR 구현

이미지 인식

AR 구현

3D 모델링

프로젝트 세팅

iOS Build

스크립트 작성

AR 구현

이미지 인식

AR 구현

3D 모델링

AR Body Tracker

AR Joint Tracker

Hand Tracker

기대효과 및 활용 방안

마무리

꽃다발 디자인을 고르는 과정에서 소비자가 겪는 피로도 감소

완성된 꽃다발의 전체적인 모습 미리 확인 가능

향후 AI 디자인 추천 기능 추가 ➡️ 선택 과정 간소화 가능

꽃다발 실제 크기 파악 가능

역할 분담

마무리

마무리

들어주셔서 감사합니다