Know Drug
Know Drug
이화여자대학교 데이터사이언스학과 서은영, 조유정
To Be continue
Know Drug
목차
프로젝트 개요
01
연구 방법
02
연구 결과
03
어플리케이션 기획
04
목차
프로젝트 개요
01
연구 방법
02
연구 결과
03
어플리케이션 기획
04
Know Drug 01
프로젝트 개요
01
1_연구 배경
2_연구 목표
연구 배경
PROJECT
의약품 복용 여부
약의 이상반응 및
주의사항 인지 여부
의약품 복용 시
궁금한 사항
프로젝트 개요
01
일반인 100을 대상으로 한 의약품 복용 관련 설문조사
의료진
소비자
프로젝트 개요
01
기존 업무 환경은 약사가 육안으로 알약을 사진과 비교해 의약품 종류를 파악해야 하여 약의 종류가 많아질수록 단순 노동 증가 및 업무 효율성 감소
현재 소비자는 약사의 복약지도나 약봉지에 적힌 정보에 의존해 의약품의 종류 및 주의사항 확인 가능
연구 배경
PROJECT
2. 오분류를 방지할 수 있는 분류 모식도 구축
1. 알약 사진으로 의약품 식별하는 모델 개발
연구 목표
PROJECT
프로젝트 개요
01
목차
프로젝트 개요
01
연구 방법
02
연구 결과
03
어플리케이션 기획
04
Know Drug 02
연구 방법
02
1_사용 데이터
2_연구 설계
3_모델링
4_모식도
사용 데이터
AI Hub 경구약제 이미지 데이터셋
연구 방법
02
PROJECT
직접 촬영한 알약 휴대폰 사진
연구 설계
이미지 분류 모델 훈련
테스트 데이터셋에 대한 분류 정확도가 76.76%정도 나옴
PROJECT
연구 방법
02
평균 정확도 76.76
이미지만으로 알약을 구분하는 것은 한계가 있음
연구 방법
02
연구 설계
PROJECT
NAME | TYPE | LABEL | COLOR_1 | COLOR_2 | SHAPE |
미래트리메부틴정 100mg | 정제 | TM | 연두 | | 원형 |
모푸렌정 | 정제 | MP5 | 하양 | | 장방형 |
심발타캡슐 30mg | 경질 캡슐 | 9543 30mg | 파랑 | 하양 | 장방형 |
정확도 92%
이미지에서 개별 특성을 추출해 분류할 때 오분류를 방지하는 효과가 클 것이라 판단
정제
정확도 91%
연구 방법
02
연구 설계
PROJECT
경질 캡슐
연질 캡슐
정확도 100%
정확도 100%
Label>>color>shape
Label>>color_1>color_2
Label>>color>shape
연구 방법
02
모델링
PROJECT
정제
연질 캡슐
경질 캡슐
제형 분류
라벨 분류
색상 분류
형태 분류
,
,
라벨 분류
색상 분류
형태 분류
,
,
라벨 분류
색상 분류
,
알약 이미지를 우선 제형별로 분류한 후,
각 제형 특성에 맞게 분류 모델 구성
연구 방법
02
모델링
PROJECT
YOLOv5
VGG16
KMeans
라벨 탐지
제형 분류
라벨 분류
형태 분류
색상 분류
easyOCR
라벨 인식
라벨 탐지
제형 분류
: 알약 제형별로 객체 인식
: 정제 식별자 영역 객체인식
정제 이미지에서 정제의 식별자 영역
인식하도록 훈련
알약을 tablet, soft capsule, hard capsule 세 클래스로
구분해 알약 영역 인식하도록 훈련
연구 방법
02
모델링
PROJECT
YOLOv5
VGG16
라벨 분류
형태 분류
KMeans
색상 분류
easyOCR
라벨 인식
연구 방법
02
모델링
PROJECT
YOLOv5
VGG16
라벨 탐지
제형 분류
라벨 분류
형태 분류
: 정제 식별자 분류
: 알약 모양 분류
정제 이미지 라벨 영역 YOLOv5 로 인식해 crop 한 후,
해당 식별자 이미지로 문자 및 마크 분류하도록 훈련
알약 모양이 두드러지게 전처리후,
모양 분류하도록 훈련
KMeans
색상 분류
easyOCR
라벨 인식
연구 방법
02
모델링
PROJECT
YOLOv5
VGG16
KMeans
라벨 탐지
제형 분류
라벨 분류
형태 분류
색상 분류
: 알약 색깔 인식
알약 색깔별로 클러스터링한 후, 각 색의 RGB값에 따라
클러스터 중심에 색깔 라벨 부여
easyOCR
라벨 인식
연구 방법
02
모델링
PROJECT
YOLOv5
VGG16
easyOCR
라벨 탐지
제형 분류
라벨 인식
라벨 분류
형태 분류
: 캡슐 식별자 인식
캡슐의 식별자는 모두 프린팅 된 문자이므로,
easy OCR로 문자 인식해서 출력
KMeans
색상 분류
연구 방법
02
모식도
PROJECT
제형 인식
색깔 인식
모양 인식
식별자 영역 인식
식별자 분류
식별 문자 인식
YOLOv5
KMeans
VGG16
VGG16
easyOCR
정제
연질 캡슐
경질 캡슐
YOLOv5
목차
프로젝트 개요
01
연구 방법
02
연구 결과
03
어플리케이션 기획
04
Know Drug 03
연구 결과
03
1_YOLOv5
2_VGG16
3_KMeans
4_easyOCR
연구 결과
03
YOLOv5
MODEL
YOLO : 물체 감지와 객체 인식(Object Detection)에 대한
딥러닝 기반 접근 방식
SXS grid on input
Bounding boxes + confidence
Class probability map
Final detections
출처: Joseph Redmon, YOLO: Real-Time Object Detection
연구 결과
03
YOLOv5
MODEL
정확도
99.5%
Precision-Recall Curve
알약 객체 탐지 & 제형 구분
정제 식별자 영역 탐지
제형 탐지 YOLOv5 모델 검증 결과 이미지
식별자 영역 인식 YOLOv5 모델의 검증 결과 이미지-마크 및 문자 인식
분할선 인식
연구 결과
03
VGG16
MODEL
VGG Net : 2014년 세계 이미지 분류 대회(ImageNet Large Scale Visual Recognition Challenge)에서 준우승한 CNN 모델
출처: minjoos.tistory.com/6
연구 결과
03
VGG16
MODEL
정제 식별자 분류
알약 모양분류
모양 분류 모델 훈련을 위한 전처리 후 이미지
정제 식별자 분류 모델 훈련을 위한 전처리 후 이미지
(원형, 장방형, 타원형, 팔각형, 기타)
정확도
82.64%
정확도
91.52%
연구 결과
03
KMeans
MODEL
K-Means Clustering
출처: process-mining.tistory.com/122
Kmeans 모델로 구현한 색깔 인지 모델 결과
경질 캡슐
정제
연질 캡슐
연구 결과
03
easyOCR
MODEL
문자 영역 인식(Detection) + 문자 인식(Recognition) 기능을 모두 하는 프레임워크
출처: minjoos.tistory.com/6
연구 결과
03
easyOCR
MODEL
easyOCR 캡슐 문자 인식 결과
목차
프로젝트 개요
01
연구 방법
02
연구 결과
03
어플리케이션 기획
04
Know Drug 04
어플리케이션 기획
04
1_어플리케이션 시연
2_기대 효과 및 의의
어플리케이션 기획
04
어플리케이션 시연
PROJECT
어플리케이션 기획
04
기대효과 및 의의
PROJECT
안전한 의약품 사용 증진
접근법으로 분류 정확도를 높인
새로운 모델 고안
감사합니다
Know Drug