딥러닝을 사용한 의학 논문 리뷰

한림대 의대 워크샾

​

임도형, dh-rim@hanmail.net

Development and Validation of Deep-Learning Algorithm for Electrocardiography-Based Heart Failure Identification

​

Korean Circ J, 49 (7), 629-639 Jul 2019

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6597456/

리뷰 1

Author

Joon-myoung Kwon, MD,1,* Kyung-Hee Kim, MD, PhD,corresponding author2,* Ki-Hyun Jeon, MD, MS,2,* Hyue Mee Kim, MD, MS,2 Min Jeong Kim, MD, MS,2 Sung-Min Lim, MD, MS,2 Pil Sang Song, MD, PhD,2 Jinsik Park, MD, PhD,2 Rak Kyeong Choi, MD, PhD,2 and Byung-Hee Oh, MD, PhD2

1Department of Emergency Medicine, Mediplex Sejong Hospital, Incheon, Korea.

2Division of Cardiology, Department of Internal Medicine, Cardiovascular Center, Mediplex Sejong Hospital, Incheon, Korea.

Corresponding author.

Correspondence to Kyung-Hee Kim, MD, PhD. Division of Cardiology, Department of Internal Medicine, Cardiovascular Center, Mediplex Sejong Hospital,

​

논문 개요

• HF(Heart Failure) 탐지
• ECG(Electrocardiography) 데이터 사용
• 일반 DNN 사용
• 기존 머신 러닝 방법에 비해 state-of-the-art 라 함.
• AUROC 0.843

​

기존 방법 한계

• 고정된 툴
• 전문가의 주관적 판단에 의존

데이터 수집과

전처리

​

• 2개 병원의 6만개
• 1개 병원의 80%를 학습에 사용

모델 구조

• 일반적인 DNN
• 5개 층
• ReLU 사용

입력과 출력

입력

• 10개의 항목
• Normalization 함

​

출력

• Ejection Fraction의 값으로
• 40%크면 0, 작으면 1

기존 방법과 결과 비교

• LR(Logistic Regression)과 RF(Random Forest) 사용
• LR, RF 보다 결과가 좋다.
• AUROC가 0.84, 0.819 정도를 보임

AUROC

• Area under ROC(Receiver Operating Curver)

​

​

​

• TPR(TP Ratio) = TP / TP + FN
• FPR(FP Ratio) = FP / FP + TN

​

ROC, AUROC

• ROC : Threadhold 별 TPR, FPR의 값의 곡선
• AUROC : ROC 밑의 면적

​

AUROC 값 해석

• 1.0이면 완벽
• 0.5이면 바보
• 보통 0.75 정도를 보인다.

​

고찰

• 기존 Machine Learning으로 하던 것을 Deep Learning으로 했다.
• 모델 구조는 무척이나 간단하다.
• 데이터 전처리를 꽤 잘했다.
• 단순한 적용이었지만 SOTA 성능을 보임

A deep learning model for the detection of both advanced and early glaucoma using fundus photography

​

PLoS One, 13 (11), e0207982 2018 Nov 27 eCollection 2018

​

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0207982

리뷰 2

Author

Jin Mo Ahn 1, Sangsoo Kim 1, Kwang-Sung Ahn 2, Sung-Hoon Cho 2, Kwan Bok Lee 3, Ungsoo Samuel Kim 3

1 Department of Bioinformatics and Life Science, Soongsil University, Seoul, Korea

2 Functional Genome Institute, PDXen Biosystems Inc., Seoul, Korea

3 Kim’s Eye Hospital, Seoul, Korea

​

​

​

논문 개요

• 녹내장 여부 분류
• 망막 영상 데이터 사용
• GoogleLenet 전이학습, CNN 두가지 사용
• 정확도 87.7%, AUROC 0.95

​

기존 방법 한계

• 어려운 검사들
• optical coherence tomography (OCT), red-free retinal-nerve-fiber-layer (RNFL) photography, or visual field tests
• ​

데이터 수집과 전처리

• 총 1,542 영상 데이터
• 224 x 224로 5곳으로 짤라서 사용함.
• 좌우 반전하여 영상 1개당 10개로 증강시킴

​

​

​

• 2명의 전문가에 의해 레이블링 됨

모델 구조

• GoogleNet Incetption V3를 기반함

모델 구조 2

• 일반적인 CNN

입력과 출력

입력

• 224 x 224의 영상

​

출력

• 3개 카테고리. 초기 녹내장, 진행된 녹내장, 정상

기존 방법과 결과 비교

• LR(Logistic Regression) 사용
• LR의 경우 77.2%, DL의 경우 87.7%

​

결과

• 정확도 82.9%, AUROC 0.940

고찰

• GoogleLenet 전이학습 시에 일반 CNN보다 성능이 저조하다. 대상 데이터의 특성에 기인한 듯.
• trial 정도의 수준.
• ​

기타

• 전이학습을 사용함.
• 사용 안했을 경우 정확도 87.9%, AUROC 0.94
• 전이학습의 경우 정확도 84.5%, AUROC 0.93

​

• 학습 데이터에 대한 정확도와 AUROC를 99.7%, 0.99라고 명시함. 의미 없다.

기타

• LR을 위해 영상 데이터를 1차원 데이터로 변환함.

기타

• 사용된 데이터를 공유하고 있다.
• https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/1YRRAC
• 110 M

Deep Learning-Based Deep Brain Stimulation Targeting and Clinical Applications

​

Front Neurosci , 13, 1128 2019 Oct 24 eCollection 2019

​

https://www.frontiersin.org/articles/10.3389/fnins.2019.01128/full

리뷰 3

Author

• Seong-Cheol Park1,2*†, Joon Hyuk Cha1,3†, Seonhwa Lee1,4, Wooyoung Jang5, Chong Sik Lee6 and Jung Kyo Lee7

​

• 1 Department of Neurosurgery, Seoul Metropolitan Government – Seoul National University Boramae Medical Center
• 2 Department of Neurosurgery, Gangneung Asan Hospital, University of Ulsan
• 3 School of Medicine, Inha University, Incheon, South Korea
• 4 Department of Bio-Convergence Engineering, College of Health Science, Korea University
• 5 Department of Neurology, Gangneung Asan Hospital, University of Ulsan, Gangneung
• 6 Department of Neurology, Asan Medical Center, University of Ulsan
• 7 Department of Neurosurgery, Asan Medical Center, University of Ulsan

​

논문 개요

• MRI영상에서 STN과 red nucleus 영역 탐지(segmentation)
• DBS(deep brain stimulation)을 위한.
• FCN-VGG16 사용
• 정확도 91.2%, MIOU 0.821 보임

기존 방법 한계

• ML을 비교 대상으로 삼지 않음.
• 기존 딥러닝의 의한 방법이 많이 연구되어 있지 않다.
• 최고의 성능은 non-DL방법이라고 함.

데이터 수집

• 강릉아산병원에서 2014 ~ 2017에 수집. DBS를 받은 환자
• T2 MRI 영상
• 데이터 수집 시의 상세
• 3-Tesla (3T) T2∗ fast gradient-echo MRI sequences with a repetition time (TR) of 1026.3 ms, an echo time (TE) of 25 ms, and a flip angle of 30°. The field of view was anterior to posterior (AP) (mm) = 192, right to left (RL) (mm) = 192, and foot to head (FH) (mm) = 70. The voxel size was 0.375 mm, and the matrix size was 512.
• 102개의 영상을 수집함

​

데이터 전처리

• Leksell SurgiPlan 프로그램을 사용하여 명암대비(contrast)를 조정함
• Matlab을 사용하여 밝기를 조정함
• 102개 영상을 9번 처리하여 총 918개를 얻음

​

• 사람손으로 정답을 레이블링함

데이터 레이블링

• 사람손으로 정답 영역을 레이블링함

모델 구조

• 공개된 FCN-VGG16을 사용

입력과 출력

입력

• 500 x 500 사이즈 T2 MRI 컬러 영상

​

출력

• 5개의 분류. 좌우측 STN, 좌우측 red nucleus의 영상 + 배경

결과

• 91.2% 정확도
• 0.821 MIOU

결과 예

• A : 대상
• B : 정답
• C : DL에 의한 결과
• D : A에 C를 그린것.

기존 방법과 결과 비교

• 비교하지 않았음.

튜닝

• 데이터가 증강될 수록 성능이 좋다.

고찰

• 단순 분류나 탐지가 아닌 영역탐지를 시도함.

기타

• 저자에게 요청하면 데이터를 제공한다고 함.

기타

• 데이터 수에 따른 결과를 비교 제시했다.
• B : 입력 영상 20개
• C : 입력 영상 62개

MIOU

• Mean Intersection over Union
• 영역 탐지에 사용되는 정확도 수치

Classification of the Clinical Images for Benign and Malignant Cutaneous Tumors Using a Deep Learning Algorithm

​

J Invest Dermatol , 138 (7), 1529-1538 Jul 2018

​

https://www.sciencedirect.com/science/article/pii/S0022202X18301118?via%3Dihub

리뷰 4

Author

panelSeung SeogHan1,7 Myoung ShinKim2,7 WoohyungLim3 Gyeong HunPark4 IlwooPark5 Sung EunChang6

​

• 1 Dermatology Clinic, Seoul, Korea
• 2 Department of Dermatology, Sanggye Paik Hospital, Inje University College of Medicine
• 3 SK Telecom, Human Machine Interface Technology Laboratory
• 4 Department of Dermatology, Dongtan Sacred Heart Hospital, Hallym University College of Medicine, Dongtan,
• 5 Department of Radiology, Chonnam National University Medical School and Hospital, Gwangju
• 6 Department of Dermatology, Asan Medical Center, Ulsan University College of Medicine

​

​

논문 개요

• 12개의 피부 종양을 분류
• BCC, squamous cell carci-noma, intraepithelial carcinoma, actinic keratosis, seborrheickeratosis, melanocytic nevus, lentigo, dermatofibroma, pyo-genic granuloma, hemangioma, and wart
• Asan dataset, MED-NODE dataset, atlas 영상 데이터사용
• ResNet-152 사용
• 총 19,398개 영상을 학습에 사용

기존 방법 한계

• 언급 없음

데이터 수집과 전처리

• 언급 없음

모델 구조

• 단순히 ResNet-152를 사용했다고만 명시
• 12개의 클래스.

​

​

입력과 출력

입력과 출력에 대해 따로 언급 없음

• ​

결과

ASAN dataset

Edinburgh dataset

결과

• ASAN dataset에 대한 정확도 57.3%, Edinburgh dataset에 대한 정확도 55.7%
• 16명의 피부과 전문의와 비등한 성능. BCC에 대해서는 더 낳은 성능.

​

예측 시각화 설명

• ‘Gradient-based localization’을 사용하여 표시

기존 방법과 결과 비교

• 언급 없음

고찰

• 기존의 연구 혹은 ML에 대한 비교가 없다. 영상데이터에 대한 피부종양 분류의 첫 사례일 수도 있다.
• Introduction 직후 Results가 나온다. Method가 없다. 결과적으로 데이터 수집, 데이터 레이블링, 시각화 방법에 대한 상세한 설명 없음.

기타

• 일반적인 ROC의 TPR, FPR대신 자체 정의한 Specificity와 Sensitivity로 ROC를 구했다.

​

​

​

​

• Sensitivity는 정의되어 있지 않다.

기타 - metrics

Deep Neural Networks Show an Equivalent and Often Superior Performance to Dermatologists in Onychomycosis Diagnosis: Automatic Construction of Onychomycosis Datasets by Region-Based Convolutional Deep Neural Network

​

PLoS One , 13 (1), e0191493 2018 Jan 19 eCollection 2018

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5774804/

리뷰 5

Author

• Seung Seog Han1 Gyeong Hun Park2 Woohyung Lim3 Myoung Shin Kim4 Jung Im Na5 Ilwoo Park6 and Sung Eun Chang7
• ​
• 1 I Dermatology, Seoul, Korea
• 2 Department of Dermatology, Dongtan Sacred Heart Hospital, Hallym University College of Medicine, Dongtan
• 3 SK Telecom, HMI Tech. Lab
• 4 Department of Dermatology, Sanggye Paik Hospital, Inje University College of Medicine
• 5 Department of Dermatology, Seoul National University College of Medicine
• 6 Department of Radiology, Chonnam National University Medical School and Hospital
• 7 Department of Dermatology, Asan Medical Center, Ulsan University College of Medicine

논문 개요

• 손발톱곰팡이증 판단 작업
• R-CNN 사용하여 학습을 위한 손톱 이미지를 생성
• R-CNN은 물체탐지 모델
• 49,576개 영상
• ResNet-152, VGG-19을 사용했고, 이의 결과를 DNN로 앙상블하여 분류
• 검증 데이타. 100+192 인제대, 125 한림대, 939 서울대
• 42명의 피부전문의 보다 낳은 성능을 보임

기존 방법 한계

• 언급 없음

데이터 수집

​

• 4개 병원에서 수집
• A는 2003~2016 사이에 retrospective chart review를 통해

학습 데이터 생성

• ResNet-152가 손발을 선택
• 손발톱 영상으로 학습된 R-CNN이 손발톱 부분을 찾아냄
• 피부과 전문의가 레이블링
• 또다른 ResNet-152가 적절한 이미지만 찾아냄
• ​

데이터 전처리

• 데이터 증강 사용.
• 회전. 90도, 180도, 270도
• 224x224로 데이터 리사이즈
• histogram normalization

모델 구조 - 손발톱 탐지

• VGG16 R-CNN(Region-based CNN)

모델 구조 - 판별기

• VGG19, ResNet-152를 동시에 사용
• 두 모델의 출력을 DNN의 입력으로 사용
• 최종 출력은 질병 여부

입력과 출력

입력

• 224 x 224 컬러 영상

​

출력

• 질병 여부 0 or 1

결과

• 앙상들된 결과가 B1, B2, C, D 데이터에 대하여 AUC 0.98, 0.95, 0.93, 0.82
• VGG-19, ResNet-152 개별적인 것에 비해 살짝 성능 향상

​

• 42명의 피부전문의 보다 더 낳은 AUC을 보였다.

기존 방법과 결과 비교

• 기존 방법의 언급 없다.

고찰

• 질병 유무 판단 문제 학습을 위한 데이터 생성의 노력과 결과가 좋다.
• 일반 전이 학습이 아닌, 2개의 다른 모델을 가져와서 그 출력을 합하여 전이학습한 아이디어 좋다.

기타

• 일반 ROC의 TPR, FPR대신 Sensitivity, Specificity의 ROC를 사용함
• 노이즈와 밝기 증가에 따른 성능 하락의 실험과 결과를 언급하고 있다.
• 데이터와 모델이 공개되어 있다.

Developing a Diagnostic Decision Support System for Benign Paroxysmal Positional Vertigo Using a Deep-Learning Model

​

J Clin Med , 8 (5) 2019 May 8

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6571642/

리뷰 6

Author

• Eun-Cheon Lim 1,2 Jeong Hye Park 1,2 Han Jae Jeon 3 Hyung-Jong Kim 1 Hyo-Jeong Lee 1,2 Chang-Geun Song 3 Sung Kwang Hong 1,2

​

• 1 Department of Otorhinolaryngology-Head and Neck Surgery, Hallym University College of Medicine
• 2 Laboratory of Brain & Cognitive Sciences for Convergence Medicine, Hallym University College of Medicine
• 3 Department of Convergence Software, Hallym University

​

논문 개요

• 안구진탕 BPPV(benign paroxysmal positional vertigo) 판정
• BPPV를 진단하기 위한 10개의 테스트에 대한 안구 움직임을 입력으로 함.
• 안구 촬영 동영상 데이터
• 일반 CNN을 사용
• 8개의 BPPV 타입으로 분류
• AUROC 0.90

BPPV 진단

10 position test

기존 방법 한계

• 언급 없다. 아마도 없었을 수도.

데이터 수집

​

• ‘vestibular function test’로 EMRs기록 필터
• 4명의 안과의가 레이블링

데이터 전처리

• 안구의 움직임을 3개 방향으로 측정함.
• 수직, 수평, 뒤틀림
• 수직과 수평은 동공의 중심의 위치로
• 뒤틀림을 측정하기위해 홍채 부분을 추출하여 이를 2차원 직사각형으로 변환함

​

​

• 비디오 에서 다음 클립과 비교하여 움직임 값을 구함

모델 구조

• 일반 CNN

입력과 출력

입력

• 눈의 움직임을 3x10 2차원 데이터로 표현
• 3 개축(가로, 세로, 비틀림) x 10개의 포지션 테스트

​

출력

• 8개의 BPPV 타입

결과

기존 방법과 결과 비교

• 언급 없음.

고찰

• 특질 추출에 Computer Vision 기법이 사용됨.
• CNN을 사용하기 위하여 3x10의 영상 데이터 생성.

기타

• 개발한 안구운동 전처리 방법은 기존의 videonystagmography 보다 우월하고 언급.

Automated detection and classification of the proximal humerus fracture by using deep learning algorithm

​

Multicenter Study Acta Orthop , 89 (4), 468-473 Aug 2018

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6066766/

리뷰 7

Author

• Seok Won Chung 1 Seung Seog Han 2 Ji Whan Lee 1 Kyung-Soo Oh 1 Na Ra Kim 3 Jong Pil Yoon 4 Joon Yub Kim 5 Sung Hoon Moon, 6 Jieun Kwon, 7 Hyo-Jin Lee, 8 Young-Min Noh, 9 and Youngjun Kim 10Seok Won Chung, 1 Seung Seog Han, 2 Ji Whan Lee, 1 Kyung-Soo Oh, 1 Na Ra Kim, 3 Jong Pil Yoon, 4 Joon Yub Kim, 5 Sung Hoon Moon, 6 Jieun Kwon, 7 Hyo-Jin Lee, 8 Young-Min Noh 9 Youngjun Kim 10

​

• 1 Department of Orthopaedic Surgery, and
• 2 Department of Dermatology, I-dermatology clinic, Seoul;
• 3 Department of Radiology, Konkuk University School of Medicine, Seoul;
• 4 Department of Orthopaedic Surgery, Kyungpook National University College of Medicine, Daegu
• 5 Department of Orthopaedic Surgery, Myungji Hospital, Goyang;
• 6 Department of Orthopaedic Surgery, Kangwon National University College of Medicine, Chuncheon
• 7 Department of Othopaedic Surgery, National Police Hospital, Seoul;
• 8 Department of Orthopaedic Surgery, Catholic University College of Medicine, Seoul, St Mary’s Hospital, Seoul;
• 9 Department of Orthopaedic Surgery, Dong-A University College of Medicine, Pusan;
• 10 Center for Bionics, Korea Institute of Science and Technology, Seoul, Korea,

논문 개요

• proximal humerus fracture(근위 상완골 골절) 판정
• 일반 방사선 사진을 입력으로
• ResNet-152 사용. 전이학습
• 비골절 판정 : 정확도 96%, AUC 1.0
• 골절 타입 분류 : 정확도 86%, AUC 0.98
• 전문의 보다 우월한 결과

기존 방법 한계

• 언급 없음

데이터 수집과 전처리

• 1,891 방사선 사진
• 정상 515
• 골절 1,376
• 4개의 골절 타입
• greater tuberosity, surgical neck, 3-part, and 4-part

​

​

• 256x256으로 리사이즈
• 90:10의 train, test 데이터 비율
• 데이터 증강을 했다는 언급만 있음. 상세 없이

레이블링

• 2명의 어깨 정형외과 전문의와 1명의 방사선 기사
• 3명의 만장일치로 결정
• 레이블링 갯수
• Type 1 : 346
• Type 2 : 514
• Type 3 : 269
• Type 4 : 247

​

모델 구조

• ResNet-152

입력과 출력

입력

• 256x256 영상

​

출력

• 5개 클래스. 골절 4 + 정상 1

결과

• ​

기존 방법과 결과 비교

• 언급 없음

고찰

• 정형적인 영상 데이터 분류 문제

Automatic detection and segmentation of lumbar vertebra from X-ray images for compression fracture evaluation

​

Medical Physics, 2019

​

https://arxiv.org/abs/1904.07624

리뷰 8

Author

• Kang Cheol Kim†, Hyun Cheol Cho†, Tae Jun Jang†, Jong Mun Choi, MD‡k, and Jin Keun Seo†

​

• †Department of Computational Science and Engineering, Yonsei University, Seoul
• ‡DEEPNOID Inc., Seoul, South Korea

​

논문 개요

• X-Ray 영상에서 요추 부분 분할
• 3단계로 진행
• 각 요추의 중심을 찾고, 해당 이미지를 자름
• 각 작은 이미지에 대한 분할 실행
• 미세 조정

기존 방법 한계

• CT나 MRI를 사용한 방법은 다수.
• X-Ray를 사용한 것은 대상이 중복되어 어렵고, 별로 없다.

데이터 수집과 전처리

• 총 797개 X-Ray 영상
• 537 train data
• 100 validation data
• 160 test data
• 요추 중심 탐지 : 원본 사이즈 3072x1536를 512x256으로 리사이즈
• 요추 분할 : 잘라낸 영상을 224x224로 리사이즈
• 데이터 증강
• 명암대비, 임의위치 잘라내기, 회전 최대 15도

​

• 데이터 수집 방법은 명시하지 않음

데이터 전처리

• adaptive histogram equalization 사용

데이터 전처리

• adaptive histogram equalization 사용

​

​

​

​

​

• a, c : 적용전
• b, d 적용 후

레이블링

• 수작업으로.
• 요추 중심의 5개의 위치
• 각 요추 분할을 위한 8개의 위치

방법

1. PoseNet으로 5개의 요추의 중심을 탐지
2. 각 요추에 대한 작은 이미지로 자름
3. MNet으로 각 요추 이미지에 대하여 분할(segmentation) 실행
4. 분할 결과를 미세 조정

방법

요추 중심 탐지 - 방법

• Pose-Net을 사용하여 탐지

요추 중심 탐지 - 모델 구조

• 각 요추별 1개의 모델
• 모두 5개의 CNN을 사용

요추 중심 탐지 - 입력과 출력

입력

• 512 x 256 X-Ray 영상

​

출력

• 요추의 중심 좌표

​

방법 - 각 요추에 대한 작은 이미지로 자름

요추 분할 - 방법

• M-Net을 사용

요추 분할 - 모델 구조

• 기존 M-Net 사용

요추 분할 - 입력과 출력

입력

• 탐지한 요추 중심으로 잘라낸 영상을 224 x 224로 리사이즈한 영상

​

출력

• 요추 모양을 결정하는 8개 좌표

방법 - 분할 결과를 미세조정

방법 - 분할 결과를 미세조정

• 기존 영상처리 기법 ‘level-set method’를 사용.

결과 - 요추 중심 탐지

• pixel 단위 거리 차이

결과 - 요추 분할

결과 - 요추 분할

기존 방법과 결과 비교

• a, c가 제안된 방법, b, d가 기존 M-Net의 방법

고찰

• 전체적으로 목적을 달성하기 위해 몇가지 기법을 종합 사용함
• 5개의 요추를 개별적 분할하기 위해 각 요추를 deep learning 모델로 찾아냈다.
• M-Net을 개선하기 위해 기존 영상처리 기법을 적용했다.

​

• 필요한 만큼 기존 연구 결과를 활용
• 요추 탐지를 위해 Pose-Net을 참조하였고
• 요추 분할을 위해 M-Net을 가져다 사용하였다.

​

Electrodiagnostic Nerve Tests: Understanding Healthy Peripheral Nerves

​

Alberta 대학 석사 논문, 2019

​

https://era.library.ualberta.ca/items/6c4fd8c9-2042-497a-b9c5-19dc75884d81/view/1bb94d78-cda2-4e14-8ace-07be296fbd90/Bell_James_M_201909_MSc.pdf

리뷰 9

Author

• James Malcolm Bell, Departments of Neuroscience and Computing Science University of Alberta

개요

• 기반 NET(Nerve Excitability Test) 데이터를 구축하였다.
• 결측치를 채워 넣었다.
• 각 사이트별 이질성이 있으나 신경 건강 측면인 면에서 영향이 없고, 통합에 문제 없다.

​

• 3개국의 데이터를 모았으나, 데이터 수가 적다. 150, 84, 42
• 결측있는 데이터가 있다. 이를 채우기 위한 방법을 제안하였다.
• 각 사이트별 이질성은 유지하며 채웠다.

논문 구조

• 배경 소개
• 결측치 채우기
• 이질성, 동질성 측정
• 신경 건강 점수
• 토론

목표

• 목표 1 : 수집된 데이터의 결측치를 채우자
• 목표 2 : 사이트별 이질성 파악. 하지만 전체 데이터로서 동질성 확보.

NET 데이터

• 32개의 feature를 사용.
• 이중 4개의 feature가 결측치가 있다.

​

목표 1. 결측치 채우기

수집 대상 데이터

​

​

​

​

​

• 이중 Canada, Japan, Portugal의 데이터만 수집

결측 feature 상황

실험 방법

• 결측치 없는 244개 데이터를 사용
• 실체 결측 비율데로 비결측 데이터 199개와 결측 데이터 45개를 생성
• 각 방법으로 결측치를 채움
• 원 정답과 채운 값 과의 MSE를 측정

​

목표

• MSE를 최소로
• 사이트별 이질성을 유지

​

실험 방법

적용 방법

• Mean : Mean Imputation
• DA : Data Augmentation
• PCA : PCA with ALS
• iPCA : Iterating PCA with ALS
• Regr : Linear Regression Predictor
• iRegr : Iterating Linear Regression Predictor
• AE : AutoEncoder
• iAE : Iterating AutoEncoder
• Casc : Cascading AutoEncoder
• iCasc : Iterating Cascading AutoEncoder

기존 방법

AutoEncoder 방법 상세

• 상세 방법은 기술되어 있지 않음
• 학습 방법도 기술되어 있지 않음.
• 학습 데이터와 검증데이터가 분리되어 있지 않다. 가장 큰 문제점.

참고 - AutoEncoder를 사용한 디노이징

• 원본 이미지에 노이즈를 첨가한 것을 입력으로, 원본을 출력으로 학습

추측 - AutoEncoder 방법

• 특정 필셀의 값이 결측된, 0 노이즈인 상황이다.

추측 - Iterating AutoEncoder 방법

• (완결 199개 + 결측 45개)로 모델 학습
• 45개의 결측치를 채움
• 위의 과정을 반복함

추측 - Cascading AutoEncoder

방법

1. 결측 없는 24개의 feature를 AutoEncoder로 학습함
2. 학습된 모델의 중간층을 사용하여 결측치 M1를 학습함.
3. 그다음 결측 feature M2 학습시에는 M1도 사용
4. 이를 마지막 결측 feature M4까지

추측 - Iterating Cascading AutoEncoder

• (완결 199개 + 결측 45개)로 모델 학습
• Cascading AutoEncoder로 45개의 결측치를 채움
• 위의 과정을 반복함

​

결과

목표 2. 사이트 별 이질성 파악. 전체 데이터로서 동질성 확보

사이트별 이질성

• Batch Effect : 사이트 별 환경 차이에 기인
• Biological Effect : 생물학적 차이에 기인

​

Variation of Information

• 2 군집 간 거리
• Mutual Information의 상대적인 값

균일성 측정 방법

• VI를 측정하여.
• 논문의 주요 내용

​

• 방법이 꽤 복잡하다. 적절?

결과 / 결론

• 전체 데이터의 동질성 점수가 95%. 데이터 출처의 의존성이 작다는 것을 의미.

​

• 의미 있는 사이트별 이질성이 없다.
• 각 사이트의 데이터를 하나의 데이터로 통합할 수 있다.

고찰

• 사이트별 이질성 있는 데이터의 통합의 타당성을 확보.
• 결측치 있는 데이터를 버리지 않고 채우려 노력함. 하지만 시험 방법은 잘못됐다. 학습과 검증의 데이터를 분리하지 않았다.
• 결측치 채우기의 각 상세 방법이 기술되지 않음. 실험의 신빙성을 생각하게 함.

​

​

질문과 대답

• Q : 서로 다른 국가의 데이터의 이질성, 불완전 검사결과를 합쳐서 분석하는 방법
• A : 합쳐서 분석한 것이 아니라, 합치기 위하여 그 타당성을 분석한 것이다. 데이터를 버리지 않기 위하여 결측치를 채운 것이다.

질문과 대답

• Q : 아직까지 모르는 지표의 의미를 DL 결과를 통해서 추정할 수 있는 방법
• A : 논문에서 이런 방법을 언급하지 않았다. DL을 통해 결측치를 채우는 방법을 시도을 뿐이다.

The RSNA Pediatric Bone Age Machine Learning Challenge

​

Radiology Vol. 290, No. 2, 2018

​

https://pubs.rsna.org/doi/10.1148/radiol.2018180736

리뷰 10

Author

• SafwanS.Halabi,MD • LucianoM.Prevedello,MD • JayashreeKalpathy-Cramer,PhD • ArtemB.Mamonov,PhD • AlexanderBilbily,MD,BHSc • MarkCicero,MD,BESc,FRCPC • IanPan,MA • LucasAraújoPereira,BSc • RafaelTeixeiraSousa,MSc • NitamarAbdala,MD,PhD • FelipeCamposKitamura,MD,MSc • HansH. odberg,PhD • LeonChen,MD • GeorgeShih,MD • KatherineAndriole,PhD • MarcD.Kohli,MD • BradleyJ.Erickson,MD,PhD • AdamE.Flanders,MD
• ​
• From the Department of Radiology, Stanford University, 300 Pasteur Dr, MC 5105, Stanford, CA 94305 (S.S.H.); Department of Radiology, e Ohio State University Wexner Medical Center, Columbus, Ohio (L.M.P.); Athinoula A. Martinos Center for Biomedical Imaging, Department of Radiology, Massachusetts General Hospital/ Harvard Medical School, Boston, Mass (J.K.C.); Massachusetts General Hospital & Brigham and Women’s Hospital Center for Clinical Data Science, Boston, Mass (A.B.M., K.A.); Department of Radiology, University of Toronto, Toronto, Ontario, Canada (A.B.); Department of Radiology, St. Michael’s Hospital, Toronto, Ontario, Canada (M.C.); Department of Diagnostic Imaging, Warren Alpert Medical School of Brown University, Rhode Island Hospital, Providence, RI (I.P.); Universidade Federal de Goiás, Goiânia, Brazil (L.A.P., R.T.S.); Universidade Federal de São Paulo, São Paulo, Brazil (N.A., F.C.K.); Visiana, Hørsholm, Denmark (H.H.T.); MD.ai, New York, NY (L.C.); Department of Radiology, Weill Cornell Medicine, New York, NY (G.S.) Department of Radiology, University of California–San Francisco, San Francisco, Calif (M.D.K.); Department of Radiology, Mayo Clinic, Rochester, Minn (B.J.E.); and Department of Radiology, omas Je erson University, Philadelphia, Pa (A.E.F.

​

논문 개요

• RSNA(The Radiological Society of North America)에서 개최한 대회의 결과.
• 대회명 : Pediatric Bone Age Machine Learning Challenge
• 소아 손 방사진 영상으로 뼈 나이 추정

​

• 상위 5개의 방법을 설명함

데이터 구성

데이터 레이블링

• 6명의 소아 방사선 전문의가 추정.
• 평균값 사용

대회 결과

• 260 팀 등록, 45팀이 105개 제출
• 대부분 CNN을 사용한 딥러닝
• 상위 결과는 4.x 개월 정도의 오차

1위 방법 상세

• 데이터를 85:15로 validation, test 데이터로 분리
• Keras 2.08, TensorFlow 1.3, Python 3.4
• 40개 모델을 학습. 2대의 서버. TitanX GPU
• 데이터 증강
• 학습 시 실시간
• 20도 회전, 상하좌우 이동 0.2, 확대 0.2, 좌우 반전
• 배치사이즈 16, 500 epoch, 50시간,
• Adam optimizer, mean absolute error 로스펑션

​

• 예측 시 1개의 영상에서 10개 추출(상하좌우 이동을 5번, 각 좌우 반전). 이를 상위 5개 모델에 적용. 50개의 값을 평균하여 최종 출력값으로

1위 방법 상세

• InceptionV3 사용
• InceptionV3의 출력 특질과 성별의 값을 DNN의 입력으로 함.
• 500x500의 입력 크기
• 출력은 예측한 개월수 값

2위 방법 상세

• 원 이미지를 560x560으로 리사이즈 함(이 크기는 몇번의 시도로 찾아냄).
• Contrast Enhanced Adaptive Histogram Equalization 전처리
• 각 이미지에서 7x7 위치에서 224x224 크기의 이미지 조각 49개로 잘라냄.
• 이를 네트웤의 입력으로 사용

2위 방법 상세

• 데이터를 10개로 나누어 이중 9개를 학습, 1개를 검증에 사용.
• ResNet50 사용. 전이학습
• 남녀 별개로 학습 함. 2개의 네트웤.
• 90:10으로 데이터 분리
• Keras 2.0, Python 2.7, GTX 1080Ti GPU 2개
• 초기 10 epoch , Adam, 학습율 0.01
• 이후 100 epoch. 20 epoch마다 학습율을 반으로 줄임
• 실시간 데이터 증강
• 가우시안 노이즈, 좌우 반전, 최대 30도 회전, 1.11~1.33사이로 값 변경
• 한 성별당 3개의 모델(다른 데이터 구성), 이를 3번 반복함. 성별당 9개 모델
• 예측 시, 49개 조각의 평균값을 사용. 9개 모델중 가장 적은 에러의 출력을 최종 출력값으로.

3위 방법 상세

• 550x550으로 리사이즈. 원 영상 비율은 유지.
• 데이터를 5개로 분리.
• 분리된 데이터로 5개의 모델을 학습
• ​

3위 방법 상세

• 영상의 네트웤 결과와 성별을 다른 네트웤의 입력으로.
• 확장하고 축소하는 구조.
• 일반 CNN으로. 전이학습이 아닌.
• Batch Normalization 사용.
• ResNet152 비해 100배 작은 사이즈.
• Keras, TensorFlow, TitanX

​

• 예측 시, 상위 4개 모델 출력의 평균을 최종 출력 값으로

4위 방법 상세

• 비 딥러닝 방법
• 3 단계
• 윤곽선 추출
• 추출된 윤곽선으로 3개의 특질값 추출
• 추출된 특질값으로 나이 추정
• 15개의 뼈마다 1개의 모델.
• 윤곽선 추출
• ASM(Active Shape Model), AAM(Active Appearance Model)사용.
• 64개의 점으로 윤곽선을 레이블링.
• 50개 이상의 학습 데이터
• MDL(Minimum Description Length)을 반자동 레이블링에 사용.

4위 방법 상세

• 수작업으로 선별된 특질을 사용
• 뼈의 모양
• groth zone의 밀도 패턴
• growth zone의 Gabor texture energy 패턴
• 나이 추정
• PCA와 Linear Regression을 사용
• 15개 뼈마다 개별적으로 학습

​

• 예측 시 15개 뼈의 결과를 평균하여 최종 출력 값으로

​

5위 방법 상세

​

• 2 단계로 진행
• 영역분할 : U-net
• 개월수 예측 : 여러개의 CNN

​

5위 방법 상세

​

영역 분할

• 400개의 임의 영상을 학습에 사용
• hand/wrist/distal forearm을 수작업으로 레이블링.
• 512x512 크기
• dilated convolution U-net 사용
• 3개의 입력
• 299x299 원 영상
• Mask
• masking된 영상
• 데이터 증강
• 40도 회전, 상하좌우 75픽셀 이동, 0.8~1.2 확대
• 90:10의 학습/테스트 데이터 비율
• 배치사이즈 32

​

5위 방법 상세

​

개월 수 예측

• Keras, TensorFlow, Numpy, Scipy, Pandas, Pillow, OpenCV, TitanX
• Adam, mean absolute error
• 200 epoch
• 6개의 네트웤 학습

​

​

• 예측 시, 6개 네트웤의 결과를 앙상블하여 최종 출력 값으로

고찰

• 대회 자체 보다는 참가한 방법을 상세 설명함.
• 논문 1/3과 보충자료 반절
• ​
• DL 방법들의 공통된 점
• 원 이미지의 큰 사이즈 처리 방법이 다양함
• 2개의 상이한 데이터(영상과 성별) 병합
• CNN
• 앙상블
• 상위 5개를 앙상블하면 3.8 오차의 성능 (상위 1위가 4.2)

Deep neural network improves fracture detection by clinicians

​

Proc Natl Acad Sci U S A. 2018 Nov 6; 115(45): 11591–11596.

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6233134/

리뷰 11

Author

• Robert Lindsey,a,b Aaron Daluiski,a,c Sumit Chopra,a Alexander Lachapelle,a,d Michael Mozer,a,b Serge Sicular,a,e Douglas Hanel,a,f Michael Gardner,a,g Anurag Gupta,a,h Robert Hotchkiss,a,c and Hollis Pottera,i

​

• a Imagen Technologies, New York, NY, 10012;
• b Department of Computer Science, University of Colorado, Boulder, CO, 80309;
• c Department of Orthopaedic Surgery, Hospital for Special Surgery, New York, NY, 10021;
• d Faculty of Medicine, McGill University, Montreal, QC, Canada, H3A 2R7;
• e Department of Radiology, Mount Sinai Health System, New York, NY, 10029;
• f Department of Orthopaedics and Sports Medicine, Harborview Medical Center, University of Washington, Seattle, WA, 98104;
• g Department of Orthopaedic Surgery, Stanford University School of Medicine, Stanford, CA, 94305;
• h Department of Emergency Medicine, Northwell Health, New Hyde Park, NY, 11040;
• i Department of Radiology and Imaging, Hospital for Special Surgery, New York, NY, 10021

논문 개요

• 손목 X-Ray 영상
• 골절 여부와 골절 부위를 출력
• U-Net의 변형
• 한 병원에서 수집한 34,900개 영상
• 임상의 판정에 도움식으로 평가

기존 방법 한계

• 언급 없음.

데이터 수집과 전처리

• 방사선 영상
• HSS(Hospital for Special Surgery)에서 2000년 9월 ~ 2016 3월 수집

​

• HSS dataset : 135,848개
• Pretraining Set : 다른부위 100,855 개
• 손목 34,990
• Wrist training Set : 31,490개
• Test Set 1 : 3,500개
• Test Set 2. 1,400개 2016년 4월 ~ 2016년 7월 수집

레이블링

• 정형외과 세부전공(subspecialized) 그룹이 수작업으로 레이블링
• 네모 상자로 부위 레이블링

​

모델 구조

• U-Net의 변형

일반적인 U-NET

U-Net 사용 예

U-Net 사용 예

http://www.joig.org/uploadfile/2018/1226/20181226015625255.pdf

입력과 출력

입력

• X-ray 영상. 1024 x 64 크기

​

출력

• 2개의 출력
• 골절 부위 box 영상. 128 x 64 크기
• 골절 여부 : 1 or 0

학습 상세 - 전 학습

• 비손목 영상을 가지고 학습
• 데이터 구성 : 80:10:10
• 오버피팅 방지 위해
• early stopping
• L2 regularization
• 데이터 증강 사용 : cropping, 회전, 좌우 반전. 밝기/명암대비 조절
• 로스함수 구성
• heat map의 픽셀 당 cross entropy
• 분류 cross entropy

​

• 비손목의 경우 골절이 없다. 학습에 사용된 출력 영상에 대한 언급이 없다.

​

학습 상세 - 본 학습

• 전 학습된 모델을 가지고 시작
• 손목 영상만 사용
• 데이터 구성 : 80:10:10
• 오버피팅 방지 위해
• early stopping

​

• 이외의 언급은 없음. 아마도 나머지가 동일할 것 같음. 혹은 노출을 우려한 것.

​

평가 방법

• 300개의 영상
• 1개의 영상을 3명이 골절 여부를 판정
• 3명 합의가 이루어 지지 않은 34개는 제외
• 40명의 응급 임상의
• 16 physician assistant(PA)
• 24 medical doctor(MD)
• across-condition sensitivity index (d′ score)가 0.05 미만인 PA 1명의 결과는 제외.

​

• 골절 여부를 질문
• 모델의 결과를 제시하고 다시 질문

결과

• 모델 결과의 도움을 받을 때 정확도가 높아짐

기존 방법과 결과 비교

• 언급 없음

고찰

• 학습이 잘되기 위해 비 손목 영상으로 전 학습을 실행했다.
• 일반 U-Net을 변형하여 2개의 출력이 나오도록 했다.

기타

• 사람과의 경쟁이 아닌 사람을 지원하는 결과.

3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

​

Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS, Vol.9901: 424--432, Oct 201

​

https://lmb.informatik.uni-freiburg.de/Publications/2016/CABR16/cicek16miccai.pdf

리뷰 12

Author

• Ozg¨un C¸ i¸cek ¨ 1,2 , Ahmed Abdulkadir1,4 , Soeren S. Lienkamp2,3 , Thomas Brox1,2 , and Olaf Ronneberger1,2,5

​

• 1 Computer Science Department, University of Freiburg, Germany
• 2 BIOSS Centre for Biological Signalling Studies, Freiburg, Germany
• 3 University Hospital Freiburg, Renal Division, Faculty of Medicine, University of Freiburg, Germany
• 4 Department of Psychiatry and Psychotherapy, University Medical Center Freiburg, Germany
• 5 Google DeepMind, London, UK

논문 개요

• 3D 발톱개구리 신장 영상의 영역 분할
• 3D U-Net 사용
• sparse labeling
• 0.863 IoU

기존 방법 한계

• 기존 방법들은 2D 대상, 3D 대상은 1개뿐.

데이터 수집과 전처리

• 3개 샘플
• 'a voxel size of 0.88×0.88×1.02µm3 using a Zeiss LSM 510 DUO inverted confocal microscope equipped with a Plan-Apochromat 40x/1.3 oil immersion objective lens'
• 3개의 채널
• 채널 1 : Tomato-Lectin coupled to Fluorescein at 488nm excitation wavelength
• 채널 2 : DAPI stained cell nuclei at 405 nm excitation
• 채널 3 : Beta-Catenin using a secondary antibody labelled with Cy3 at 564nm excitation marking the cell membranes
• 데이터 증강 : 회전, 확대/축소

레이블링

• 3licer3D를 사용
• 4개의 클래스로 레이블링
• Inside tubule
• tubule
• backgroud
• Unlabeled
• sparse labeling
• 전체를 다 하지 않고 띠엄 띠엄 레이블링
• z 방향 7, y 방향 5, x 방향 21
• labeling 안된 부부은 B-spline 보간을 함.

모델 구조

• 일반 U-Net과 동일하다. 단지 2D conv, 2D pooling이 아닌 3D conv, 3D pooling

입력과 출력

입력

• 132 x 132 x 116(깊이) x 3(채널) 사이즈

​

출력

• 44 x 44 x 28 사이즈. 155 × 155 × 180µm3에 해당

학습 상세

• Caffe 프레임웤
• TitanX GPU
• 70,000 epoch
• 3일 소요

결과

• 좋은 결과라고 만 언급

기존 방법과 결과 비교

• 언급 없음.

고찰

• 일반적인 2D U-Net segmentation을 3D로 확장했다.
• spase labeling을 했다.

기타

• 소스 코드를 제공하고 있다.
• 다른 데이터셋에 적용하기 위한 약간의 안내도 있다.
• 같은 네트웤을 사용하여 Multimodal Brain Tumor Segmentation Challenge 2017 대회 참여.

​

기타 논문

Using Deep Learning Neural Networks and Candlestick Chart Representation to Predict Stock Market

​

2019 2월

​

https://arxiv.org/abs/1903.12258

리뷰 ?

Author

Rosdyana Mangir Irawan Kusuma1, Trang-Thi Ho2, Wei-Chun Kao3, Yu-Yen Ou1 and Kai-Lung Hua2

​

1 Department of Computer Science and Engineering, Yuan Ze University, Taiwan Roc

2 Department of Computer Science and Engineering, National Taiwan University of Science and Technology, Taiwan Roc 3Omniscient Cloud Technology

​

​

개요

• 딥러닝을 사용한 주가 예측
• 태국과 인도네시아의 60개 종목
• 모델 입력으로 주가의 candlestick을 사용함
• 3가지 기존 딥러닝 모델과 2가지 머신러닝 방법을 적용하고 결과를 보임
• VGG, ResNet, CNN, Random Forest, KNN
• 성능은 좋다고 함

기존 연구의 한계

• 주목할만한 언급 없음

데이터 수집

• 태국의 50 종목, 인도네시아의 10 종목
• 기술적 분석으로 성장성을 기준으로 상위 종목을 선별했다 함.
• 야후금융의 오픈API에서 수집

데이터 전처리

• 50 거래일의 데이터를 20개/10개/5개 candlestick의 영상을 생성
• candlestick은 시가/종가/고가/저가와 등하락의 5개 정보를 가시화한 것

거래량 유무

거래량을 포함/비포함으로 나누어 실험했다.

모델 구조

일반 VGG, ResNet, CNN을 사용

입력과 출력

입력

• Candlestick 영상

​

​

출력

• 등락의 1 or 0

결과

• 주가예측은 힘들다는 것을 고려하면 놀라운 정확도

기존 연구와의 비교

• Random Forest를 사용한 방법과 비교

문제점

• CNN은 영상만 입력으로 한다는 오해
• 영상 뿐 아니라 일반적인 데이터도 잘처리한다는 것을 모른다.
• 이런 오해 때문에 굳이 숫자를 canclestick의 영상으로 표현하여 입력으로 사용하였다.

고찰

• 수 많은 딥러닝을 사용한 주가 예측 적용 예.
• 기술적인 면에서나 창의성 면에서 깊이있는 연구라 할 수는 없다.
• candlestick 사용이 특이할 수 있으나, 이는 장점이나 창의성이 아닌 CNN에 대한 오해에 기인한 것이다.
• 학습에 사용된 출력값 대한 명확한 명시가 없다. 결과의 신빙성을 생각해 보게 한다.

Automated detection and classification of the proximal humerus fracture by using deep learning algorithm

​

Multicenter Study Acta Orthop , 89 (4), 468-473 Aug 2018

​

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6066766/

리뷰 #

Author

• Se

논문 개요

• p

기존 방법 한계

• 언

데이터 수집과 전처리

• 1

레이블링

• 2

모델 구조

• R

입력과 출력

입력

• 2

​

출력

• 5

결과

• ​

기존 방법과 결과 비교

• 언

고찰

• 정

기타

• 정