1
데이터 제작 Behind:
퀄리티 있는 RE 데이터 제작을 위한 데이터를 제작하는 방법
2021.11.10 18:00 데이터 제작 NLP Office Hour
진행 : 전종섭, 조원익
2
INDEX
1. 스페셜 미션의 소개
2. 데이터 제작을 위한 데이터 제작 (전종섭)
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들 (조원익)
4. Q&A
3
0. 스페셜 미션 권장 스케줄
주어진 토픽의 관계 추출 데이터 구축
1. 주어진 말뭉치에 대해 활용할 관계(relation)를 정의하고 가이드라인을 작성합니다.
https://drive.google.com/drive/folders/14Gcu1qYVTODJc_bKgxKOBA7pbAVz_GrC
2. Tagtog을 사용해 각자 맡은 부분의 데이터 어노테이션을 진행합니다.
3. 캠퍼분들이 완료한 어노테이션 산출물을 구글 스프레드시트로 옮깁니다.
4. 캠퍼분들 모두 서로가 만든 데이터에 대해 어노테이션을 진행합니다.
5. 제작이 완료된 데이터로 직접 Fine-Tuning을 진행하여 대략적인 performance를 확인합니다.
4
1. 스페셜 미션 소개
주어진 토픽의 관계 추출 데이터 구축
✓ 1 - 제공되는 원시 말뭉치의 분석 및 문장 선정/정제
✓ 2 - Tool 활용 방식 익히기 (Tagtog, 스프레드시트)
✓ 3 - 주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
✓ 4 - 가이드라인 작성
✓ 5 - 실제 어노테이션 진행
✓ 6 - 모델 fine-tuning (기존 대회 포맷 활용)
5
2. 데이터 제작을 위한 데이터 제작
1 - 제공되는 원시 말뭉치의 분석 및 문장 선정/정제
1-1 Wikipedia 데이터는 어떻게 추출했을까요?
1-2 데이터를 받으면 무엇을 해야할까요?
2 - Tagtog을 사용해 초기 Annotation
2-1 Tagtog 초기 세팅 방법
2-2 Tagtog 사용 방법
2-3 Tagging이 완료된 데이터 추출하기
3 - 구글 스프레드시트로 옮기기
6
2. 데이터 제작을 위한 데이터 제작
7
1-1 Wikipedia 데이터는 어떻게 추출할까?
2. 데이터 제작을 위한 데이터 제작
8
1-2 데이터를 받으면 어떻게 해야할까?
2. 데이터 제작을 위한 데이터 제작
9
1-2 데이터를 받으면 어떻게 해야할까?
2. 데이터 제작을 위한 데이터 제작
10
1-2 데이터를 받으면 어떻게 해야할까?
2. 데이터 제작을 위한 데이터 제작
11
2. 데이터 제작을 위한 데이터 제작
12
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
13
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
14
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
15
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
16
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
17
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
18
2-1 Tagtog 초기 세팅 방법
2. 데이터 제작을 위한 데이터 제작
19
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
20
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
7월에 일본 야구 올림픽 대표팀의 호시노 센이치 감독의 대표팀 소집 때문에 1군으로 긴급 복귀하여 셋업맨으로 등판하였지만 좋은 모습을 보여주지 못했다.
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-2 Tagtog 사용 방법
2. 데이터 제작을 위한 데이터 제작
2-3 Tagging이 완료된 데이터 추출
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
3. 구글 스프레드 시트로 옮기기
2. 데이터 제작을 위한 데이터 제작
38
2. 데이터 제작을 위한 데이터 제작
미션: 주어진 토픽의 관계 추출 데이터 구축
1 - 제공되는 원시 말뭉치의 분석 및 문장 선정/정제
2 - Tool 활용 방식 익히기 (Tagtog, 스프레드시트)
39
2. 데이터 제작을 위한 데이터 제작
2 - Tool 활용 방식 익히기 (Tagtog, 스프레드시트)
40
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
채우기!
41
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
관측 가능한 관계들을 리스트업하고 토의를 통해 확정
42
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
class_name (ko/en):
relation에 대한 직관적인 네이밍
subj의 entity type이 앞에, obj의 역할이 뒤에 배치됩니다.
43
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
direction (subj, obj):
subj와 obj의 entity type 및 relation의 방향성
Entity type은 하나의 정형적인 형태 (org, loc, per 등)로 나오지 않을 수도 있습니다. (e.g., 물리학 - 전자기학 : relation은 명확하지만 두 entity에 해당하는 entity type은 널리 사용되는 ne가 아닐 수 있음) [잘 정의하여 사용할 수 있으면 상관 x!]
44
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
3 - 주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
description:
subj와 obj의 관계에 대한 정의
선택되는 두 entity 사이의 관계를 정의합니다. TACRED 및 KLUE-RE의 경우 org 혹은 per이 subj인 관계로, 창립일, HQ의 위치, 출생일 등이 relation으로 포착됩니다. 새로이 관계를 정의한다면, direction (subj, obj) 의 entity type들을 고려해야 합니다.
45
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
3 - 주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
example:
해당되는 relation이 등장하는 example
각 example에는 물론 해당되는 relation 이외의 관계가 등장할 수도 있습니다. 즉, 한 문장에서 두 개 이상의 관계가 등장할 수 있습니다. Relation map 기술에 이러한 경우들을 활용해도 상관 없습니다! [문장이 중복되어도 relation 중복이 없으면 상관 x!]
46
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
해당 관계의 예시들을 문서에서 찾아 기재�참고: https://docs.google.com/spreadsheets/d/1qhQD6Z5Ftws2VoXfqv_B54XGdL06oNeUBKkClBuAg88/edit#gid=0
(가능하다면) 관계와 관련된 entity type도 함께 기재
47
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
도입 문구:
일반적으로 크라우드소싱 등의 다작업자 구축을
염두에 두고 작성됩니다
본 강의에서는 그러한 절차를 거치지는 않지만,
추후 가이드라인을 활용하여 구축 작업을 재현하기�위해서, 어느 정도의 documentation은 필수적입니다.��주어진 샘플과 꼭 같을 필요는 없지만, 읽는 사람으로�하여금 어떤 내용들이 들어가 있는지 파악하기 �용이하게 하는 listing이면 됩니다!
48
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
태스크 설명:
RE라는 태스크, Subject와 object라는 개념의 역할,
entity의 개념들, 그리고 ‘관계’라는 레이블의 정의가�등장합니다.
태스크 소개에 해당하는 부분이며, 어떤 label들이 �있고 해당 label들의 간단한 의미 역시 기재해 줍니다.�
모든 label에 대한 설명을 이 곳에서 하기 어렵다면�relation map에 대한 링크를 달아 줍니다.
49
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
태스크 설명:
이후, 태스크 수행에 관한 간단한 예시를 덧붙입니다.
이미 KLUE-RE를 다루면서 이에 대해 익숙하시겠�으나, 다시 한번 가이드라인을 통해 이를 정의합니다.
50
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 가이드라인:
Annotation시 고려할 내용들을 설명합니다.
Task 설명에 들어간 내용이 여기 한번 더 반복되어도�상관 없습니다.
작업자들이 Annotation하면서 애매한 부분, 궁금해�할 만한 부분들을 서술합니다. KLUE-RE에서는��- 관계의 방향성 유의�- ‘관계 없음’의 존재
- 외부 지식의 활용 가능 여부
- 관계 assign시 ‘시점’의 반영 여부
등이 기재되었습니다.
51
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 가이드라인:
Annotation시 고려할 내용들을 설명합니다.
Task 설명에 들어간 내용이 여기 한번 더 반복되어도�상관 없습니다.
작업자들이 Annotation하면서 애매한 부분, 궁금해�할 만한 부분들을 서술합니다. KLUE-RE에서는��- 관계의 방향성 유의�- ‘관계 없음’의 존재
- 외부 지식의 활용 가능 여부
- 관계 assign시 ‘시점’의 반영 여부
등이 기재되었습니다.
52
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 가이드라인:
`외부 지식’ 산입 여부는 어떤 주제의 RE 태깅이든�고려해야 할 문제입니다.
문장 내에서 파악할 수 있어야만 pre-define된 관계로�레이블링이 가능하며, 이는 common sense 혹은�외부적 지식만으로 유추되어서는 안되는 것이�원칙입니다.
이러한 이유로, entity들의 존재에도 불구하고 실제로�no_relation으로 태깅되는 경우가 생각보다 많을 수 �있습니다. 이러한 원칙이 없다면, 특정 문장 구조�혹은 성분에서 relation을 유추하고자 하는 시도의�의미가 퇴색될 수 있습니다.
53
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 가이드라인:
`시점의 문제’는 상태가 변할 수 있는 여러 가지 관계�를 포함한 문장들에서 등장할 수 있습니다.
이러한 경우, 시점이 맞지 않을 때 relation 태깅을 �하지 않는 것이 이론 상으로는 맞지만, 협의를 통해�그런 관계까지 포함하도록 가이드라인을 재정의할�수 있습니다.
54
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 환경:
실제 작업자가 어노테이션을 진행할 환경 및�해당 환경에서 등장하는 변수들을 기술합니다.
본 프로젝트에서는 tagtog 및 구글 스프레드시트가�작업 환경에 해당하며,
주어진 문장에서 entity 선정 및 relation tag를 초벌로�작업할 때는 tagtog을,
만들어진 문장-entity pair에 대해서 relation을 레이블�할 때는 구글 스프레드시트를 활용합니다.
예시에서 1-3) 는 작업 절차에 대한 가이드를, �4-5) 는 작업 유의사항에 대한 가이드를 지칭합니다.
55
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 환경:
Data error은 자동으로 데이터가 태깅되는 경우�발생하는 문제이지만, 본 프로젝트처럼 manual하게�데이터가 제작되는 상황에서는 발생할 확률이 크지�않습니다.
하지만 사람이 태깅한 entity도 때로는 부적절한�것으로 인식될 수 있으므로, data error 플래그를 통해�report를 받는 과정도 optional하게 고려해볼 수�있습니다.
이는 조사와 entity가 붙어 한 어절을 형성하는 경우가
많은 한국어에서 조금 더 조심해야 할 부분입니다.
56
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 환경:
Hate speech나 social bias를 포함한 문장과 같이�potential harm이 있는 인스턴스의 경우 체크해두고�회의를 통해 이를 제거할 수 있습니다.
이에 관한 가이드라인을 별도로 만드는 것은 공수가�많이 들기 때문에, KLUE-RE에 기술된 가이드라인을�활용하는 방안을 추천드립니다.
57
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
어노테이션 환경:
다행히, 프로젝트에서 활용되는 위키피디아에는�문제가 될 만한 표현들이 많이 등장하지는 않을 �예정입니다 :)
가장 주의해야 할 부분은 개인정보 �(이름, 거주지 등) 관련 표현인데, 우리가 위키피디아�에서 볼 수 있는 인물이라면 대부분이 공인으로 생각�되기 때문에, 간단한 검색 정도만 거쳐 주시면 �되겠습니다.
58
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
가이드라인 작성
자주 묻는 질문:
FAQ에서는 파일럿 태깅 및 가이드라인 제작 과정�에서 발생하는 미묘한 문제들에 대한 해결 방안이�기술됩니다.
Relation들간의 관계가 잘 구분되고 명확할수록�이러한 모호함이 줄어들 수 있습니다. 또한, 이러한�FAQ들을 서로 공유하고 난 후에 서로가 태깅한 �내용들을 다시 한 번 보며 해당되는 부분들을 수정�하는 시간도 필요합니다.
59
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
5 - 실제 어노테이션 진행
6 - 모델 fine-tuning (기존 대회 포맷 활용)
60
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
실제 어노테이션의 퀄리티 평가:
Inter-annotator agreement 계산 (Fleiss Kappa)
n 명의 annotator가 k 개의 label로 구성된 스킴을 활용해 N개의 인스턴스를 태깅하는 경우,
각 instance에서 주석자 간의 일치도가 다르게 나타날 수 있다.
(일치도가 낮은 instance ~ 주어진 기준으로는 구분하기 모호하거나 challenging하거나 사전지식이 많이 필요할 수 있음)
잘 짜여진 가이드라인이라면 0.7 이상의 값이 나올 필요가 있음
61
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
실제 어노테이션의 퀄리티 평가:
Inter-annotator agreement 계산 (Fleiss Kappa)
python calculate_iaa.py
#raters = 4 , #subjects = 5 , #categories = 4
PA = 0.36666666666666664
PE = 0.265�
Fleiss' Kappa = 0.138
worker1 | worker2 | worker3 | worker4 |
1 | 1 | 2 | 1 |
3 | 1 | 3 | 4 |
3 | 3 | 3 | 2 |
4 | 1 | 4 | 4 |
4 | 4 | 2 | 3 |
iaa_sample.xlsx 를 이러한 형태로 제작해 주세요!
62
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
평가지표
정량 지표
정성 지표
모델 학습 지표
63
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
권장 역할분담
세팅
전체 함께
Timeline
64
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
3 - 주어진 토픽의 데이터에서 나올 수 있는 관계들에 대한 탐색
4 - 가이드라인 작성
65
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
미션: 주어진 토픽의 관계 추출 데이터 구축
5 - 실제 어노테이션 진행
6 - 모델 fine-tuning (기존 대회 포맷 활용)
66
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
권장 역할분담
세팅
전체 함께
Timeline
67
3. 퀄리티 있는 RE 데이터 제작을 위한 전략들
평가지표
정량 지표
정성 지표
모델 학습 지표
End of Document
Thank You.