1 of 23

1

How to grade problem?

450개

10000개

Our Project

데이터 부족 문제

Zero data로 시작하는 프로젝트이며 인공 데이터 450개를 만들었지만 일반적인 인공지능 프로젝트에 비해 현저히 부족한 데이터 개수

라벨링의 공수 문제

라벨링에 들어가는 공수가 굉장히 크므로 최소한의 데이터로 최대한의 효과가 필요

Normally AI Project

2 of 23

2

1

3

2

4

문제 추가 및 수정

서술형 유저 답변 검수

서술형 유저 답변 라벨링

유저 관리

인공지능의 핵심은 데이터

라벨링과 검수를 편리하게 가능

데이터의 정합성과 무결성을 위해 백오피스를 구축

데이터 관리

3 of 23

How to grade problem?

Prompt Tuning

Input Data를 모델의 특성에 맞춰 모델이 가장 잘 풀 수 있는 문제로 튜닝하는 방식

Few Shot Learning

데이터의 갯수가 0개부터 시작하는 프로젝트이므로 적은 데이터로 PLM을 적극 활용하는 Few Shot Learning 방식으로 접근

No Training Method

BERT의 Encoding 성능만 사용하여 전혀 학습을 하지 않고 유사도만을 이용해 비교하는 방식

Robust Result

키워드는 한글, 영어, 동음이의어 등등을

고려해야 한다.

4 of 23

4

How to grade problem?

키워드 채점 API

Input : Keywords, User Answer

Response : Correct Keywords

핵심 내용 포함 채점 API

Input : Key Contents, User Answer

Response : Correct Key Contents

5 of 23

5

How to grade problem?

키워드 채점 API

Input : Keywords, User Answer

Response : Correct Keywords

핵심 내용 포함 채점 API

Input : Key Contents, User Answer

Response : Correct Key Contents

6 of 23

6

How to grade problem?

키워드 채점 API

문제 : 쿠키와 세션의 차이점을 설명해주세요.

키워드 : 저장위치, 보안, Lifecycle, 속도

User Answer 1) 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다. 세션은 …

Response : 속도, 보안

7 of 23

7

How to grade problem?

Keyword : 저장위치, 보안, Lifecycle, 속도

User Answer : …

Input

Keyword Sliding Window Validation

Preprocessing

Sentence-RoBerta

AI Model

저장위치, 속도

Result

8 of 23

8

How to grade problem?

Keyword : 저장위치, 보안, Lifecycle, 속도

User Answer : …

Input

Keyword Sliding Window Validation

Preprocessing

Sentence-RoBerta

AI Model

저장위치, 속도

Result

9 of 23

Sliding User Answer : [쿠키는 브라우저에 정보가, 브라우저에 정보가 있기, 정보가 있기 때문에, 있기 때문에 서버에, 때문에 서버에 요청 시, 서버에 요청 시 속도가 … ]

How to grade problem?

Keyword Sliding Window Validation?

User Answer : 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다.

window size = 3

input with Keywords

키워드 모델

10 of 23

How to grade problem?

Keyword Sliding Window Validation?

키워드 모델

Result

11 of 23

11

How to grade problem?

핵심 내용 포함 채점 API

Input : Key Contents, User Answer

Response : Correct Key Contents

키워드 채점 API

Input : Keywords, User Answer

Response : Correct Keywords

12 of 23

12

How to grade problem?

핵심 내용 포함 채점 API

문제 : 쿠키와 세션의 차이점을 설명해주세요.

핵심 내용:

쿠키는 클라이언트측에 저장되고 세션은 웹 서버에 저장된다.
세션이 쿠키보다 보안에 유리하다.
세션이 쿠키보다 속도가 느리다.
세션은 브라우저가 종료되면 만료시간에 상관없이 삭제되고 쿠키는 브라우저를 종료해도 계속해서 남아 있을 수 있다.

User Answer 1) 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다. 세션은 …

Response : C, D

13 of 23

13

How to grade problem?

핵심내용: A, B, C, D

User Answer : …

Input

Prompt Tuning

Preprocessing

KE-T5-Base

AI Model

핵심내용 A, 핵심내용 B

Result

14 of 23

14

How to grade problem?

핵심내용: A, B, C, D

User Answer : …

Input

Prompt Tuning

Preprocessing

KE-T5-Base

AI Model

핵심내용 A, 핵심내용 B

Result

15 of 23

15

How to grade problem?

What is T5 Model ?

Text To Text Transfer Transformer

T5모델은 Text To Text Transfer Transformer 라는 이름이고 이름에 T가 다섯개 들어가기 때문에 T5 모델이라 불립니다.

먼저 Text to text의 의미는 input으로 Text가 들어가서 output으로 text가 나오는 generation 모델이기 때문에 Text to text라 불립니다.

여기서 특이한점은 input text에 task를 명시해준다는 것 입니다.

예시를 보면 영어를 독일어로 번역해주세요 라는 task를 명시한 후 content를 넣어주면 모델은 task를 이해하고 번역을 하여 output을 생성합니다.

또 맨 아래에는 요약이라는 task를 명시해주고 content를 넣었을 때 모델은 번역을 한 후 output을 생성합니다.

이게 가능한 이유는 T5모델은 다양한 테스크를 학습할 때 파라미터를 공유한 후 multi task learning을 진행하기 때문에 조금 더 robust한 결과를 얻을 수 있습니다.

16 of 23

16

How to grade problem?

What is T5 Model ?

OR

<

Encoder Only Model like BERT

Decoder Only Model like GPT-3

17 of 23

17

How to grade problem?

핵심내용: A, B, C, D

User Answer : …

Input

Prompt Tuning

Preprocessing

KE-T5-Base

AI Model

핵심내용 A, 핵심내용 B

Result

18 of 23

18

How to grade problem?

What is Prompt tuning?

19 of 23

19

How to grade problem?

What is Prompt tuning?

20 of 23

20

How to grade problem?

Prompt Template

klue_nli premise: {premise} hypothesis: {hypothesis}

User Answer : 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다.

NLI Task를 사용

Prompt

klue_nli premise: 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다. hypothesis: 저장위치가 쿠키는 클라이언트측이고, 세션은 웹서버

Prompt Template

mlm : {user_answer}. 라는 문장에 {key_content} 라는 내용이 존재하는가? [MASK]

MLM Task 사용

Prompt

mlm: 쿠키는 브라우저에 정보가 있기 때문에 서버에 요청 시 속도가 빠르고 세션은 정보가 서버에 저장되어있기 때문에 처리가 요구되어 비교적 느린 속도를 낸다. 라는 문장에 저장위치가 쿠키는 클라이언트측이고, 세션은 웹서버라는 내용이 존재 하는가? [MASK]

entailment (관련 있다)

neutral (중립)

contradiction (관련 없다)

Yes

No

그럼 저희의 프로젝트에서는 어떻게 활용하냐!

저희의 핵심 내용 포함 여부 task에서는 NLI task와 MLM task를 생각해볼 수 있습니다.

NLI task는 Premise에 Hypothesis가 관련 있는지, 없는지, 중립인지를 판단하는 task 입니다.

이 task의 premise에 user 답안을 넣고 hypothesis에 핵심 내용을 넣게 되면 그 내용이 관련 있는지, 없는지, 중립인지 알아낼 수 있습니다.

다음으로 MLM task 입니다.

또 MLM task는 거의 대부분의 Pretrained model에서 사용하는 가장 기본적인 사전학습 방법입니다.

본문에 마스크를 뚫어놓고 그 마스크를 맞추도록 하는 task인데 pretrained model은 이를 기반으로 학습되었기 때문에 mask를 예측하는건 비교적 쉬운 task일 것 입니다.

그래서 user_answer 라는 문장에 key_content라는 내용이 존재하는가? 하고 마지막에 mask를 뚫어놉니다.

그리고 저희는 T5라는 generation 모델을 사용할 것 이기 때문에 generation 모델은 마지막에 regression값들이 나오게 됩니다. 다른 vocab에 대해서는 닫아놓고 yes, no만 나오게 한다면 이 모델은 prompt tuning을 통해 generation 방식으로 classification을 할 수 있습니다.

21 of 23

21

How to grade problem?

키워드 채점 API

Input : Keywords, User Answer

Response : Correct Keywords

핵심 내용 포함 채점 API

Input : Key Contents, User Answer

Response : Correct Key Contents

Scoring

22 of 23

Final Goal - 강약점 분석

네트워크

자료구조

DB

OS

50%

60%

70%

80%

23 of 23

23

Final Goal - 문제 추천