1 of 26

학습설계(LD)를 통합한 학습분석(LA)을 위한

다층 프레임워크 및 방법*

08/01/2022 권현지

* A Multilevel Framework and Method for Learning Analytics Integrated Learning Design (2021)

- 1 -

2 of 26

- 2 -

3 of 26

서론

  1. 학습설계와 학습행동에 관한 이론부터 입증된 영향까지

08/01/2022 권현지

  • (이론)
    • 학습설계(LD)의 핵심 3 요소 : 학습자원, 과제, 지원 메커니즘*

​

  • (경험적 연구)
    • OULDI (Open University UK Learning Design) 유형**
      • 1) 동화 2) 정보 검색 및 처리 3) 의사소통적 4) 생산적 5) 경험적 6) 교류/적응적 7) 평가
    • 학습설계가 학습행동과 성과를 강하게 예측하는 것이 밝혀짐
    • 다만, 학습분석은 교사와 학습자에게 더욱더 세분화된 교육적 피드백을 제공할 수 있도록 학습설계 프레임워크의 정교화가 필요하다는 점을 지적함

* Lockyer, L., Heathcote, E., & Dawson, S. (2013). Informing pedagogical action: Aligning learning analytics with learning design. American Behavioral Scientist, 57(10), 1439–1459.

** Rienties, B., Nguyen, Q., Holmes, W., & Reedy, K. (2017). A review of ten years of implementation and research in aligning learning design with learning analytics at the Open University UK. Interaction Design and Architecture(s), 33, 134–154.

- 3 -

4 of 26

서론

2. 교사와의 공동 설계 파트너십을 통한 학습분석 실행

08/01/2022 권현지

  • (교사의 중요성)
    • 잘 개발된 학습분석 도구의 효과적인 채택과 통합은 결국 교사의 몫
    • 교사는 새로운 지식과 기술을 배울 필요가 있을 뿐만 아니라 교육적 혁신에 참여해야 함
    • 학습분석은 다양한 이해관계자가 포함되어야 하는데 이 중 ‘교사’가 필요함
    • 교사는 진정한 학습 맥락에서 시각화, 설계, 통합, 결과 해석을 할 수 있음

​

  • (설명가능한 학습자 모델이 필요)
    • 학습분석의 실행 가능성과 해석 가능성의 보장을 위해 설명가능한 학습자 모델이 필요
    • 이를 위해 다학제간 ‘학습 엔지니어링 팀’이 필요
      • 학습 엔지니어링 팀 : 기술자, 교육 전문가, 학습과학자, 설계 전문가

- 4 -

5 of 26

서론

3. 설계 기반 LA 구현의 성공 사례 뒷받침 : TPACK

08/01/2022 권현지

  • (Closing the loop)
    • 학습결과(LO)를 개선하기 위해 학습분석(LA) 결과를 활용하여 실효성 있게 개입하는 것
    • 루프를 성공적으로 닫기 위해서는 학습분석이 학습환경이 포함된 사례를 연구해야 함

​

  • (TPACK 프레임워크) Technological Pedagogical And Content Knowledge
    • TPACK : 교사가 학습을 지원하기 위해 필요한 기술 교육학 콘텐츠 지식
    • 학습분석이 학습을 지원하는 기술로서 교육 효과를 달성하기 위해서는 TPACK이 커리큘럼에 완전히 통합되어야 함

​

​

- 5 -

6 of 26

서론

3. 설계 기반 LA 구현의 성공 사례 뒷받침 : TPACK

08/01/2022 권현지

  • (Content Knowledge) : 내용 지식
  • (Pedagogical Knowledge) : 교수 지식 (명시적)
  • (Pedagogical Content Knowledge) : 교수 내용 지식 (절차적)
  • (Technology Knowledge) : 테크놀로지 지식 (명시적)
  • (Technology Content Knowledge) : 테크놀로지 내용 지식 (절차적)
  • (Technology Pedagogical Knowledge) : 테크놀로지 교수 지식 (절차적)
  • (Technology Pedagogical Content Knowledge : 테크놀로지 교수 내용 지식
  • (Contexts) : 학습 맥락

- 6 -

7 of 26

서론

  • (예시) Completing the Loop의 성공적인 두 가지 사례에 관한 커리큘럼 요소 분석

3. 설계 기반 LA 구현의 성공 사례 뒷받침 : TPACK

08/01/2022 권현지

구분

목표된 학습 결과

학습자의

도전적 과제

학습분석 기술

과제 설계 순서

학습 과학의 역할

TPACT

Focus

지식

교육적 지식

기술적 지식

학습설계 지식 (TPACK)

학습 이론 뒷받침

Case A

원의 넓이 계산

주어진 원의 넓이의 반지름을 구하는 어려움

학습 요인 분석(LFA)

  • 온라인 기하학 ITS에서 LFA는 원의 넓이 계산을 구분하는 두 가지 지식 구성 요소를 발견함

​

  • ITS를 재설계하여 연습 시간을 늘리고 역연산 지원을 강화하기 위한 힌트를 제공

LFA 결과의 해석,

ITS의 재설계

Case B

특정 장르에 관한 쓰기 기술

수사학적 구조를 사용하는 것과 인식하는 것의 어려움

쓰기 분석

(Writing analytics)

  • 루브릭의 이해를 돕기 위한 짝짓기 연습
  • 글쓰기 구조 개선에 관한 이해를 돕기 위해 샘플에 대한 강사 수정 사항 검토
  • 루브릭을 사용하여 평가 전문 지식을 개발하기 위해 낮은 품질의 예시 에세이 제공
  • 점수가 매겨진 예시 에세이를 수정하여 학생들이 부적절하다고 나타낸 영역을 개선
  • 학생들은 언제든지 초안에 관한 피드백을 요청할 수 있음

수사학적 구조에 관한 학습자 어려움을 파악하는 것에 관한 어려움, 쓰기를 위한 평가, 루브릭의 설계, 학습 과제의 반복적인 재설계

- 7 -

8 of 26

서론

4. 학습분석(LA) 분류의 새로운 특징

08/01/2022 권현지

  • 분류 체계 1 : 기본
    • 기능, 학습자 분석, 리소스*

​

  • 분류 체계 2 : 다층 분류법**
    • 목적 계층 : 학습자 중심 / 이벤트 중심 / 콘텐츠 중심
    • 데이터 계층 : 정적 데이터, 동적 데이터
    • 이해 관계자 계층 : 학생, 교사, 연구원 등
    • 도구 계층 : 뒷받침 이론과 기술

​

  • 분류체계 3 : 학습분석 분류 체계를 학습설계와 통합하여 분류***
    • COPA (Cognitive Operation for Analytics) 프레임워크

​

*Peña-Ayala, A. (2018). Learning analytics: A glance of evolution, status, and trends according to a proposed taxonomy.Data Mining and Knowledge Discovery, 8(3), e1243

** Nguyen, A., Gardner, L. A., & Sheridan, D. (2017). A multilayered taxonomy of learning analytics applications. Proceedings of the 21st Pacific-Asia Conference on Information Systems (PACIS 2017), 16–20 July 2017, Langkawi Island, Malaysia (Article No. 54). Atlanta, Georgia: Association for Information Systems (AIS).

*** Gibson, A., Kitto, K., & Willis, J. (2014). A cognitive processing framework for learning analytics. Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK ʼ14), 24–28 March 2014, Indianapolis, IN, USA (pp. 212–216). New York, NY: ACM.

- 8 -

9 of 26

서론

4. 학습설계(LD) 분류

08/01/2022 권현지

  • (기본)
    • OULDI 분류*
    • 학습설계자 입장의 학습 프로세스 수준에서 설계

​

  • (심화)**
    • LD 프로세스에 관한 교육적 기반을 제공하고자 함
    • LD 분류법이 LA 시스템과의 인터페이스를 제공하는 역할을 할 수 있다는 아이디어를 제시함
    • 하지만 어떻게 그것이 달성될 수 있는지에 대한 자세한 내용은 제공하지 않음

*Peña-Ayala, A. (2018). Learning analytics: A glance of evolution, status, and trends according to a proposed taxonomy.Data Mining and Knowledge Discovery, 8(3), e1243

**Law, N., Li, L., Farias Herrera, L., Chan, A., & Pong, T. C. (2017). A pattern language based learning design studio for an analytics informed inter-professional design community. Interaction Design and Architecture(s), 33, 92–112.

- 9 -

10 of 26

목적 및 필요사항

  1. 목적

08/01/2022 권현지

  • 설계 시, 핵심 교육학적 의도를 포착할 수 있도록 분류 기준으로서 구현을 위한 세부 정보 뿐만 아니라 학습설계 의도를 함께 다룰 수 있도록 하는 학습분석의 규격을 제공

​

  • 학습분석을 설계하여 교사 및 학습 설계자가 더 나은 커리큘럼과 학습 효율성을 높일 수 있는 플랫폼 설계의 개념적 기초 제공

​

  • 교사 및 학습설계 전문가에게 설계 실무를 제공하기 위한 메타인지적 비계 제공

​

  • 앞의 사례와 같이 구성 요소 수준에서 학습분석과 학습설계를 통합하기 위함

​

- 10 -

11 of 26

목적 및 필요사항

2. 필요사항

08/01/2022 권현지

  • 학습설계를 위해 교육학의 계층 단위를 고려해야 함
    • 1) 교육철학 2) 고급 교육학 3) 교육전략 4) 교육전술

​

  • 학습분석 구성 요소가 학습설계를 결정하는 질문의 설계를 지원하는 것이라면 학습설계 프레임워크와 호환되는 다수준 구조가 필요함

​

  • 학습목표를 달성하기 위한 교육학적 접근 방식을 고려하여 교육학적으로 의미있는 설명과 가이드를 제공해야 함

​

  • 교육 전략 및 전술 수준에서의 설명을 포함하는 학습분석 통합 커리큘럼 구성요소적 학습설계에 대한 문서화를 지원해야 함

- 11 -

12 of 26

제안

  • 다층 설계의 계층

08/01/2022 권현지

  • 이 프레임워크는 학습설계의 세 가지 수준을 지원함
    • 커리큘럼, 커리큘럼 단위, 커리큘럼 구성 요소 및 학습 과제

​

  • 이는 교육학의 계층 단위와 일치함
    • 1) 교육철학 2) 고급 교육학 3) 교육전략 4) 교육전술

​

  • 예시 : 자기 주도 학습
    • 커리큘럼 구성 요소 : 목표 설정, 자기 계획, 자가 모니터링, 자가 평가 및 수정 등
    • 교육 전략 : 예측, 관찰, 설명, 브레인스토밍
    • 교육 전술 : 교육 전략을 현장에 적절한 지침 형태로 기술

​

- 12 -

13 of 26

제안

2. 작업 분류

08/01/2022 권현지

지시적 학습

탐색적 학습

생산적 학습

반영적 학습

정보 수용 및 해석

연습

평가

정보 탐색

대화를 통한 탐색

실증적인 조사

개념적/시각적 인공물 구성

실제로 다룰 수 있는 인공물 구성

발표

성찰

수정

자기/동료 평가

- 13 -

14 of 26

제안

3. 작업 수준 설계

08/01/2022 권현지

사회 조직

그룹 크기

과제 지속 시간

활용 도구

학급

개인

동료

집단

그룹화

클라썸

20분

- 14 -

15 of 26

제안

4. 학습설계 분류의 학습분석 요소

08/01/2022 권현지

교육적 의사결정 수준

학습분석 측정

데이터 유형

학습분석 기능성

학습분석 기술

이해관계자들

코스 수준

커리큘럼 요소 수준

작업 수준

코스 성과

코스 참여 총합

코스 만족도

학습 결과 성취 요소

구성 요소 전반에 걸친 학생 참여 측정

구성 요소 전반에 걸친 재개 경로 리뷰

지원 환경 만족도와 수용된 가치

평가 작업의 성취물

집단 상호작용 역동

시험 점수

LMS 로그데이터

학생 설문지

점수 정합성

LMS 로그데이터

LMS 로그데이터

퀴즈 점수

집단 토론 담화

예측

설계 기반 피드백

학습자 중심 피드백

예측

설계 기반 피드백

학습자 중심 피드백

예측

설계 기반 피드백

학습자 중심 피드백

기술적 분석

추론적 분석

기술적 분석

사회연결망 분석

글쓰기 분석

내용 분석

담화 분석

사회연결망 분석

관리자

학습 설계자

학습자/교수자

학습 설계자

학습자/교수자

학습 설계자

학습자/교수자

- 15 -

16 of 26

제안

5. 학습설계(LD) - 학습분석(LA) 연결 패턴

08/01/2022 권현지

  • 학습분석 통합 커리큘럼 구성 요소 설계 패턴 (LA-CCDP) 특징
    • 특정 학습 결과를 함께 다루는 학습 작업 집합으로 구성됨
    • 학습 문제, 맥락, 솔루션 (TPACK 포커스가 있는 각 LA-CCDP의 작업 분석) 정보 포함
    • 피드백이 완전히 통합됨
    • 적용가능성과 상이한 맥락에 적용하기 위해 수정해야 할 요소를 솔루션 안에 명시

​

​

- 16 -

17 of 26

CC1

​

​

​

구현 방법 설명

학습분석(LA)과 학습설계(LD)를 통합한 7단계 LDT 프레임워크

학습결과 (LO)

교육적 접근

수행 기준 (DP)

커리큘럼 구성요소 (CC)

학습결과 목표

학습 중심

CCn

​

​

​

학습결과 목표

학습 중심

.

.

.

교육전략과 작업 순서

작업 설정

학습분석 질문

CC1를 위한 교육전략

CCn를 위한 교육전략

.

.

.

학습 / 집단 / 개인

학습과제 1

학습과제 n

기간

자원

기술 활용

.

.

.

코스 수준 질문

CC 수준 질문

작업 수준 질문

학습분석 솔루션

기술적 분석

추론적 분석

시간적 분석

사회연결망 분석

.

.

.

1.학습설계 삼각형 기초

2. 커리큘럼 구성 요소 순서 결정

3. 교육전략 작업 순서 결정

4. 각 학습과제에 따른 작업 설정 설계

5. 학습분석 핵심 질문 설정

및 6. 솔루션 선택

7. 정합성 확인

교육철학

08/01/2022 권현지

고급 교육학

교육전략

교육전술

- 17 -

18 of 26

구현 방법 설명

1. 학습설계(LD) 삼각형(LDT)의 기초 & 2. CC 순서 결정

08/01/2022 권현지

학습결과 (LO)

교육적 접근

수행 기준 (DP)

커리큘럼 구성요소 (CC)

CC1

​

​

​

​

DK : 핵심 영양분

DS :조사 질문 작성

GS : 학습목표 설정

학습목표 기반 조사 질문 작성

CC5

​

​

​

​

​

DK : 변수

DS : 과학적 추론

GS : 자기평가, 개선

자기평가, 개선 기반

데이터 분석과 결과 해석

.

.

.

  • (예시) The Science of Cooking

DK : 5가지 핵심 영양분

DS : 과학적 조사 기술

GS : 자기 주도적 학습 기술

조사 질문 작성

연구 및 가설 제시

실험 설계 및 실행

.

.

.

학습목표 설정

자가 계획

자가 모니터링

자기 평가 및 개선

- 18 -

19 of 26

구현 방법 설명

3. 커리큘럼 구성에 대한 교육 전략 및 작업 순서 결정

08/01/2022 권현지

커리큘럼 구성요소 (CC)

CC1

​

​

​

​

DK : 핵심 영양분

DS :조사 질문 작성

GS : 학습목표 설정

학습목표 기반 조사 질문 작성

CC5

​

​

​

​

​

DK : 변수

DS : 과학적 추론

GS : 자기평가, 개선

자기평가, 개선 기반

데이터 분석과 결과 해석

.

.

.

교육전략

과학 현상에 관한 관찰 및 성찰

.

.

.

실험 결과에 대한 자기 평가 및 성찰

  • (예시) The Science of Cooking

작업 순서

학생들은 제시된 시나리오를 관찰

.

.

.

학생들은 조사 질문을 작성하고 학급에 공유

정보 수용 및 해석

대화를 통한 탐색

개념적/시각적 인공물 구성

성찰

- 19 -

20 of 26

구현 방법 설명

4. 학습 과제별 업무 작업 설정 설계

08/01/2022 권현지

번호

작업 유형

정보 수용 및 해석

1

작업명

학생들은 제시된 시나리오를 관찰

2

작업설명

학생의 동기를 높이고 문제 맥락을 이해할 수 있도록 지원

3

평가 작업에 해당하는지

평가 작업에 해당하지 않음

4

사회 조직

개인

5

피드백

자동화된 피드백

6

동기 부여

개인 차원

7

기간 (분)

5

8

환경

대면(교실)

9

자원

비디오, 웹사이트, 뉴스, 워크시트

10

도구

LMS

11

메모 및 관찰

시나리오와 학습 자원은 학습자에게 진정성 있게 느껴져야 함

- 20 -

21 of 26

구현 방법 설명

5. 학습분석 핵심 질문 결정

08/01/2022 권현지

교육적 의사결정 수준

학습분석 측정

코스 수준

커리큘럼 요소 수준

작업 수준

코스 성과

코스 참여 총합

코스 만족도

학습 결과 성취 요소

구성 요소 전반에 걸친 학생 참여 측정

구성 요소 전반에 걸친 재개 경로 리뷰

지원 환경 만족도와 수용된 가치

평가 작업의 성취물

집단 상호작용 역동

학습분석 질문 예시

학생들은 특정 영양소에 대한 지식을 습득합니까?

학생들은 각 온라인 활동과 학습자원에 얼마나 접근합니까?

학생들은 코스 설계에 만족합니까?

학생들은 스스로 학습 목표를 설정할 수 있습니까?

학생들은 의도한 순서대로 각 구성요소에 접근합니까?

어떤 구성 요소가 다른 구성 요소에 대한 학생의 검토를 유발합니까?

학생들은 자원에 만족합니까? 그것들이 유용하다고 생각합니까?

학생들은 특정 영양소에 관한 지식을 습득합니까?

학생들은 좋은 질문을 만들기 위해 그룹에서 어떻게 상호작용 합니까?

- 21 -

22 of 26

구현 방법 설명

6. 학습분석 솔루션 선택

수집할 데이터

프로젝트 성과

LMS 참여 데이터

설문조사

종료 후 제출한 과제

각 세션간 학생 교류

리소스 접근 데이터, 설문조사

제출한 성과물

포럼의 학생 게시물

학습분석 기술

기술/추론적 분석

기술/추론/시간적 분석

사회연결망/시간적 분석

기술/내용 분석

사회연결망 분석/담화 분석

교육적 의사결정 수준

학습분석 측정

코스 수준

커리큘럼 요소 수준

작업 수준

코스 성과

코스 참여 총합

코스 만족도

학습 결과 성취 요소

구성 요소 전반에 걸친 학생 참여 측정

구성 요소 전반에 걸친 재개 경로 리뷰

지원 환경 만족도와 수용된 가치

평가 작업의 성취물

집단 상호작용 역동

기술/추론적 분석

기술/추론적 분석

각 세션간 학생 교류

사회연결망/시간적 분석

기술/시간적 분석

08/01/2022 권현지

- 22 -

23 of 26

구현 방법 설명

7. 정합성(Alignment) 확인

08/01/2022 권현지

08/01/2022 권현지

교육적 의사결정 수준

학습분석 측정

데이터 유형

학습분석 기능성

학습분석 기술

이해관계자들

코스 수준

커리큘럼 요소 수준

작업 수준

코스 성과

코스 참여 총합

코스 만족도

학습 결과 성취 요소

구성 요소 전반에 걸친 학생 참여 측정

구성 요소 전반에 걸친 재개 경로 리뷰

지원 환경 만족도와 수용된 가치

평가 작업의 성취물

집단 상호작용 역동

시험 점수

LMS 로그데이터

학생 설문지

점수 정합성

LMS 로그데이터

LMS 로그데이터

퀴즈 점수

집단 토론 담화

예측

설계 기반 피드백

학습자 중심 피드백

예측

설계 기반 피드백

학습자 중심 피드백

예측

설계 기반 피드백

학습자 중심 피드백

기술적 분석

추론적 분석

기술적 분석

사회연결망 분석

글쓰기 분석

내용 분석

담화 분석

사회연결망 분석

관리자

학습 설계자

학습자/교수자

학습 설계자

학습자/교수자

학습 설계자

학습자/교수자

- 23 -

24 of 26

구현 방법 설명

7. 정합성(Alignment) 확인

CC1

​

​

​

학습결과 (LO)

교육적 접근

수행 기준 (DP)

커리큘럼 구성요소 (CC)

학습결과 목표

학습 중심

CCn

​

​

​

학습결과 목표

학습 중심

.

.

.

교육전략과 작업 순서

작업 설정

학습분석 질문

CC1를 위한 교육전략

CCn를 위한 교육전략

.

.

.

학습 / 집단 / 개인

학습과제 1

학습과제 n

기간

자원

기술 활용

.

.

.

코스 수준 질문

CC 수준 질문

작업 수준 질문

학습분석 솔루션

기술적 분석

추론적 분석

시간적 분석

사회연결망 분석

.

.

.

1.학습설계 삼각형 기초

2. 커리큘럼 구성 요소 순서 결정

3. 교육전략 작업 순서 결정

4. 각 학습과제에 따른 작업 설정 설계

5. 학습분석 핵심 질문 설정

및 6. 솔루션 선택

7. 정합성 확인

교육철학

고급 교육학

교육전략

교육전술

08/01/2022 권현지

- 24 -

25 of 26

논의 및 결론

08/01/2022 권현지

  • 학습설계(LD)와 학습분석(LD)을 연결
    • 학습 설계의 복잡하고 다중적 성격과 일치하는 계층적 구조 제시
    • 서로 다른 LD 수준에서 LD 결정을 위한 명시적 연결과 지침 제공
    • LA 분류법과 LA 설계 결정을 LD 프레임워크와 프로세스에 통합
    • TPACK을 포함하는 LD 패턴을 작성/문서화함
    • 교수자가 핵심 교육적 결정에 집중할 수 있도록 LD 프로세스를 운영하기 위한 절차적 가이드 제공

​

  • 이론과 실제 사이의 격차를 해소

​

  • 이 프레임워크를 적용하여 실제 실행한 경험적 연구가 필요

- 25 -

26 of 26

08/01/2022 권현지

End of Document

Thank You

- 26 -