1 of 54

2nd BLACK HOLE Day

교육과 데이터의 만남,

학습분석학 블랙홀데이에 초대합니다.

2023년 11월 18일(토) 10:00~11:30

주최:

2 of 54

TIME TABLE

10:00~10:10 STELA 소개와 질의응답 

10:10~11:00 STELAB 토크콘서트

11:00~11:30 STELA와 함께하는 티타임

3 of 54

STELA 소개와 질의응답

4 of 54

STELA

Society of Technology for Education and Learning Analytics

STELA에 방문하신 여러분 환영합니다.

5 of 54

01 STELA 기관 소개

02 미션과 비전

03 운영체계

04 프로그램

05 Q&A

목차

6 of 54

STELA는 데이터 기반의 교육 변화를 선도하는 연구 중심 비영리 오픈소스 플랫폼입니다.

첫째, 학습분석학 연구를 위한 학습 자료와 정보를 공유합니다.

둘째, 학습분석학 연구를 위한 교육과 연구 기회를 지원합니다.

셋째, S3(Shining / Sharp / Selfless) 문화를 형성합니다.

01. STELA 기관 소개

7 of 54

소규모 스터디

운영 시작

CoLA&EDM 스터디

2021. 2.

비영리임의단체

운영 시작

STELA 기관

2022. 4.

서울시 NPO 비영리스타트업 육성사업 선정

NPO 사업 선정

2022. 5.

STELAB 체제 도입

STELA 2.0 출범

2023. 3.

STELAB 1기

운영 완료

제1회 BLACK HOLE Day

2023. 6.

01. STELA 기관 소개

8 of 54

02. 미션과 비전

MISSION

교육계 사람들과 함께 데이터 기반의 교육 변화 선도

VISION

2027년, 세계 최대 개방형 자율 학습분석학 연구 공동체

CORE VALUE

Shining

#전문성 #다양성

Sharp

#명료함 #영리함

Selfless

#공유 #이타성

9 of 54

02. 미션과 비전

개방성

높은 기술 전문성

폐쇄성

낮은 기술 전문성

10 of 54

각 분야에서의 전문성을 존중하며 자율적인 시스템으로 운영됩니다.

03. 운영체계

[대표이사] 권현지

(현) 동국대학교 인적자원개발 전공 (박사 수료)

(전) 서울대학교 경력개발센터 (연구원)

[운영이사] 전영훈

(현) 업스테이지 (교육팀)

(전) 성남양지초등학교 (교사)

[홍보이사] 박유림

(현) 폭스에듀 전략기획실 (담당)

(전) 경희대학교 국제개발학 (석사)

[소통이사] 이재용

(현) 서울대학교 교육학과 (석사과정)

(전) 세종과학고등학교 (교사)

[기획이사] 이윤서

(현) 서울 풍납 초등학교 (교사)

(전) 서울시교육청 소속 (교사)

[개발이사] 엄주홍

(현) 서울 치현초등학교 (교사)

(전) 메이커교육실천 (리더)

[이사] 이웅기

(현) i-Scream Edu (NLP 개발자)

(전) 충청남도교육청 소속 (교사)

[개발이사] 성지훈

(현) 서울대학교 교육연구소 (연구원)

(전) 서울대학교 물리교육과 (학사)

[연구이사] 이하경

(현) UT at Austin (박사과정)

(전) 국비유학한림원

[고문] 이찬

(현) 서울대학교 평생교육원 (원장)

(전) 서울대학교 산업인력개발학 (교수)

[감사] 정경훈

(현) 서울대학교 물리학과 (박사과정)

(전) 네이버 부스트캠프 AI Tech (조교)

11 of 54

04. 프로그램

분기별로 BIGBANG Days부터 BLACK HOLE Day까지 STELAB을 운영합니다.

BIGBANG Days

STELAB 개설 준비

아이디어 구체화

팀장/팀원 모집

STELAB’s Journey

STELAB 출석 및 활동 현황 공유

별지기(운영진) 지원

BLACK HOLE Day

STELAB 결과 공유의 장

3, 6, 9, 12월 시작

분기별 진행

운영 (3개월)

준비 (1개월)

마무리 (1일)

12 of 54

  • STELA 커뮤니티에 참여하려면 어떤 조건이 필요한가요?
  • 다음 STELAB 팀장과 팀원 모집 시기는 언제인가요?

Q&A

★ STELAB 3기 운영 안내

  • 팀장 모집: 11/21(화)~12/3(일)
  • 팀원 모집: 12/6(수)~12/16(토)
  • 운영 기간: 12/18(월)~’24년 3/4(월)

13 of 54

STELA

Society of Technology for Education and Learning Analytics

감사합니다.

14 of 54

STELAB 토크콘서트

15 of 54

2023년 3분기 STELAB 운영 현황

운영 시간표

16 of 54

01 논문 리뷰 네트워킹

이윤서 팀장

17 of 54

매주 한 편씩, 학습분석학 논문을 읽고 서로의 의견을 나누는 모임입니다.

About us

STELAB: 01 논문 리뷰 네트워킹

18 of 54

  • 일시: 매주 목요일 오후 8시
  • 장소: STELA ZEP

개요

  1. 근황을 전하며 안부를 묻습니다.
  2. 참석한 스스로를 칭찬하며 발제를 듣거나 합니다.
  3. 공부한 내용을 바탕으로 자신이 처해있는 상황에 따라 가질 수 있는 다양한 의견을 교환합니다.
  4. 공부 자극을 받고, 다음 시간에도 꼭 만나기를 기원하며 해산합니다.

내용 및 방법

Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor

진행 방식

Activities

회차

일시

진행 여부

1

2023. 8. 24.

O

2

2023. 8. 31.

O

3

2023. 9. 7.

O

4

2023. 9. 14.

X

5

2023. 9. 21.

O

6

2023. 10. 12.

X

7

2023. 11. 4.

O

STELAB: 01 논문 리뷰 네트워킹

19 of 54

STELAB: 01 논문 리뷰 네트워킹

20 of 54

STELAB: 01 논문 리뷰 네트워킹

활동 결과

  • Detecting SMART Model Cognitive Operations in Mathematical Problem Solving
  • Data use for equity? How data practices incite deficit thinking in schools
  • Rich data, poor information? Teacher’s perceptions of mean differences in graphical feedback from statewide tests
  • Contextual Logging of On-Task and Off-Task behaviours during learning
  • TikTok as Learning Analytics Data

논문 총 5편 리뷰

21 of 54

STELAB: 01 논문 리뷰 네트워킹

(1) Detecting SMART Model Cognitive Operations in Mathematical Problem-Solving Process

  • building detectors that can infer behaviors associated with self-regulation
    • searching, monitoring, assembling, rehearsing, translating
  • purpose
    • embed in interventions that can make recommendations to students about strategies they are not currently using
    • reports for teachers on strategies to emphasize to the class
    • asset-based reports for teachers on what strategies their students are using

22 of 54

STELAB: 01 논문 리뷰 네트워킹

(2) Data use for equity?: How data practices incite deficit thinking in schools

Research Questions

  • How does the manner in which schools use data influence deficit thinking?
  • deficit thinking (교육 결과의 불평등이 학생들의 지적, 성격, 도덕, 문화적 결함으로 인한 것이라는 믿음)
  • 학교 및 교육자들이 공정성을 지원하고 모든 학생들에게 긍정적인 학습 결과를 제공할 수 있는 데이터 사용 방법 개발

Methods

  • Qualitative research (분석 메모 작성, 데이터와의 참여, 연구팀 간의 정기적인 대화, 그리고 다중 코딩의 여러 단계)

Results

  • 학교가 교육보다는 책임성 지표에 우선순위를 두는 경향
  • 학교가 데이터 사용을 단지 학생의 약점을 파악하는 데에만 집중하거나, 학생의 성취 데이터를 과도하게 강조하면서 학생에 대한 다른 잠재적으로 중요한 정보를 무시하고는 함
  • 학교가 데이터 사용과 관련된 고압적인 환경을 만들되, 교사들에게 데이터 사용 과정에 의미있게 참여할 수 있는 적절한 지원을 제공하지 않음.

23 of 54

STELAB: 01 논문 리뷰 네트워킹

(3) Rich data, poor information? : Teacher’s perceptions of mean differences in graphical feedback from statewide tests

< Research Goal>

  • 교사가 그래픽 디스플레이와 평균 차이의 크기를 얼마나 민감, 정확, 효율적으로 판단하는지 여부
  • 교사들이 같은 플롯 유형을 반복적으로 직면했을 때 어떻게 향상되는지 여부
  • 적절한 그래픽 묘사를 선택함으로써 이러한 인식과 개선이 촉진될 수 있는 방법

<Methods>

  • Dependent Variables: Sensitivity, Efficiency, Accuracy / Independent Variable: Variation of graph types
  • 다양한 그래프 유형의 차별적 가독성과 해당 그래프 유형을 반복적으로 다룰 때 교사들의 차별적 향상 곡선 조사

<Results>

민감도: 그래프 유형에 따라 민감도가 다름 (Jitter Graph에서 낮은 민감도), CBG가 높을 것이라 예상했으나 그렇지 않았음.

효율성: FBG에서 가장 오래 머무르고 JG에서 가장 적게 머무름. JG와 BSG는 초기 체류 시간이 높으나, 장기적으로는 체류 시간이 더 짧아짐.

정확성: quite high

24 of 54

STELAB: 01 논문 리뷰 네트워킹

(4) Contextualized Logging of On-Task and Off-Task Behaviours During Learning

  • searching for the real reasons of why learners used digital media during learning
    • on-task further study?
    • off-task break time?
  • Implementation of the system
    • accounting for the learning context
    • logging of multiple data sources and data donations
    • the annotation page
    • backend system
  • ??
    • using logging system vs. questionnaires
    • honest answer possibilities

25 of 54

STELAB: 01 논문 리뷰 네트워킹

(5) TikTok as Learning Analytics Data:

Framing Climate Change and Data Practices

Research Questions

  • TikTok에서 청소년들이 만든 비디오를 기후 변화와 관련된 해시태그의 의미망 분석(semantic network analytics)
  • 청소년들이 경험 데이터를 기후 변화 논의에 어떻게 통합하는지를 탐구

Methods

  • SLA(Social Learning Analytics) : 팔로우, 코멘트, 멘션을 통한 직접적 상호작용뿐만 아니라 해시태그와 검색을 통한 간접적 상호작용을 포함하여 타인과의 상호작용 속에서의 학습 행위를 분석

Results

26 of 54

윤서

  • 논리킹에 많은 시간을 할애하지 못해 아쉽습니다. 특히, 각자의 사정이 겹치면서 논리킹을 지속적으로 하지 못해 슬픕니다. 다음에는 더 지속적인 모임을 갖기 위한 방법을 강구해야겠습니다.
  • 더 다양하고 많은 사람들이 왔으면 좋았겠다는 생각이 있습니다. 기존보다 줄어든 인원으로 운영되니 아쉬웠습니다.

영훈

  • 조금 더 꾸준히 할 수 있었다면 좋았을텐데, 평일 저녁의 불확실성때문이었을까요, 그렇다면 주말로 옮겨야 하는 것일지 고민하게 되었습니다.
  • 셋이서 행복했지만 그래도 더 많은 사람들이 있었으면 좋았겠다~라는 생각도 들어요.

지혜

  • 평일 저녁에 일정이 있어 참여하기 어려운 상황들이 많았어서 함께했던 분들께 죄송한 마음입니다.
  • 사람이 많으면 좋았겠다… 뉴비라서 발제 준비 시간이 오래 걸려서 발제에 대한 부담이 있었습니다. 그래도 좋은 경험이었어요!

윤서

  • STELA의 정체성을 함께한다는 점에서 유의미했습니다. 특히, 지속적으로 LA 관련 이슈들을 캐치할 수 있었고 STELA와 연결되어있다는 느낌이 좋았습니다.
  • 발제 방식이 바뀌어 좋았습니다. 노션에 중요한 정보만 업로드하니 발제 부담이 많이 줄었어요.
  • 다양한 선생님들을 뵈어서 좋았습니다. 특히, 논리킹을 거의 실질적 리더로 운영해주신 영훈샘께 무한한 감사를 드립니다.

영훈

  • 많은 고비가 있었지만.. 그래도 끝까지 이름을 유지한 것 자체가 뿌듯합니다. 각자의 본업으로 정신 없어도 최선을 다한 것 같아요.
  • 학습분석학에 관심을 갖고 계시는 새로운 선생님을 만날 수 있었던 것도 좋았어요! 앞으로도 여러 선생님들께 널리 알려지면 좋겠다는 생각을 하게 되었습니다.

지혜

  • 학습분석학 뉴비로 논리킹에 참여해서 우왕좌왕 하고 있는 저를 이끌어준 두 분께 감사의 인사를 드립니다.
  • 다양한 논문을 보면서 하나씩 배워갈 수 있어 의미있는 시간들이었어요.

STELAB: 01 논문 리뷰 네트워킹

회고

좋았던 점

개선할 점

27 of 54

Q&A

STELAB: 01 논문 리뷰 네트워킹

28 of 54

02 Learning Analytics LAB

권현지 팀장

29 of 54

STELA와 (주)모두의연구소가 함께하는 학습분석학 연구 모임

About us

STELAB: 02 Learning Analytics LAB

30 of 54

STELAB: 02 Learning Analytics LAB

회차

일시

진행 여부

1

2023. 8. 23.

O

2

2023. 8. 30.

O

3

2023. 9. 4.

O

4

2023. 9. 11.

O

5

2023. 9. 18.

O

6

2023. 9. 25.

O

7

2023. 10. 13.

O

8

2023. 10. 16.

O

9

2023. 10. 23.

O

10

2023. 10. 30.

O

11

2023. 11. 13.

O

총 11회 진행 완료

31 of 54

STELAB: 02 Learning Analytics LAB

연구 일정

  • 1주차~2주차: OT, 연구 목적·주제 구체화
  • 2주차~4주차: 선행 연구 고찰
  • 4주차~6주차: 연구 설계
    • 9월 25일 (월): 연구 문제 확정
    • 10월 2일 (월): 방학
  • 6주차~10주차: 데이터 수집·분석 계획
    • 8주차: 데이터 수집 계획
    • 9주차: 데이터 수집 계획 검토 후 실행
    • 10주차: 데이터 수집 준비
  • 11주차~13주차: 데이터 수집·분석
    • 11주차: 데이터 수집 시작
    • 12주차: 데이터 수집 및 분석 시작
  • 13주차: 데이터 수집·분석 결과 정리
  • 14주차~16주차: 라이팅
  • 17주차: 투고

완료

32 of 54

STELAB: 02 Learning Analytics LAB

연구 개요

  • 연구 제목(가제)
    • Deploying Learning Analytics Models to Explore the Impact of Peer Learning and Gamification on Artificial Intelligence Literacy
  • 연구 목적
    • 동료학습과 게이미피케이션이 인공지능 리터러시에 미치는 영향을 탐구하기 위한 학습분석 모델을 개발하고 적용하는 것
  • 연구 참여 대상
    • 아이펠 6기 20~30명
  • 연구 방법
    • 추후 상세 설명
  • 예상되는 연구 결과
    • 동료학습과 게이미피케이션이 인공지능 리터러시에 미치는 영향 관계를 확인
  • 투고 예정 논문지
    • [SSCI] BRITISH JOURNAL OF EDUCATIONAL TECHNOLOGY

33 of 54

STELAB: 02 Learning Analytics LAB

연구 방법 상세

  • Participants
    • (주)모두의연구소 아이펠 6기 총 20~30명
  • Course description
    • 온라인 기반 열린 학습환경(open learning environments) 구성 요소에 기반하여 아이펠 6기 교육과정 서술
  • Research design
    • 다음의 링크 참고
  • Instrument
    • 동료학습 참여 LA 모델
    • Gamification에 관한 자기보고식 설문지
    • 인구통계학적 정보 응답 설문지
    • AI Literacy에 관한 자기보고식 설문지
  • Data analysis
    • 데이터 수집 후 논의 고도화 예정

34 of 54

  • 데이터 수집이 처음이다보니 제 스스로 여러모로 미숙한 점이 많이 느껴져 아쉬웠습니다.
  • 학습분석학이 처음이라 기초 지식이 없어 논문 읽기나 토론에서 미숙한 점이 있어 아쉬웠습니다.
  • 매주 현지님이 미팅 준비를 잘 해주셔서 원활하게 진행이 되었던 점이 좋았고, 의견 조율을 적극적으로 참여하도록 유도해주는 점도 좋았습니다!
  • 함께 논문을 읽으며 서로 다른 시각에서의 의견을 듣는 것이 유익했습니다.
  • LA에 대한 논문 공부를 통해 교육 분야에 딥러닝 적용에 대한 현실적인 것을 배울 수 있어서 좋았습니다 :)
  • 실질적인 교육기관의 데이터를 얻기가 참 어려울 때가 많았는데 모두연의 협조 덕분에 직접 얻을 수 있어서 감사하고 좋았습니다!
  • 토론을 통해서 연구 방향성을 정해가는 과정이 좋았습니다!
  • 각자의 다른 의견들을 나누며 연구 방향성을 잡아가는 것이 굉장히 흥미로웠고, 새로운 분야의 논문을 읽으면서 많은 것을 배울 수 있어 좋았습니다.
  • 환절기와 겨울을 맞이하게 되면서 여러모로 아프신데도 불구하고 모두 성실하게 참여해 주셔서 정말 감사하고, 많이 배웠습니다 :)

좋았던 점

개선할 점

STELAB: 02 Learning Analytics LAB

회고

35 of 54

Q&A

STELAB: 02 Learning Analytics LAB

36 of 54

03 To Be Updated

서웅 팀장

37 of 54

논문 출판을 목표로 하는

연구 모임입니다.

About us

STELAB: 03 To Be Updated

38 of 54

  • 일시: 매주 화요일 오후 9시
  • 장소: STELA ZEP

개요

  1. 신청자들끼리 모입니다.
  2. 간단한 자기소개와 소모임에 참여하게 된 목적을 말합니다.
  3. 공통된 연구주제나 목적이 있는 사람들끼리 팀을 이룹니다.
  4. 팀별로 가능한 시간에 자유롭게 연구를 진행하고 화요일 9시에는 진행상황을 공유합니다.

내용 및 방법

  1. 다이렉트 메세지와 디스코드 미팅을 통해 의견 나눔
  2. 역할과 기한을 정하고 수행
  3. 반복

진행 방식

Activities

STELAB: 03 To Be Updated

39 of 54

STELAB: 03 To Be Updated

활동 결과

40 of 54

STELAB: 03 To Be Updated

활동 결과

41 of 54

STELAB: 03 To Be Updated

*논문 1편 작성 완료:

교원행정업무 경감을 위한 생성형 AI 수용의 영향 요인 분석

*추가 1편 12월 중 작성 예정

활동 결과

42 of 54

  • 또한 서웅님과 수빈님이 선 진행하시는 프로젝트가 어떤 방식으로 학술적 협력이 이루어지는지에 대해서 관찰할 수 있었던 점이 관심 분야에 대한 접근이 막막했던 때에 참고할 수 있어서 좋았습니다.
  • 참여인원이 저조했습니다ㅜㅜ
  • 저 스스로 발전시키면서 논의할 주제를 먼저 찾고 함께 만들어가야 하는데 적극적으로 참여나 논의를 못한 점이 아쉽습니다. To be updated가 안되고 있었지만, 모임명처럼 좀더 분발을 해보겠습니다.
  • 우여곡절 끝에 논문 작성까지 완료되었네요. 이번 원고는 물론 다음 원고 출판까지 무사히 이어갔으면 좋겠습니다. 같이 수고해주신 장수빈 선생님께 감사드립니다!
  • 인공지능 관련 논문을 함께 작성하면서 제가 부족한 부분들을 함께 채울 수 있는 모임이 있어서 좋았습니다.
  • 논문을 작성해 보신 경험이 있는 분과 함께하니 작성하는 요령을 터득할 수 있어서 어렵게만 생각했던 학술지 작성을 편하게 할 수 있었습니다.
  • 비슷한 관심사를 갖고 있는 다른 분야의 사람들을 만날 수 있었습니다.

회고

좋았던 점

개선할 점

STELAB: 03 To Be Updated

43 of 54

Q&A

STELAB: 03 To Be Updated

44 of 54

04 Big Data & Education

전영훈 팀장

45 of 54

Big Data & Education

온라인 텍스트북을 매주 정해진

분량만큼 스스로 공부하는

모임입니다.

About us

STELAB: 04 Big Data & Education

46 of 54

  • 일시: 매주 토요일 오전 9시
  • 장소: STELA ZEP

개요

  1. 근황을 전하며 안부를 묻습니다.
  2. 참석한 스스로를 칭찬하며 오늘의 진도를 공부합니다.
  3. 공부한 내용 중 질의응답을 진행합니다.
  4. 다음 시간에도 꼭 만나기를 기원하며 해산합니다.

내용 및 방법

Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor

진행 방식

Activities

STELAB: 04 Big Data & Education

회차

일시

진행 여부

1

2023. 8. 12.

O

2

2023. 8. 19.

O

3

2023. 8. 26.

O

4

2023. 9. 2.

O

5

2023. 9. 9.

O

6

2023. 10. 7.

X

7

2023. 10. 14.

O

8

2023. 10. 21.

O

9

2023. 10. 28.

O

10

2023. 11. 4.

O

47 of 54

STELAB: 04 Big Data & Education

48 of 54

STELAB: 04 Big Data & Education

활동 결과

다 듣고!

다 풀었어요 🥰

49 of 54

영훈

  • 하지만 그래도 아무도 오지 않는다는 것은 외로운 일이니까요..모두가 함께할 수 있는 이상적인 시간대가 있긴 할까 고민해 보게 되었습니다. 더불어 너무 난이도가 높았나?!라는 회고도 해 보고 있습니다.

영훈

  • 주말 이른 아침 정해진 진도만큼 공부를 꾸준히 할 수 있다는 점이 좋았습니다. 혼자여도 계속 디스코드에 기록을 남기며 공부하니 괜시리 누군가 보고 있다는 느낌이 들어 포기하지 않게 되더라구요. 좋은 공부 자극제였습니다.

회고

좋았던 점

개선할 점

STELAB: 04 Big Data & Education

50 of 54

STELA와 함께하는 티타임

51 of 54

  • 팀장 모집: 11/21(화)~12/3(일)
  • STELAB 팀장 Q&A: 11/27(월) 저녁 9시 @STELA ZEP
  • 팀원 모집: 12/6(수)~12/16(토)
  • STELAB 운영기간: 12/18(월)~’24년 3/4(월)�*권장 방학: 12/24(일)~1/1(월)
  • BLACK HOLE Day: 3/9(토) @오프라인

연말&연초를 알차게 보내고 싶다면? Join us!

[공지] 4분기 STELAB 운영계획(안)

52 of 54

BLACK HOLE Day 단체사진

53 of 54

BLACK HOLE Day 단체사진

54 of 54

2nd BLACK HOLE Day

교육과 데이터의 만남,

학습분석학 블랙홀데이에 와주셔서 감사합니다.

2023년 11월 18일(토) 10:00~11:30

주최: