LX index как прокси-метрики СR
LX и CR: Исследование связи учебного опыта студентов и доходимости
Студенты программы “Цифровые профессии”
2023
2
Почему одни студенты успешно доходят до конца обучения, а другие бросают учебу на полпути?
Мы уже проводили подобное исследование в 2022. Тогда у нас была небольшая выборка студентов из направления программирования.
Сейчас у нас есть выборка 20 000+ студентов, которые прошли путь обучения от начала и до конца и в процессе учебы заполняли LX index.
4
слайд 6 | Ключевые понятия |
слайд 15 | Методология исследования |
слайд 21 | Результаты исследования |
слайд 62 | Выводы исследования |
слайд 74 | Приложение |
Содержание
Ключевые понятия
5
1
6
CR –
метрика завершаемости программы. Показывает долю студентов, успешно дошедших до конца программы обучения.
В исследовании мы использовали три статуса CR:
Completion rate
7
LX index –
Learning Experience index
Компоненты учебного опыта: �вид снаружи (как видим мы) = внешние компоненты
8
Части учебной программы
Теория на платформе
Задания в тренажере
Проект
Команда сопровождения
Наставник
Ревьюер
Куратор
Связность платформы - тренажера - проекта
Работа всей команды сопровождения
Сообщество студентов
Общее впечатление
Интерактивный учебник, задания, материалы, с которыми имеет дело студент во время обучения
Люди, с которыми студент взаимодействует во время обучения
Формируют ли части учебной программы консистентный опыт?
Впечатление от всей команды, с которой взаимодействует студент
Компонент, на который мы не можем влиять непосредственно, но он влияет на качество опыта студента
Общее впечатление обо всех частях программы и людях
Компоненты учебного опыта: �вид изнутри (как видит студент) = внутренние компоненты
9
Организованность | Студенту непонятно, есть ощущение беспорядка, неясности | | Студенту понятно, он чувствует, что процесс хорошо организован |
Практическая ценность | Студент ощущает, что его знания неприменимы к реальной жизни, а учебные активности - бесполезны | | Студент чувствует, что получает практические знания и навыки, чувствует пользу от учебы |
Оптимальная сложность | Студент ощущает, что учеба непосильно сложна для него / нее | | Студент ощущает, что может справиться с текущем уровнем сложности учебы |
| | | |
Интерес | Студенту скучно | | Студенту интересно |
Отсутствие раздражителей | Что-то вызывает раздражение студента | | Нет раздражающих факторов в учебном процессе |
Теплота | Студент не чувствует заботу и теплое отношение | | Студент чувствует заботу и теплое отношение |
Рациональная сторона
Эмоциональная сторона
–
+
10
LX метрики
| Теория на платформе | Проект | Наставник | Ревьюер | ... |
Организованность | | | | | |
Практическая ценность | | | | | |
Оптимальная сложность | | | | | |
Интерес | | | | | |
... | | | | | |
Внешние компоненты
Внутренние
компоненты
LX метрики находятся
на пересечении внутренних и внешних компонентов учебного опыта
Пример: метрика
Практическая ценность проекта
11
Метрики LX index
Базовые метрики | Общее впечатление | Теория на платформе | Задания в тренажере | Проект | Связность платформы - тренажера - проекта | Наставник | Ревьюер | Куратор | Работа всей команды сопровождения | Сообщество студентов |
Организованность | | | | | | | | | | |
Практическая ценность | | | | | | | | | | |
Оптимальная сложность | | | | | | | | | | |
Интерес | | | | | | | | | | |
Отсутствие раздражителей | | | | | | | | | | |
Теплота | | | | | | | | | | |
МЕТА-метрики | Общее впечатление от спринта | | Уверенность в своих знаниях и навыках | | Желание продолжать | |
60 базовых метрик
3 мета метрики
Методология исследования
12
2
13
Основные гипотезы
��
Напомним, в предыдущем исследовании на эту тему разница между закончившими учебу и отвалившимися была именно в “Уверенности в знаниях”.
Поэтому её мы выделили отдельной гипотезой. Но смотрим на весь LX index всё равно.
Выборка�
Профессия | Выпускник | Отчислен | Учится | Всего |
backend-developer | 291 | 1537 | 1571 | 3399 |
cpp | | 176 | 178 | 354 |
data-analyst | 992 | 857 | 928 | 2777 |
data-analyst-plus | | 58 | 126 | 184 |
data-scientist | 530 | 797 | 1267 | 2594 |
data-scientist-plus | | 21 | 37 | 58 |
go-advanced | 14 | 18 | 37 | 69 |
graphic-designer | 322 | 104 | 315 | 741 |
interface-designer | 60 | 150 | 562 | 772 |
internet-marketing-start | 612 | 572 | 738 | 1922 |
it-recruiter | 426 | 27 | | 453 |
java-developer | | 304 | 372 | 676 |
landings-design | 214 | 89 | 94 | 397 |
middle-frontend | 105 | 160 | 53 | 318 |
project-manager | 700 | 150 | 651 | 1501 |
qa-automation-engineer-java | 205 | 57 | 29 | 291 |
qa-engineer | 2338 | 1016 | 332 | 3686 |
qa-engineer-plus | | 76 | 181 | 257 |
traffic-manager | 281 | 79 | 36 | 396 |
web | | 568 | 967 | 1535 |
Всего | 7 090 | 6 816 | 8 474 | 22 380 |
20 000 + студентов, участники программы “Цифровые профессии”, 2021-2022
16
Схема исследования�
Для целей исследования мы взяли две “контрастные” группы: студентов, которые на момент проведения исследования (август 2023) дошли до конца программы курса, и студентов, которые были отчислены.
�Мы сравнили оценки последнего опросника LX index, который они заполняли (Mann–Whitney U test).
Посчитали уровень значимости различий промоутеров и детракторов по каждому компоненту учебного опыта и размер эффекта (d Коэна).
17
Этапы исследования
Сбор данных
На какой выборке провести исследования? Данные за какой период собрать? Как сделать так, чтобы выводы можно было бы экстраполировать на всех студентов?
Разведочный анализ
Как описать данные? Какие в них можно заметить закономерности?
Статистические методы: Описательные статистики (среднее, медиана, разброс и т.д.)
Поиск связей
Какие из данных связаны друг с другом и как?
Статистические методы: Корреляции
Проверка гипотез
Подтверждается ли гипотеза? Какие выводы можно сделать из этих данных?
Статистические методы: Mann–Whitney U test, вычисление размер эффекта (cohen’s D)
Формулирование выводов
Какие практические выводы мы можем сделать из этих результатов? Какие гипотезы для дальнейших исследований мы можем сформулировать?
Практическое применение
Начать делать что-то по-другому!
Результаты исследования
18
3
19
3а. Результаты исследования��Разведочный анализ: Описательные статистики
20
20
Сравнение средних�
1,08
1,09
1,21
1,19
1,33
0,63
1,17
0,70
1,09
0,67
0,61
1,29
0,89
1,14
0,97
-0,09
0,25
0,81
Общее впечатление | |
Уверенность в знаниях | |
Желание продолжать | |
Организованность | |
Практическая ценность | |
Оптимальная сложность | |
Интерес | |
Отсутствие раздражения | |
Теплота | |
-2
-1
0
+1
+2
Закончившие
Отвалившиеся
Если смотреть среднее арифметическое по LX метрикам, то уже видно несколько трендов:
Среднее по метрикам LX index
по профессиям�
Профессия | X�Общее впечатление | Y�Уверенность в знаниях | Z�Желание продолжать | A0�Организованность | B0�Практическая ценность | C0�Оптимальная сложность | D0�Интерес | E0 Отсутствие раздражения | F0�Теплота |
backend-developer | 0,76 | 0,80 | 1,39 | 1,00 | 1,20 | 0,40 | 1,07 | 0,42 | 0,90 |
cpp | 0,57 | 0,73 | 1,12 | 0,67 | 1,03 | -0,13 | 0,79 | 0,02 | 0,75 |
data-analyst | 0,60 | 0,78 | 1,38 | 0,80 | 1,09 | 0,04 | 0,82 | 0,23 | 0,78 |
data-analyst-plus | 0,85 | 0,80 | 1,50 | 1,20 | 1,10 | 0,37 | 0,87 | 0,64 | 1,02 |
data-scientist | 0,73 | 0,74 | 1,29 | 0,93 | 1,07 | 0,39 | 0,85 | 0,42 | 0,82 |
data-scientist-plus | 0,78 | 0,89 | 1,47 | 0,98 | 1,29 | 0,07 | 1,22 | 0,69 | 0,91 |
go-advanced | 0,79 | 0,91 | 1,30 | | 1,30 | -0,39 | | | 1,60 |
graphic-designer | 1,38 | 1,29 | 1,76 | 1,53 | 1,81 | 0,79 | 1,53 | 0,90 | 1,47 |
internet-marketing-start | 1,04 | 0,98 | 1,49 | 1,18 | 1,27 | | 1,18 | 0,60 | 1,12 |
it-recruiter | 1,79 | 1,67 | 1,77 | 1,80 | 1,75 | 1,56 | 1,68 | 1,52 | 1,67 |
java-developer | 0,90 | 0,92 | 1,48 | 0,99 | 1,27 | 0,27 | 1,07 | 0,60 | 0,92 |
middle-frontend | 0,77 | 0,87 | 0,70 | 0,54 | 1,25 | 0,18 | 0,87 | 0,30 | 0,57 |
project-manager | 1,56 | 1,33 | 1,25 | 1,58 | 1,47 | 1,35 | 1,49 | 1,27 | 1,56 |
qa-automation-engineer-java | 0,88 | 0,64 | 1,07 | 0,90 | 0,88 | -0,01 | 0,86 | 0,05 | 0,65 |
qa-engineer | 1,14 | 1,21 | 0,95 | 1,21 | 1,38 | 0,33 | 1,21 | 0,57 | 1,00 |
qa-engineer-plus | 0,82 | 0,89 | 1,54 | 0,84 | 1,30 | 0,33 | 1,05 | 0,39 | 0,75 |
traffic-manager | 0,88 | 0,78 | 1,22 | 1,05 | 1,31 | | 1,29 | 0,79 | 1,19 |
web | 0,76 | 0,82 | 1,28 | 0,90 | 1,21 | 0,30 | 0,97 | 0,45 | 0,93 |
Процент негативных ответов по метрикам
LX index по профессиям�
Профессия | X�Общее впечатление | Y�Уверенность в знаниях | Z�Желание продолжать | A0�Организованность | B0�Практическая ценность | C0�Оптимальная сложность | D0�Интерес | E0 Отсутствие раздражения | F0�Теплота |
backend-developer | 36% | 35% | 17% | 26% | 23% | 50% | 25% | 47% | 33% |
cpp | 41% | 35% | 27% | 36% | 27% | 67% | 35% | 60% | 36% |
data-analyst | 43% | 37% | 17% | 31% | 25% | 60% | 33% | 53% | 38% |
data-analyst-plus | 33% | 32% | 13% | 17% | 25% | 51% | 31% | 36% | 27% |
data-scientist | 41% | 40% | 23% | 29% | 29% | 50% | 34% | 49% | 36% |
data-scientist-plus | 33% | 29% | 16% | 24% | 18% | 58% | 20% | 33% | 24% |
go-advanced | 38% | 34% | 21% | | 21% | 79% | | | 20% |
graphic-designer | 14% | 19% | 4% | 11% | 4% | 29% | 8% | 29% | 10% |
internet-marketing-start | 25% | 28% | 11% | 18% | 18% | | 20% | 38% | 24% |
it-recruiter | 3% | 8% | 5% | 3% | 4% | 9% | 6% | 10% | 7% |
java-developer | 31% | 33% | 15% | 25% | 21% | 54% | 25% | 41% | 32% |
middle-frontend | 27% | 21% | 30% | 35% | 10% | 46% | 20% | 42% | 34% |
project-manager | 8% | 15% | 21% | 6% | 10% | 14% | 9% | 18% | 8% |
qa-automation-engineer-java | 30% | 39% | 28% | 28% | 35% | 63% | 32% | 59% | 43% |
qa-engineer | 18% | 15% | 32% | 14% | 13% | 48% | 14% | 41% | 25% |
qa-engineer-plus | 32% | 26% | 6% | 26% | 13% | 49% | 21% | 45% | 34% |
traffic-manager | 31% | 28% | 16% | 19% | 14% | | 14% | 34% | 16% |
web | 37% | 35% | 21% | 29% | 22% | 53% | 29% | 47% | 32% |
Представим данные по-другому.
Например, с какой уверенностью в знаниях от нас уходят студенты разных процессий?
25
it-recruiter | | 92% | 8% |
project-manager | | 85% | 15% |
qa-engineer | | 85% | 15% |
graphic-designer | | 81% | 19% |
middle-frontend | | 79% | 21% |
qa-engineer-plus | | 74% | 26% |
traffic-manager | | 72% | 28% |
internet-marketing-start | | 72% | 28% |
data-scientist-plus | | 71% | 29% |
data-analyst-plus | | 68% | 32% |
java-developer | | 67% | 33% |
go-advanced | | 66% | 34% |
web | | 65% | 35% |
backend-developer | | 65% | 35% |
cpp | | 65% | 35% |
data-analyst | | 63% | 37% |
qa-automation-engineer-java | | 61% | 39% |
data-scientist | | 60% | 40% |
Уверенность в знаниях в конце обучения�
:)
:(
Уверенность повысилась
Уверенность понизилась /
не изменилась
Наиболее уверенными в себе от нас уходят IT рекрутеры. А наименее – специалисты по data science.
И давайте рассмотрим сложность – самую строго оцениваемую метрику.
27
Ощущение сложности�
:)
:(
Ок, справляюсь!
Мне слишком сложно
it-recruiter | | 91% | 9% |
project-manager | | 86% | 14% |
graphic-designer | | 71% | 29% |
middle-frontend | | 54% | 46% |
qa-engineer | | 52% | 48% |
qa-engineer-plus | | 51% | 49% |
backend-developer | | 50% | 50% |
data-scientist | | 50% | 50% |
data-analyst-plus | | 49% | 51% |
web | | 47% | 53% |
java-developer | | 46% | 54% |
data-scientist-plus | | 42% | 58% |
data-analyst | | 40% | 60% |
qa-automation-engineer-java | | 37% | 63% |
cpp | | 33% | 67% |
go-advanced | | 21% | 79% |
Самая большая доля студентов, которым мучительно сложно – на курсе go advanced. Самая маленькая – на курсе IT рекрутер.
29
3б. Результаты исследования��Поиск связей: Корреляции между вопросами LX index
Теперь давайте посчитаем корреляции.��Корреляция обозначает связь между двумя величинами. Но не всегда причинно-следственную.
31
Корреляции между метриками LX index�
0,76 | Интерес (среднее по группе вопросов D) |
0,74 | Организованность (среднее по группе вопросов A) |
0,73 | Теплота (среднее по группе вопросов F) |
0,72 | Практическая ценность (среднее по группе вопросов B) |
0,52 | Отсутствие раздражения (среднее по группе вопросов E) |
0,44 | Оптимальная сложность (среднее по группе вопросов C) |
0,71 | Интерес (среднее по группе вопросов D) |
0,70 | Практическая ценность (среднее по группе вопросов B) |
0,67 | Организованность (среднее по группе вопросов A) |
0,66 | Теплота (среднее по группе вопросов F) |
0,45 | Отсутствие раздражения (среднее по группе вопросов E) |
0,41 | Оптимальная сложность (среднее по группе вопросов C) |
0,59 | Интерес (среднее по группе вопросов D) |
0,59 | Практическая ценность (среднее по группе вопросов B) |
0,56 | Теплота (среднее по группе вопросов F) |
0,53 | Организованность (среднее по группе вопросов A) |
0,38 | Отсутствие раздражения (среднее по группе вопросов E) |
0,33 | Оптимальная сложность (среднее по группе вопросов C) |
0,74
0,72
0,44
0,76
0,52
0,73
Общее впечатление Чем выше общее впечатление от обучения, тем выше: | Уверенность в знаниях Чем выше уверенность студента в своих знаниях, тем выше: | Желание продолжать Чем выше желание продолжать обучение, тем выше: |
0,71
0,70
0,67
0,66
0,45
0,41
0,59
0,59
0,56
0,53
0,38
0,33
С уверенностью в знаниях больше всего коррелирует интерес и практическая ценность – то есть чем сильнее студент чувствует интерес и практическую пользу от обучения, тем выше его уверенность в знаниях.
А с общим впечатлением сильнее всего коррелируют тот же интерес, а еще организованность и теплота. Чем сильнее студент чувствует, что ему в Практикуме интересно, понятно, плюс о нем тут действительно заботятся, тем выше его целостное мнение о курсе.
Давайте в другом разрезе посмотрим связи: что в контенте и сопровождении сильнее всего коррелирует с мета-метриками?
34
Корреляции мета-метрик с контентом и сопровождением�
| Контент |
0,68 | Теория на платформе (среднее по группе вопросов 1) |
0,67 | Проект (среднее по группе вопросов 3) |
0,62 | Связь теории и практики (среднее по группе вопросов 4) |
0,59 | Задания в тренажере (среднее по группе вопросов 2) |
| Сопровождение |
0,63 | Вся команда сопровождения (среднее по группе вопросов 8) |
0,53 | Наставник (среднее по группе вопросов 5) |
0,52 | Куратор (среднее по группе вопросов 7) |
0,46 | Ревьюер (среднее по группе вопросов 6) |
Общее впечатление Чем выше общее впечатление от обучения, тем выше оценивается: | Уверенность в знаниях Чем выше уверенность студента в своих знаниях, тем выше оценивается: | Желание продолжать Чем выше желание продолжать обучение, тем выше оценивается: |
| Контент |
0,64 | Проект (среднее по группе вопросов 3) |
0,61 | Теория на платформе (среднее по группе вопросов 1) |
0,59 | Связь теории и практики (среднее по группе вопросов 4) |
0,5 | Задания в тренажере (среднее по группе вопросов 2) |
| Сопровождение |
0,58 | Вся команда сопровождения (среднее по группе вопросов 8) |
0,5 | Куратор (среднее по группе вопросов 7) |
0,48 | Наставник (среднее по группе вопросов 5) |
0,44 | Ревьюер (среднее по группе вопросов 6) |
| Контент |
0,52 | Проект (среднее по группе вопросов 3) |
0,48 | Теория на платформе (среднее по группе вопросов 1) |
0,48 | Связь теории и практики (среднее по группе вопросов 4) |
0,41 | Задания в тренажере (среднее по группе вопросов 2) |
| Сопровождение |
0,54 | Вся команда сопровождения (среднее по группе вопросов 8) |
0,45 | Куратор (среднее по группе вопросов 7) |
0,42 | Наставник (среднее по группе вопросов 5) |
0,37 | Ревьюер (среднее по группе вопросов 6) |
0,68
0,67
0,62
0,59
0,63
0,53
0,52
0,46
0,64
0,61
0,59
0,50
0,58
0,50
0,48
0,48
0,48
0,44
0,52
0,41
0,54
0,45
0,42
0,37
В контенте “лидирует” проект – именно он сильнее всего коррелирует с уверенностью в знаниях и желанием продолжать. Да и с общим впечатлением тоже, вместе с теорией на платформе.
А в сопровождении “лидер” – собирательный образ вся команда сопровождения. Как будто люди Практикума “сваливаются” в сознании студентов в некое единое представление.
36
3в. Результаты исследования��Проверка гипотез: Сравнение групп “закончивших” и “отвалившихся”
Мы рассматриваем контрастные группы – закончивших и отвалившихся.
Рассчитываем размер эффекта LX метрик на CR статус и уровень его значимости.
Чуть напомним, что такое эффект d Коэна. В этом исследовании мы визуализировали его в виде барометра, как в известных по всему миру книгах.
Размер эффекта сравнения групп�
0
0,2
0,5
0,8
отрицательный эффект
(меньше 0)
пренебрежимый эффект
(от 0 до 0,2)
небольшой эффект
(от 0,2 до 0,5)
средний эффект
(от 0,5 до 0,8)
большой эффект (более 0,8)
Эффект d Коэна
Стандартизованная разность между средними двух выборок
Что такое эффект сравнения групп?
Среднее первой выборки
Среднее второй выборки
размер эффекта
Для иллюстрации эффекта, мы показываем нормальное распределение (кривую Гаусса). В реальности данные не всегда распределены точно так же. Но принцип от этого не меняется.
Размер эффекта сравнения групп
размер эффекта: 0 (эффект отсутствует)
размер эффекта: 0,2 (эффект небольшой)
размер эффекта: 0,5 (эффект средний)
размер эффекта: 0,8 (эффект большой)
Итак, проверяем гипотезы:
42
Мета-метрики и их влияние на СR�
Z
Общее впечатление
Уверенность
в знаниях
Желание продолжать
0,49
0,55
-0,02*
Уровень значимости
Значимые эффекты (p ≤ 0.05) обозначены цветом
�Не значимые эффекты (p ≥ 0.05) обозначены звездочкой *
Размер эффекта
Большой эффект
(выше 0,8)
Средний эффект
(0.5 - 0,8)
Небольшой эффект (0,2 - 0.5)
Пренебрежимый эффект (ниже 0,2)
Группа закончивших значимо отличается от группы отвалившихся по уверенности в своих знаниях (один из наибольших размеров эффекта из всех компонентов LX!)
Группа закончивших значимо отличается от группы отвалившихся по общему впечатлению от обучения.
И группы не отличаются по желанию продолжать (эффект не значим)
Y
X
43
Метрики LX index и их влияние на СR�
0,35
0,26
0,65
0,27
0,39
0,28
Организованность
Закончившие студенты оценивают обучение как более понятное, структурированное, организованное, чем отвалившиеся
Практическая ценность
Закончившие студенты оценивают обучение как более практически ценное, привязанное к реальной профессиональной жизни, чем отвалившиеся
Уровень значимости
Значимые эффекты (p ≤ 0.05) обозначены цветом
�Не значимые эффекты (p ≥ 0.05) обозначены звездочкой *
Размер эффекта
Большой эффект
(выше 0,8)
Средний эффект
(0.5 - 0,8)
Небольшой эффект (0,2 - 0.5)
Пренебрежимый эффект (ниже 0,2)
A0
B0
C0
D0
E0
F0
Оптимальная сложность
Отвалившиеся студенты воспринимают обучение как более сложное, чем закончившие (наибольший размер эффекта из всех компонентов LX)
Интерес
Закончившие студенты оценивают обучение как более интересное, чем отвалившиеся
Отсутствие раздражения
Отвалившиеся студенты отмечают большее раздражение от обучения, чем закончившие
Теплота
Закончившие студенты чувствуют больше заботы о себе, воспринимают обучение как более гладкое, чем отвалившиеся
44
Восприятие контента и сопровождения и их влияние на CR�
Уровень значимости
Значимые эффекты (p ≤ 0.05) обозначены цветом
�Не значимые эффекты (p ≥ 0.05) обозначены звездочкой *
Размер эффекта
Большой эффект
(выше 0,8)
Средний эффект
(0.5 - 0,8)
Небольшой эффект (0,2 - 0.5)
Пренебрежимый эффект (ниже 0,2)
Контент
Закончившие студенты в целом оценивают контент курса выше, чем отвалившиеся
0,44 Теория на платформе
0,43 Проект
0,41 Задания в тренажере
0,40 Связь теории и практики
Сопровождение
Закончившие студенты в целом оценивают сопровождение курса выше, чем отвалившиеся
0,37 Ревьюер
0,31 Наставник
0,27 Куратор
0,23 Вся команда сопровождения
Эффект есть практически у всех LX метрик – то есть студенты, закончившие обучение, отличаются от отвалившихся студентов примерно по всем компонентам учебного опыта.
Наибольшие размеры эффекта у мета-метрики “Уверенность в знаниях” и метрики “Оптимальная сложность”.
А вот у мета-метрики “Желание продолжать” нет никакого эффекта на СR. Единственной из всего LX index!
Обе гипотезы подтвердились.
Выводы исследования
46
4
47
Основные выводы
48
Студенты, успешно дошедшие до конца программы, отличаются от студентов, бросивших обучение, почти по всем метрикам LX index.
Различия между закончившими и отвалившимися есть по общему впечатлению, уверенности в знаниях, ощущению организованности, практической ценности, сложности, интереса, отсутствия раздражения и теплоты.
Первая гипотеза подтверждена.
49
Уверенность в знаниях имеет один из наибольших размеров эффекта на CR среди всех метрик LX.
Размер эффекта метрики “Уверенность в знаниях” средний, тогда как для большинства других метрик он небольшой.
Вторая гипотеза подтверждена.
50
Дополнительные выводы
51
Оптимальная сложность – метрика, которая имеет наибольший размер эффекта на CR среди всех метрик LX.
Наибольшее различие между закончившими и отвалившимися по ощущению сложности от обучения.
НО! Это не значит, что закончившим легко, а отвалившимся сложно! Сложность оценивается ниже всех остальных LX метрик.
Сложно всем – и закончившим, и отвалившимся. Но отвалившимся невыносим сложно.
52
Желание продолжать – единственная LX метрика, которая не имеет эффекта на CR.
Высказываемое студентами желание продолжать никак не связано с фактом прохождения учебы до конца.
Ирония.
53
Какая от этого будет польза – зависит от нас!
Приложение
Опросник
LX index
54
5
55
Вопросы опросника LX index. Мета-метрики
Общее впечатление от спринта | | | | | | |
X | У меня остались прекрасные впечатления от спринта | ◯ да | ◯ скорее да | ◯ не знаю | ◯ скорее нет | ◯ нет |
Уверенность в своих знаниях и навыках | | | | | | |
Y | Моя уверенность в своих знаниях значительно повысилась по сравнению с предыдущим спринтом | ◯ да | ◯ скорее да | ◯ не знаю | ◯ скорее нет | ◯ нет |
Желание продолжать | | | | | | |
Z | Я хочу дальше продолжать свою учебу в Практикуме | ◯ да | ◯ скорее да | ◯ не знаю | ◯ скорее нет | ◯ нет |
56
Вопросы опросника LX index. Базовые метрики
Организованность | |
A0 | Процесс обучения понятно организован и хорошо структурирован |
A1 | Теория на платформе описана логично и структурировано |
A2 | Задания в тренажере понятно сформулированы |
A3 | ТЗ для проекта понятно описано |
A4 | Я всегда понимаю, где описана теория, нужная мне для выполнения проекта |
A5 | Наставник ясно и структурировано излагает информацию на вебинарах и встречах |
A6 | Ревьюер дает понятную обратную связь по моему проекту, мне ясно, почему он предлагает те или иные правки |
A7 | Куратор четко и ясно отвечает на вопросы, если они возникают |
A8 | Я знаю, к кому из команды Практикума обратиться в случае, если возникают вопросы |
A9 | В Практикуме хорошо организован процесс общения и обмена знаниями студентов друг с другом |
Оптимальная сложность �(вопросы-перевёртыши) | |
C0 | Этот спринт был слишком сложным для меня |
C1 | Теоретическая часть этого спринта слишком сложная, я практически ничего не понял(а) |
C2 | Задания в тренажере очень сложные, мне тяжело было с ними справиться |
C3 | Задание для проектной работы чрезмерно трудное, по моему мнению |
C4 | Сложность практических заданий не соответствует сложности теории, которая была дана |
C5 | Наставник слишком сложно объясняет, многое остается мне непонятным после вебинара или встречи с ним(ней) |
C6 | Ревьюер дает комментарии к проекту, которые сложно понять и применить |
C7 | Куратор только больше запутывает своими ответами на вопросы и комментариями |
C8 | Сотрудники Практикума, которые должны помогать мне в учебном процессе, делают его только труднее для меня |
C9 | Общение с однокурсниками только вносит дополнительные сложности в мой учебный процесс |
Практическая ценность | |
B0 | Я получаю практические знания и навыки, которые пригодятся мне в работе |
B1 | Я уверен(а), что теория, изложенная в этом спринте, понадобится мне потом в работе |
B2 | Задания в тренажере похожи на реальные рабочие задачи |
B3 | Выполняя проектную работу этого спринта, я приобретаю нужные мне профессиональные навыки |
B4 | Теория, изложенная в этом спринте, пригодилась мне для выполнения моего проекта |
B5 | Наставник делится ценным практическим опытом и советами по решению задач |
B6 | Комментарии ревьюера были по-настоящему полезны для меня и помогли улучшить качество проекта |
B7 | Поддержка куратора очень помогает в учебном процессе, я всегда знаю, что могу обратиться и мой вопрос будет решен |
B8 | Работа всей команды сопровождения выстроена так, чтобы помогать мне в процессе обучения |
B9 | Общение с однокурсниками сильно помогает мне в учебе, я получаю много полезного для себя |
57
Вопросы опросника LX index. Базовые метрики
Интерес | |
D0 | Весь процесс обучения интересен и увлекателен |
D1 | Я с интересом читаю теорию на платформе |
D2 | Задания в тренажере нескучно решать |
D3 | Задача для проектной работы увлекательная и интересная |
D4 | Я с удовольствием выполняю задания и изучаю тему, т.к. все действительно интересно подано |
D5 | Я с интересом слушаю наставника на вебинарах и встречах |
D6 | Ревьюер дает интересные и ценные для меня комментарии к моему проекту |
D7 | С куратором интересно общаться |
D8 | Команда Практикума - это люди, с которыми интересно общаться |
D9 | Я с удовольствием и интересом общаюсь со своими однокурсниками |
Теплота � | |
F0 | Я вижу, что весь процесс обучения выстроен с заботой о студентах |
F1 | Я чувствую, что теория на платформе была написана с заботой и любовью к студентам |
F2 | Задания в тренажере продуманы так, чтобы студентам было приятно с ними работать |
F3 | Задача для проектной работы мне очень понравилась, было приятно ее выполнять |
F4 | Теоретическая часть и практические задания выстроены так, чтобы как можно более аккуратно и бережно привести студента к пониманию темы |
F5 | Встречи с наставником всегда проходят в тёплой, дружелюбной обстановке |
F6 | Комментарии ревьюера - поддерживающие и вдохновляющие |
F7 | Общение с куратором для меня приятное и воодушевляющее, я ощущаю заботу обо мне |
F8 | Работа всей команды сопровождения построена так, чтобы студент чувствовал, что ему здесь рады и его поддержат в его трудностях |
F9 | После общения с однокурсниками всегда так тепло и приятно |
Отсутствие раздражителей (вопросы-перевёртыши) | |
E0 | Я часто ощущаю недовольство и раздражение в процессе обучения |
E1 | Меня раздражает то, как описана теория на платформе |
E2 | Задания в тренажере вызывают чувство неудовлетворенности и раздражения |
E3 | Задание для проектной работы вызывает у меня чувство отторжения и раздражения |
E4 | Меня раздражает то, что знаний, данных в теоретической части, недостаточно для выполнения практических заданий |
E5 | Мне не нравится слушать моего наставника, я не доволен(на) вебинарами и встречами с ним(ней) |
E6 | Комментарии ревьюера раздражают и сердят меня |
E7 | Меня злит и расстраивает то, как куратор общается со мной и другими студентами |
E8 | Я злюсь, что команда сопровождения не помогает мне в обучении |
E9 | Мои однокурсники раздражают меня |
Черновики