2 of 21

Основные вопросы разработки контрольных измерительных материалов для проведения оценочных процедур

Нормативные и теоретические основания разработки контрольных измерительных материалов для проведения оценочных процедур
Порядок разработки контрольных измерительных материалов для проведения оценочных процедур
Этапы разработки
Требования к структуре и элементам КИМ
Рекомендации по выполнению требований нормативных документов

Оценка предметных результатов - наиболее разработанное направление, поскольку традиционно ведётся каждым педагогическим работником в ходе процедур текущей, промежуточной и итоговой оценки, а также администрацией образовательной организации в ходе внутришкольного мониторинга.

В связи с обновлением ФГОС общего образования при определении содержания оценки предметных результатов необходимо обратить внимание на новые компоненты содержания по каждому учебному предмету и на обязательные планируемые результаты на конец каждого учебного года, отражённые во ФГОС общего образования и федеральных основных общеобразовательных программах.

Система заданий при проведении контрольно-оценочных процедур должна значительно активизировать организацию индивидуальной работы с обучающимися, повышать мотивацию обучающихся к достижению более высоких достижений в учебном процессе, актуализировать разработку и использование учебных и диагностических заданий и работ разной сложности.

В условиях обновления подходов к оценке качества общего образования особую актуальность приобретает задача разработки инструментария для объективного комплексного оценивания предметных и метапредметных планируемых результатов освоения основных образовательных программ общего образования.

Важнейшим условием эффективного использования результатов оценочных процедур является объективность результатов, получаемых при проведении этих процедур. Объективность, в свою очередь, достигается за счет обеспечения необходимых для этого условий на всех стадиях подготовки и проведения оценочной процедуры, в том числе, путем обеспечения валидности инструментария по отношению к тому, что оценивается, и надежности процедур (разработки инструментария, проведения исследования, обработки и анализа данных).

Другим важным условием, позволяющим проводить эффективный анализ результатов оценочных процедур, является наличие четкого описания этих процедур, позволяющего точно интерпретировать полученные результаты.

3 of 21

Нормативные и теоретические основания разработки контрольных измерительных материалов для проведения оценочных процедур

Федеральный закон Российской Федерации от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» (с изменениями и дополнениями);
Приказ Министерства просвещения Российской Федерации от 31.05.2021 № 286 «Об утверждении федерального государственного образовательного стандарта начального общего образования» (с изменениями и дополнениями);
Приказ Министерства просвещения Российской Федерации от 31.05.2021 № 287 «Об утверждении федерального государственного образовательного стандарта основного общего образования» (с изменениями и дополнениями);
Приказ Министерства просвещения Российской Федерации от 17.05.2012 № 413 (в редакциях Приказов Министерства просвещения РФ от 29.12.2014 № 1645, от 11.12.2020 № 712, от 12.08.2022 № 732) «Об утверждении федерального государственного образовательного стандарта среднего общего образования»;
Приказ Министерства просвещения Российской Федерации от 18.05.2023 № 372 «Об утверждении федеральной образовательной программы начального общего образования»;
Приказ Министерства просвещения Российской Федерации от 18.05.2023 № 370 «Об утверждении федеральной образовательной программы основного общего образования»;
Приказ Министерства просвещения Российской Федерации от 18.05.2023 № 371 «Об утверждении федеральной образовательной программы среднего общего образования»;
Письмо Минпросвещения России от 13.01.2023 № 03-49 «О направлении методических рекомендаций по системе оценки достижения обучающимися планируемых результатов освоения программ начального общего, основного общего и среднего общего образования»
Распоряжение Министерства образования и науки Самарской области от 08.02.2021 № 137-р «Об утверждении порядка обеспечения объективности проведения оценочных процедур результатов освоения общеобразовательных программ обучающимися образовательных организаций Самарской области»

Для определения оснований разработки КИМ важно определить место самих измерительных материалов в системе оценки качества образовательных результатов обучающихся.

Нормативные основания разработки КИМ, с учетом их «встроенности» в порядок проведения процедур оценки качества образования, определяются в соответствии с положениями Федерального закона от 29.12.2012 г. № 273-ФЗ «Об образовании в Российской Федерации», где обозначена необходимость «целостного мониторинга системы образования, который представляет собой систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, условиями осуществления образовательной деятельности, контингентом обучающихся, учебными и внеучебными достижениями обучающихся...»

Содержательной и критериальной основой для оценки образовательных результатов, в том числе, проводимой в ходе текущего контроля и промежуточной аттестации обучающихся, выступают планируемые результаты освоения ООП соответствующего уровня общего образования (начального общего, основного общего, среднего общего), заявленные в Федеральных образовательных стандартах.

Минпросвещения ввело единые подходы к системе оценивания достижения учащимися планируемых результатов освоения ООП. Их закрепили в федеральных образовательных программах и письме Минпросвещения от 13.01.2023 № 03-49.

Кроме того, в нашем регионе в целях совершенствования региональной системы объективности процедур оценки качества образования утвержден соответствующий Порядок.

4 of 21

Контрольные измерительные материалы – совокупность взаимодополняющих компонентов инструментария оценки качества образовательных результатов обучающихся, объединенных в целостную структуру и используемых для проведения оценочной процедуры.

Контрольные измерительные материалы являются наиболее подвижной и изменяющейся частью общего порядка проведения оценочных процедур.

КИМ являются частью конкретной процедуры оценки качества образования, а потому технологию их разработки необходимо рассматривать в контексте разработки общего порядка проведения процедур оценки качества образования.

Технологию разработки КИМ наиболее подробно мы предлагаем рассмотреть на примере подготовки оценочных материалов для проведения годовой промежуточной аттестации на уровне среднего общего образования. До введения триместров ГПА, согласно Положению о форме, периодичности, порядке текущего контроля успеваемости и проведения промежуточной и итоговой аттестации обучающихся проводилась в нашей школе в 10 классах по предметам, изучаемым на профильном (углубленном уровне) как отдельная оценочная процедура, заявленная в учебном плане.

В целом, следование единому алгоритму разработки диагностической работы (определение цели оценивания; формирование спецификации диагностической работы с учетом цели оценивания, на основании кодификатора; отбор заданий и конструирование диагностической работы; проверка выполнения заданий в соответствии со спецификацией; формирование списка справочных материалов) обеспечит правильное ее включение в структуру КИМ, и, как следствие, на уровне общеобразовательной организации обеспечит валидность применяемого инструментария ВСОКО.

5 of 21

Порядок разработки контрольных измерительных материалов для проведения оценочных процедур

Общий порядок разработки КИМ предполагает несколько этапов, которые включают: подготовку, формирование, апробацию, экспертизу и утверждение.

При разработке КИМ целесообразно последовательно решить комплекс задач.

Так, на первом (подготовительном) этапе необходимо определить необходимость разработки КИМ и создать организационные, информационно-методические и технические условия для осуществления процесса его разработки.

На втором (формирующем) этапе предстоит актуализировать нормативные и теоретические основания разработки конкретного КИМ, определить назначение КИМ, цель и задачи для его использования, сформировать структуру КИМ, включая необходимые компоненты, осуществить отбор заданий и конструирование диагностической работы.

На третьем (экспертном) этапе будет нужно провести экспертизу структуры и содержания КИМ, сформулировать экспертное заключение.

На четвертом (апробационном этапе) этапе предстоит осуществить апробацию сформированного КИМ, определить степень готовности КИМ к использованию/применению Наконец, на пятом (итоговом) этапе планируется утвердить итоговый вариант КИМ для использования/ применения при проведении оценочной процедуры.

6 of 21

Порядок разработки контрольных измерительных материалов: �1 этап. Подготовительный

На первом (подготовительном) этапе проводится работа по созданию организационных, информационно-методических и технических (при необходимости) условий для осуществления процесса разработки КИМ.

Для обеспечения требуемого качества КИМ целесообразно выполнить несколько последовательных управленческих действий.

Во-первых, создать рабочую группу по обеспечению разработки КИМ, а также привлечь к процессу разработчиков, апробаторов и экспертов из числа членов рабочей группы. Во-вторых, организовать для сотрудников ОО, членов рабочей группы, повышение квалификации (формальное или неформальное) по данному направлению.

В-третьих, предусмотреть мероприятия для формирования и последующего пополнения банка КИМ.

В-четвертых, определить требования к структуре КИМ и подходы к разработке диагностической работы в соответствии с целями оценивания.

7 of 21

Порядок разработки контрольных измерительных материалов: �1 этап. Подготовительный. Пакет КИМ

Согласно нашему Положению о форме, периодичности, порядке текущего контроля успеваемости и проведения промежуточной и итоговой аттестации обучающихся

Пакет контрольно-измерительных материалов для проведения оценочной процедуры должен включать:

спецификацию (описание) контрольной (проверочной, диагностической и т.п.) работы,
Демоверсию, публикуемую заранее для обеспечения открытости проведения процедуры годовой промежуточной аттестации, которая является примером варианта, составленного в соответствии со спецификацией (описанием);
Достаточное количество вариантов (не менее 2)

Спецификации и демоверсии контрольно-измерительных материалов (далее - КИМ) годовой промежуточной аттестации доводятся до сведения участников образовательных отношений путем размещения на сайте Школы, оглашения на родительских собраниях, в беседах с обучающимися.

8 of 21

Порядок разработки контрольных измерительных материалов: �1 этап. Подготовительный. СПЕЦИФИКАЦИЯ

назначение работы;
документы, определяющие содержание работы;
структура работы;
кодификаторы проверяемых элементов содержания и требований к уровню подготовки участников ОП;
распределение заданий работы по позициям кодификатора;
распределение заданий работы по уровню сложности;
типы заданий, сценарии выполнения заданий;
система оценивания выполнения отдельных заданий и работы в целом;
время выполнения работы;
описание дополнительных материалов и оборудования, необходимых для проведения работы;
рекомендации по подготовке к работе.;
демонстрационный вариант работы;
методика шкалирования (перевода баллов) в шкалу оценивания в соответствии с целями ОП

Разработчикам КИМ важно понимать, что именно спецификация описывает назначение диагностической работы, устанавливает распределение заданий по содержанию, видам деятельности и уровню сложности, утверждает систему оценивания отдельных заданий и работы в целом, представляет перечень дополнительных материалов и оборудования, описывает условия проведения и проверки результатов работы.

В компонент спецификации, касающийся назначения диагностической работы, необходимо включить описание диагностической работы, цель проведения диагностической работы, обоснование проведения диагностической работы в соответствии с нормативными основаниями, предназначение (субъекты оценочной процедуры).

Документы, определяющие содержание диагностической работы, целесообразно представить в виде списка нормативных документов, также в этом разделе спецификации указываются используемые методические материалы.

На основе обобщенного плана, содержащегося в спецификации, формируется структура диагностической работы.

9 of 21

Порядок разработки контрольных измерительных материалов: �1 этап. Подготовительный. СПЕЦИФИКАЦИЯ. Кодификатор.

Кодификатор в структуре спецификации рассматривается как основная часть, представляющая собой перечень элементов планируемых результатов по учебному предмету, в котором каждому элементу содержания присвоен собственный код. Кодификатор составлен на основе ФГОС.

Важно понимать, что кодификатор представляет собой структуру всех элементов совокупности объектов проверки, перечень элементов содержания, которые определены с учетом выделения промежуточных планируемых результатов освоения основной образовательной программы для этапа освоения образовательной программы в данном классе.

Именно кодификатор является отправной точкой для определения содержания заданий и проверяемых требований к уровню подготовки.

10 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий. �Отбор заданий, распределение по позиция кодификатора

К отбору заданий диагностических работ предъявляются следующие требования:

количество и объем заданий в диагностических работах должны соответствовать виду диагностической работы и времени выполнения;
задания в работе рекомендуется размещать от простого к сложному, задания базового уровня размещаются в начале текста работы, затем задания повышенного уровня; целесообразность использования тех или иных типов заданий определяется особенностями проверяемого раздела содержания и планируемого результата;
текст задания формулируется предельно кратко, чтобы исключить всякую двусмысленность и неясность формулировок.

Отбор заданий диагностических работ осуществляется по четырем основаниям или типам:

отбор заданий с разной формой ответа,
отбор заданий по содержанию,
отбор заданий по видам умений и способам деятельности,
отбор заданий по уровню сложности.

На втором (формирующем) этапе после актуализации нормативных и теоретических оснований разработки конкретного КИМ, определения назначение КИМ, формулировки цели и задач для его использования происходит создание структуры КИМ и разработка диагностической работы на основании кодификатора.

На этом этапе необходимо осуществить отбор заданий и конструирование диагностической работы.

При отборе заданий для оценки планируемых результатов освоения основных образовательных программ общего образования автор должен понимать цели разных диагностических работ:

для текущего контроля успеваемости, для промежуточной аттестации обучающихся. Цель диагностических работ для текущего контроля успеваемости: отслеживание процесса формирования и развития планируемых результатов освоения основных образовательных программ общего образования у обучающихся.

Цель диагностических работ для промежуточной аттестации обучающихся: проверка и оценка способности обучающихся применять полученные планируемые результаты освоения основных образовательных программ общего образования для решения разнообразных задач учебного и практического характера.

11 of 21

Что учесть

Письмо Минпросвещения от 13.01.2023 № 03-49

задание по оценке предметных результатов должно быть таким, чтобы ученик при решении использовал изучаемый материал;
задания должны различаться сложностью предметного содержания;
в задании должны сочетаться универсальные познавательные действия и операции;
ученик при решении должен использовать специфические для предмета способы действий и виды деятельности по получению нового знания, его интерпретации, применению и преобразованию, в том числе в ходе поисковой, учебно-исследовательской и учебно-проектной деятельности;
ученик должен осознанно использовать приобретенные знания и способы действий при решении внеучебных проблем, различающихся сложностью предметного содержания, читательских умений, контекста, сочетанием когнитивных операций.

Минпросвещения рекомендует составлять оценочные задания так, чтобы ученик:

использовал изучаемый материал при решении учебных задач с разной сложностью предметного содержания;

сочетал универсальные познавательные действия и операции;

использовал специфические для предмета способы действий;

формировал самооценку и рефлексию в ходе анализа результатов обучения и др.

Воспользуйтесь чек-листом оценочных материалов, в котором собраны рекомендации Минпросвещения из письма от 13.01.2023 № 03-49.

12 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий. �Распределение заданий по уровню сложности

Отбор заданий по уровню сложности осуществляется с учетом базового и повышенного уровня.

Для обеспечения полноты проверки уровня учебных достижений обучающегося работа должна содержать задания разного уровня сложности – базового и повышенного.

Согласно поставленной цели оценивания по результатам диагностической работы предполагается дифференцировать обучающихся на группы, которые различаются по состоянию базовой и повышенной подготовки по проверяемому содержанию.

В связи с этим работа должна содержать задания, обязательные для выполнения всеми обучающимися для проверки достижения обучающимся уровня базовой подготовки (задания базового уровня сложности), и задания для проверки способность применять полученные знания при решении заданий повышенного уровня.

Для заданий «базового» уровня важно начинать формулировку задания с глагола, чтобы учащийся мог строить план своей работы над заданием в заданном ключе, например: «проанализируйте», «оцените», «выясните».

Для составления заданий повышенного уровня стоит обратить внимание на использование знаний из разных разделов курса, учебных предметов.

Эта информация позволит педагогу сделать обоснованные предположения о возможных успехах и трудностях в дальнейшем изучении предмета не только для отдельного ученика, но и для класса в целом.

13 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий. �Типы заданий, сценарии выполнения заданий

Отбор заданий с разной формой ответа может осуществляться по следующим видам заданий:

с выбором верного ответа из нескольких предложенных вариантов,
с выбором нескольких верных ответов из предложенных,
с записью краткого ответа,
с записью развернутого ответа,
на установление последовательности, на установление соответствия.

Под заданием с выбором одного верного ответа понимают задание закрытой формы, в котором среди предложенных ответов лишь один верный. При составлении таких заданий наиболее существенным является подбор возможных ответов дистракторов, которые расположены рядом с верными. Такие задания могут успешно использоваться при контроле усвоения понятий и широкого круга умений.

Задание на установление последовательности – это более сложный тип задания, в процессе выполнения которого испытуемый конструирует ответ из предложенной неупорядоченной последовательности слов. Такие задания используются для проверки знаний хода процесса, цепочки событий, действий и операций, а также определений и понятий, помогают формировать у обучающихся алгоритмические мышление, знания и умения.

Задания с записью краткого ответа (открытой формы) конструируется в виде утверждения, рядом с которым готовые ответы с выбором не приводятся. Обучающийся сам дописывает в отведенном для этого месте свой ответ так, чтобы в результате получилось истинное высказывание.

Задания с развернутым ответом используются для проверки самых сложных умений (анализировать ситуацию, делать выводы, проводить логически и грамотные рассуждения, обоснования, доказательства своих действий и грамотно записывать их). Эти задания направлены на применение в новой ситуации знаний из различных разделов курса. Их назначение заключается в выявлении обучающихся, имеющих наиболее высокий уровень подготовки.

14 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий.� Система оценивания выполнения отдельных заданий и работы в целом

ПРИМЕР

Задание с выбором ответа считается выполненным, если выбранный учащимся номер ответа совпадает с верным ответом.
Все задания с выбором ответа оцениваются в 0 или 1 балл.
За задания с кратким ответом выставляется максимальный балл (1 или 2), если ответ учащегося совпал с эталоном.
За задание 17 выставляется 1 балл, если учащийся ошибся в одном символе. В других случаях за задания с кратким ответом выставляется 0 баллов. Максимальный балл составляет 4 балла. К данному заданию приводятся критерии оценивания, в которых указывается, за что выставляется каждый балл – от нуля до максимального балла.
Максимальный балл за всю работу – 24 балла.

15 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий.� Описание дополнительных материалов и оборудования

16 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий.� Рекомендации по подготовке к работе

Подготовка к годовой промежуточной аттестационной работе на уровне среднего общего образования осуществляется в соответствии с ФОП по предмету, при подготовке рекомендуется ознакомиться с демоверсией работы, оценить свои возможности при выполнении различных типов заданий, определить пути коррекции промежуточных результатов с целью достижения уровня выполнения работы. Специальная подготовка к работе не требуется. В то же время, можно дать несколько общих рекомендации общеучебного характера, например, для работы по русскому языку – рекомендации по работе с текстом.

17 of 21

Порядок разработки контрольных измерительных материалов: �2 этап. Формирующий.� Методика шкалирования (перевода баллов) в шкалу оценивания в соответствии с целями ОП

Пример

Перевод из 100-балльной в 5-балльную шкалу

«5» – 100–85 баллов;
«4» – 84–65 баллов;
«3» – 64–35 баллов;
«2» – менее 35 баллов;
«1» – менее 15 баллов.

Спецификация_математика_10

18 of 21

Порядок разработки контрольных измерительных материалов: �3 этап. Экспертный

На третьем (экспертном) этапе проводится экспертиза КИМ, обязательная для оценочных процедур любого уровня и назначения.

Экспертиза структуры и содержания КИМ осуществляется экспертами по предметной области – членами МО учителей-предметников.

В ходе экспертизы определяются содержательная валидность (адекватность) заданий диагностической работы и работы в целом, корректность содержания с точки зрения предмета, приемлемость представленной в спецификации системы оценивания заданий и работы в целом, планируемая трудность отдельных частей диагностической работы и работы в целом.

Прежде всего, эксперт анализирует каждое задание в соответствии со спецификацией. Он определяет, соответствует ли содержание задания содержанию проверяемого материала. Для этого он сравнивает содержание задания с заявленным в спецификации перечнем требований или элементами содержания по предмету, которые подвергаются проверке в соответствии с содержанием ФГОС.

Проверяется фактологическая объективность правильного ответа, а также, где необходимо, приведенного решения задания.

Эксперт оценивает уровень сложности задания (базовый или повышенный), т.е. содержание задания соотносится с уровнем подготовленности обучающихся.

Задания диагностической работы оцениваются также с точки зрения корректности формулировок самого задания и ответов. Отмечаются неудачные задания, которые не соответствуют предъявляемым требованиям, например, задания, которые содержат двусмысленные формулировки, предполагают неоднозначный или частично правильный ответ.

По результатам экспертизы проводится доработка содержания спецификации отдельных заданий диагностической работы.

19 of 21

Порядок разработки контрольных измерительных материалов: �4 этап. Апробационный

оценка ресурсной обеспеченности оценочных процедур
отработка в пилотном режиме различных аспектов и процедур оценивания
проверка релевантности (соответствия) процесса использования КИМ
проверка качества КИМ
выявление недостатков в инструктивных и дополнительных материалах

На четвертом (апробационном) этапе проводится апробация КИМ.

Этап апробации является важным и обязательным этапом разработки инструментария, в том числе для текущего контроля успеваемости и промежуточной аттестации обучающихся.

В данном контексте целью апробации КИМ является определение степени готовности КИМ к использованию/применению и необходимости его доработки/корректировки. Так как основным результатом апробации является доработка и корректировка КИМ, то апробация КИМ проводится не массово, а при участии отдельных обучающихся с разным уровнем подготовленности, продолжительно или кратковременно в зависимости от цели оценочной процедуры, для которой разрабатывается КИМ.

В ходе апробации разработчикам КИМ предстоит:

оценка ресурсной обеспеченности оценочных процедур (проверяется, достаточно ли эргономично и оптимально расположены задания на листе; насколько удобно работать с инструкциями);

отработка в пилотном режиме различных аспектов и процедур оценивания;

проверка релевантности (соответствия) процесса использования КИМ в процедуре оценки качества образовательных результатов (достаточность времени на выполнение заданий, наличие необходимых источников, оборудование и т.п.);

проверка качества КИМ (выявляются проблемы содержания конкретных заданий диагностической работы, их соответствие кодификатору, спецификации и критериям оценивания, задания, которые были не поняты или по-разному поняты участниками апробации, выявляются существенные недостатки по содержанию и формулировкам, случайные ошибки (опечатки);

выявление недостатков в инструктивных и дополнительных материалах.

20 of 21

Порядок разработки контрольных измерительных материалов: �5 этап. Итоговый

На заключительном (итоговом) этапе происходит утверждение КИМ.

Согласно нашему Положению о форме, периодичности, порядке текущего контроля успеваемости и проведения промежуточной и итоговой аттестации обучающихся «Контрольно-измерительные материалы для проведения годовой промежуточной аттестации в качестве отдельной процедуры разрабатываются предметными методическими объединениями, согласовываются с зам. директора по УВР, утверждаются директором Школы».

Таким образом, на данном этапе осуществляется выверка и макетирование итоговых вариантов КИМ, и итоговые варианты утверждаются для использования в работе соответствующими распорядительными документами.

21 of 21

В целом, учитывая значимость получения актуальной и достоверной информации о планируемых результатах обучающихся общеобразовательных организаций и тенденциях в их изменениях, важным является использование в процессуальном компоненте ВСОКО потенциала разработки и применения КИМ педагогами как значимого инструмента оценивания.

Таким образом, итогом разработки и использования контрольных измерительных материалов является на уровне общеобразовательной организации:

выявление положительных и отрицательных тенденций по результатам оценочных процедур с использованием КИМ, внесение при необходимости корректировок в функционирование ВСОКО;

на уровне профессиональных объединений педагогов в общеобразовательной организации: изучение результатов использования КИМ и выявление, насколько данные, полученные в ходе оценочных процедур, отражают реальное состояние сформированности планируемых результатов у обучающихся, а также определение и трансляция положительного опыта или выявление профессиональных дефицитов у педагогов и осуществление необходимого адресного повышения квалификации;

на уровне педагогов: по результатам разработки и использования КИМ формирование/совершенствование профессиональных компетенций при разработке заданий диагностических работ для текущего контроля успеваемости и промежуточной аттестации обучающихся.

В завершение следует отметить, что оценка результатов освоения образовательной программы соответствующего уровня образования должна стать механизмом, обеспечивающим непрерывность процесса совершенствования качества образования, обеспечить конструктивную обратную связь для всех субъектов образовательного процесса. Указанная оценка должна не просто подводить итоги достигнутого, она должна стать отправной точкой, за которой следует новый виток развития, выход на новый уровень качества российского образования.