2 of 24

ELIANA AMARAL

PROFESSORA-TITULAR DE OBSTETRÍCIA

COORD. NAPES-FCM/UNICAMP

PRESIDENTE DO COMITÊ GLOBAL DO NBME

Avaliação de

programas educacionais

3 of 24

�

Grant J.

Avaliação de Programa

(saúde , educação, cultura, artes, …)

4 of 24

DEFINIÇÃO:

É a “coleção e análise sistemática” de informações relacionadas com a concepção, implantação e resultados de um programa, para fins de acompanhamento e melhoria da sua qualidade e eficácia.

(Accreditation Council of Graduate Medical Education - ACGME 2010).

Avaliação de Programas

5 of 24

Programas Educacionais

Aula; disciplina; módulo

Currículo de um curso.

Graduação
Pós-graduação
Residência médica
Educação continuada.

Merecem um programa de avaliação consistente.

6 of 24

BRASIL FAIMER 2014

ACGME accreditation provides assurance that a Sponsoring Institution or program meets the quality standards (Institutional and Program Requirements) of the specialty or subspecialty practice(s) for which it prepares its graduates.

What is ACGME equivalent in Canada?

In Canada, residency training programs are accredited by the Royal College of Physicians and Surgeons of Canada (RCPSC) and the College of Family Physicians of Canada (CFPC) which is the equivalent of the United States' ACGME.

Avaliação externa de programas

de residência médica – exemplos

7 of 24

Avaliação institucional (da FCM)

Auto-avaliação institucional (CPA)
Avaliação externa por iniciativa institucional
Avaliação regulatória (credenciamento e recredenciamento institucional)
Avaliação para acreditação não-regulatória

8 of 24

Exemplos de Avaliação Externa – não-regulatória e regulatória

Na Graduação
Por demanda da Instituição
Para acreditação não regulatória (SAEME)
Regulatória (MEC/CEE)

Na RM

Pela sociedade da especialidade

Regulatória (CNRM/CEREM)

9 of 24

Aspectos básicos da avaliação

de programa educacional

Essencial:

Entender o programa e seu contexto

Essencial:

Controle de qualidade & busca das melhores práticas

Woodward 2002

10 of 24

AVALIAR PARA GARANTIR QUALIDADE

INTERESSADOS NO RESULTADO (STAKEHOLDERS)

Gestores
Estudantes
Professores
Sociedade

CRIAR

CULTURA DA QUALIDADE

11 of 24

Qual o melhor método?

Deve ser baseada em seu propósito.
Não há uma abordagem "correta”.
Precisa incluir o processo e seus resultados.
Dif~icil avaliar impacto = longo prazo

IMPORTANTE:

É parte de um processo de gestão de avaliação-reavaliação-mudança.

13 of 24

Estágios de Desenvolvimento do Programa &� Atividades de Avaliação

FROM WOODWARD C.A.. PROGRAM EVALUATION. IN NORMAN, G. R., VAN DER VLEUTEN,C.P.M., & NEWBLE, D. (2002). INTERNATIONAL HANDBOOK OF RESEARCH IN MEDICAL EDUCATION: PART 1. DORDRECHT; BOSTON; LONDON: KLUWER.

14 of 24

Estudos CIPP	Contexto	Insumos	Processos	Produtos
Modelo lógico		Insumos	Atividades	Produtos	Desfechos
Modelo Kirkpatrick					Desfechos (reação, aprendizagem, comportamento e resultados)
Modelos experimentais/quasi-experimentais					Relação linear entre desfechos esperados e elementos do programa

O que incluir na avaliação de um programa?

Sugestões da literatura e modelos

15 of 24

KIRKPATRICK, 1994�Modelo de avaliação de treinamento

Nível 1 – Reação

medida de satisfação�

Nível 2 – Aprendizagem

mudança na forma de perceber, conhecimentos, habilidades

Nível 3 – Comportamento

mudança de conduta e de procedimento �

Nível 4 – Resultados (produtos ou impacto)

16 of 24

Foco na melhoria do programa

17 of 24

Triangulação de métodos
Qualitativa & quantitativa
Enfoca aplicação dos resultados
Depende da “adesão” às propostas educacionais e exige ver tb o currículo oculto
Anos para estabilizar intervenções
Anos para avaliar impacto

Como planejar e realizar a

avaliação do programa

18 of 24

Coleta de dados - contexto = C

Observação

Revisão de documentos

Entrevistas de participantes

Análise de dados demográficos

Entrevistas

Questionários

Análise de dados secundários (resultados de testes)

Grupo focal

19 of 24

Quais dados?

Docentes - percepção e desempenho
Discentes – percepção e desempenho
Gestores - percepção e desempenho
Condições de oferta – infra-estrutura
Pessoal docente e de apoio
Ambiente educacional/Cultura institucional
Regramentos regulatórios

20 of 24

Desenhos de pesquisa quantitativa

Pós-curso ou programa (happy sheets)

Antes e depois (pré/pós-retrospectivo)

Antes e depois controlado (quasi experimental)

Ensaios controlados randomizados

Estudos longitudinais

Boet, Sharma, Goldman, Reeves, 2011

21 of 24

Análise, discussão dos dados

Rigor acadêmico

Sem viés de interpretação

Procurando responder aos interessados

1 of 24