¿Por qué probar hipótesis?
Probar hipótesis
Enero de 2025
Lección 13
REVISIÓN
2
Repasemos lo que hemos completado en
la fase de DISEÑO DE PROTOTIPOS.
La fase de diseño de prototipo convierte las perspectivas en ideación y las ideas en prototipos para avanzar solo con las soluciones más prometedoras.
REVISIÓN
Realizar la ideación de intervenciones
Priorizar las intervenciones
REVISAR
D
DISEÑO DE PROTOTIPOS
TH
S
E
1
2
3
4
Crear prototipos, probar y repetir las intervenciones
Teoría de cambio
REVISIÓN
En las últimas tres lecciones (10-11-12),
aprendimos a:
D
DISEÑO DE PROTOTIPOS
TH
S
E
REVISIÓN
En la lección 10, aprendimos a:
DISEÑO DE PROTOTIPOS
1
2
3
4
Ideas preliminares
Micro-comportamiento
El cuidador acude a la segunda cita de vacunación a tiempo
Población de interés
Cuidadores que viven en comunidades de bajos ingresos y refugiados en el Líbano
Barreras/facilitadores
Escasos hábitos de planificación
A
B
C
¿Cómo podríamos fomentar con mejores hábitos de planificación entre los cuidadores del Líbano para que sean más propensos a recordar y acudir puntualmente a las citas de vacunación de seguimiento de sus hijos?
C
A
B
REVISAR
En la lección 10, aprendimos a:
DISEÑO DE PROTOTIPOS
1
2
3
4
Generar ideas utilizando diversos métodos
Los cuidadores tuvieran una tarjeta para recordar la fecha de la siguiente visita de vacunación.
El comportamiento sería �sería más fácil si
Una tarjeta sencilla con la fecha de la cita para la vacuna
Una alegre tarjeta de «Héroe de la vacuna» con un lenguaje festivo y una pegatina para el niño.
Un tono más lúdico y festivo
Animar a los padres a vacunar a sus hijos mediante anuncios
Compartir datos sobre cómo «El 85 % de las madres de su comunidad han vacunado a sus hijos este año».
Hágalo social
REVISIÓN
En la lección 11, aprendimos a:
DISEÑO DE PROTOTIPOS
1
2
3
4
Priorizar las intervenciones basándose en criterios clave
1
2
3
4
5
Deseabilidad
Facilidad para cambiar el comportamiento
Impacto del cambio del comportamiento
Medibilidad
Costo
Escalabilidad
REVISIÓN
En la lección 12, aprendimos a:
DISEÑO DE PROTOTIPOS
1
2
3
4
Prototipos de diseño
Modelos
Maquetas en papel
Guion gráfico
Juego de roles
REVISIÓN
En la lección 12, aprendimos a:
Planificar y llevar a cabo el diseño de prototipos
Trazar un mapa
A continuación, decida:
DISEÑAR PROTOTIPOS
1
2
3
4
REVISIÓN
En la lección 12, aprendimos a:
Sintetizar los aprendizajes y repetir
Realizar pruebas iniciales
Síntesis e iteración
MANTENER / MEJORAR / ELIMINAR / AÑADIR
Pruebas de seguimiento
DISEÑO DE PROTOTIPOS
1
2
3
4
REVISIÓN
En la lección 12, aprendimos a:
DISEÑAR PROTOTIPOS
1
2
3
4
Elaborar una teoría del cambio
Recursos
Actores
Necesidades
Actividades
Psicológicas
Comportamentales
Mecanismos
Resultados
Impacto
Resultados intermedios
Resultado del comportamiento primario
DESCRIPCIÓN GENERAL
13
Comencemos nuestra sesión.
DESCRIPCIÓN GENERAL
14
¿Qué viene después del diseño de prototipos?
DESCRIPCIÓN GENERAL
D
PROBAR HIPÓTESIS
S
E
P
En esta fase, se ponen a prueba las ideas.
¿Funcionó la intervención?
Las perspectivas recopiladas aquí revelan qué hay que perfeccionar, escalar o descartar.
DESCRIPCIÓN GENERAL
¿Por qué probar hipótesis?
Consideraciones de diseño para la evaluación de impacto
1
2
3
D
PROBAR HIPÓTESIS
S
E
P
Evaluación e implementación de la investigación
DESCRIPCIÓN GENERAL
¿Por qué probar hipótesis?
Consideraciones de diseño para la evaluación de impacto
1
2
3
D
PROBAR HIPÓTESIS
S
E
P
Evaluación e implementación de la investigación
DESCRIPCIÓN GENERAL
¿Por qué probar hipótesis?
01 La importancia de la evaluación
02 El reto de la causalidad
03 El marco contrafactual
04 Aleatorización: el estándar de oro para los contrafactuales
D
PROBAR HIPÓTESIS
S
E
P
En esta lección�trataremos:
1
DESCRIPCIÓN GENERAL
19
¿Realmente necesitamos seguir probando las soluciones? ¿No podemos escalar de inmediato?
¿Por qué probar hipótesis?
Sección 1
La importancia de la evaluación
D
PROBAR HIPÓTESIS
S
E
P
1
¿Lo tomaría?
IMPORTANCIA DE LA EVALUACIÓN
Este medicamento no se ha probado formalmente, pero algunos pacientes mejoraron y nuestro equipo confía en que funciona.
IMPORTANCIA DE LA EVALUACIÓN
22
La mayoría de la gente se negaría,
y con razón.
IMPORTANCIA DE LA EVALUACIÓN
23
Las soluciones deben someterse a pruebas formales.
Las personas necesitan ver pruebas de que funcionan:
dónde, cómo, por qué y con quién.
LA EVIDENCIA ES CLAVE
IMPORTANCIA DE LA EVALUACIÓN
v
Sin embargo, en el caso de los programas sociales y las intervenciones comportamentales, suele ocurrir lo contrario: actuamos basándonos en buenas intenciones y teorías, pero sin evidencia rigurosas de lo que realmente funciona.
IMPORTANCIA DE LA EVALUACIÓN
25
El desarrollo internacional está repleto de programas que parecían innovadores y prometedores, hasta que se evaluaron rigurosamente.
TOMEMOS EL EJEMPLO DE LAS MICROFINANZAS
Al principio, en 1980
IMPORTANCIA DE LA EVALUACIÓN
Al principio, en 1980
Pero tras una evaluación rigurosa
TOMEMOS EL EJEMPLO DE LAS MICROFINANZAS
IMPORTANCIA DE LA EVALUACIÓN
✔️ Mejoró el acceso al crédito
✖️ Impacto mixto sobre la pobreza
✖️ Aumento de la carga de la deuda
✖️ Resultados limitados a largo plazo
Y hay muchos otros ejemplos
IMPORTANCIA DE LA EVALUACIÓN
PlayPump
Aldeas del Milenio
Una computadora portátil por niño
IMPORTANCIA DE LA EVALUACIÓN
29
Tener buenas intenciones no es suficiente.
Incluso con las mejores intenciones, a menudo hacemos suposiciones que pueden desviar nuestras intervenciones.
Es la «trampa de las suposiciones».
Asumimos que entendemos el problema
IMPORTANCIA DE LA EVALUACIÓN
Definimos los problemas desde nuestra propia perspectiva → nos perdemos la experiencia vivida por las personas afectadas.
Damos por sentado que sabemos lo que funcionará
IMPORTANCIA DE LA EVALUACIÓN
Cuando estamos demasiado convencidos de que algo funcionará, pasamos por alto factores clave que afectan al éxito.
Asumimos que las anécdotas positivas significan éxito
IMPORTANCIA DE LA EVALUACIÓN
Sobrevaloramos las historias positivas → no reflejan la realidad completa.
Mi esposo dijo que disfrutó mucho estar en la clínica con el trabajador sanitario
Asumimos que los resultados positivos se deben a nosotros.
IMPORTANCIA DE LA EVALUACIÓN
Confundimos correlación con causalidad → Si las cosas mejoran, no significa que sea gracias a nuestra intervención.
IMPORTANCIA DE LA EVALUACIÓN
34
La mente humana suele ser parcial y precipitarse a sacar conclusiones. Esto puede ser útil en la vida cotidiana, pero engañoso a la hora de evaluar intervenciones complejas.
CUIDADO CON LA TRAMPA DE LAS SUPOSICIONES
La evaluación proporciona el proceso estructurado que necesitamos para ir más allá de las suposiciones y comprender el verdadero impacto de nuestro trabajo.
IMPORTANCIA DE LA EVALUACIÓN
Una evaluación rigurosa ayuda a:
IMPORTANCIA DE LA EVALUACIÓN
Dirigir los fondos limitados hacia las intervenciones adecuadas.
Abordar los problemas antes de que escalen.
Generar confianza con los socios.
Proporcionar un plan para la expansión.
Identificar consecuencias negativas no deseadas.
IMPORTANCIA DE LA EVALUACIÓN
37
Evaluar nuestro impacto es importante, pero ¿cómo sabemos si realmente hemos marcado la diferencia?
¿Por qué probar hipótesis?
Sección 2
El reto de la causalidad
D
PROBAR HIPÓTESIS
S
E
P
1
Se inicia una campaña de vacunación y, poco después, las tasas de enfermedad disminuyen. ¿Podemos concluir que la campaña ha provocado ese descenso?
QUÉ MEDIR Y CÓMO
VOTA EN LA ENCUESTA
La respuesta es la B:
Los cambios estacionales, las nuevas políticas u otros programas también pueden influir en los resultados; el hecho de que dos cosas ocurran al mismo tiempo no significa que una sea la causa de la otra.
QUÉ MEDIR Y CÓMO
EL RETO DE LA CAUSALIDAD
41
El reto fundamental de la evaluación es determinar si nuestra intervención realmente provocó los cambios que observamos.
La correlación significa que dos cosas ocurren juntas, mientras que la causalidad significa que una cosa provoca que ocurra la otra.
EL RETO DE LA CAUSALIDAD
Cuando las ventas de helados son altas, hay más ataques de tiburones
EL RETO DE LA CAUSALIDAD
+
¿Las ventas de helados están provocando ataques de tiburones?
EL RETO DE LA CAUSALIDAD
Esto se conoce como «el problema de la variable de confusión».
La temperatura es la tercera variable oculta que influye en ambos resultados de forma independiente.
EL RETO DE LA CAUSALIDAD
Influencia causal
La correlación significa que dos cosas ocurren al mismo tiempo.
CORRELACIÓN
La causalidad significa que una cosa hace que la otra suceda.
CAUSALIDAD
DESAFÍO DE LA CAUSALIDAD
EL RETO DE LA CAUSALIDAD
47
¿Por qué es importante que sepamos esto?
EL RETO DE LA CAUSALIDAD
v
Confundir correlación con causalidad puede llevarnos a continuar o escalar intervenciones que no son el verdadero factor que moviliza el cambio.
REALIZAR PRUEBAS CON LOS USUARIOS E ITERAR
¿El programa ha provocado esta mejora?
EL RETO DE LA CAUSALIDAD
El programa de nutrición de UNICEF se implementa en varias comunidades
Mejoran los indicadores de crecimiento infantil
¿Qué más podría estar sucediendo?
EL RETO DE LA CAUSALIDAD
El programa de nutrición de UNICEF se implementa en varias comunidades
Aumento de la disponibilidad estacional de alimentos
Otra organización está proporcionando agua potable, lo que ha reducido las enfermedades diarreicas
El gobierno implementó una política económica que aumentó los ingresos familiares
Mejoran los indicadores de crecimiento infantil
EL RETO DE LA CAUSALIDAD
El programa de nutrición de UNICEF se lleva a cabo en varias comunidades
Aumento de la disponibilidad estacional de alimentos
Otra organización está proporcionando agua potable, lo que ha reducido las enfermedades diarreicas
El gobierno implementó una política económica que aumentó los ingresos familiares
Al asumir que el programa ha provocado el cambio, se corre el riesgo de invertir en intervenciones que en realidad no funcionan o de pasar por alto lo que realmente ha impulsado el cambio.
DESAFÍO DE LA CAUSALIDAD
El programa de nutrición de UNICEF se implementa en varias comunidades
Aumento de la disponibilidad estacional de alimentos
Otra organización está proporcionando agua potable, lo que ha reducido las enfermedades diarreicas.
El gobierno implementó una política económica que aumentó los ingresos familiares.
Intervención
Factores de confusión
Esto se denomina endogeneidad: una situación en la que la relación entre una intervención y su resultado se ve distorsionada porque intervienen otras variables.
EL RETO DE LA CAUSALIDAD
DESAFÍO DE LA CAUSALIDAD
Los factores de confusión basados en el tiempo son cambios que habrían ocurrido independientemente de nuestra intervención.
Variaciones estacionales: disponibilidad típica en lugar de impacto del programa.
Tendencias preexistentes: las tasas ya estaban aumentando debido al desarrollo económico.
Aumento de la disponibilidad estacional de alimentos.
DESAFÍO DE LA CAUSALIDAD
Los factores de confusión de selección son las diferencias entre los participantes y los no participantes.
Sesgo de autoselección: las familias que deciden participar pueden estar más comprometidas.
Sesgo de selección: si elegimos los extremos, la normalización de las tasas a lo largo del tiempo se producirá de todos modos.
Las familias que se unen a un programa de nutrición pueden estar ya más comprometidas con el crecimiento de sus hijos.
EL RETO DE LA CAUSALIDAD
Se pone en marcha un programa de nutrición infantil justo cuando se introduce un subsidio alimentario nacional.
Los factores de confusión ambientales son acontecimientos o condiciones externos que �se producen al mismo tiempo.
Programas concurrentes: diferentes intervenciones con el mismo objetivo se producen al mismo tiempo.
Cambios en las políticas: se pone en marcha una política que también podría ser responsable.
Otra organización proporciona agua potable -> menos enfermedades diarreicas.
EL RETO DE LA CAUSALIDAD
Los factores de confusión en la medición son cambios en la forma en que hacemos un seguimiento de los resultados.
Mejora del seguimiento: las tasas y los resultados pueden cambiar, no por un cambio en el comportamiento, sino por�una mejora en el seguimiento.
Tras la introducción de un nuevo sistema de notificación, se registra un mayor número de niños con bajo peso.
EL RETO DE LA CAUSALIDAD
58
Cuando múltiples factores influyen simultáneamente en los resultados, ¿cómo podemos aislar el verdadero impacto de nuestro programa?
¿Por qué probar hipótesis?
Sección 3
El marco contrafactual: comprender lo que habría sucedido de otro modo
D
PROBAR HIPÓTESIS
S
E
P
1
Para saber si una campaña de vacunación redujo las tasas de enfermedad, ¿con qué debemos compararla?
QUÉ MEDIR Y CÓMO
VOTA EN LA ENCUESTA
La respuesta es la B:
Comparar con comunidades que no han participado en la campaña puede ayudarnos a responder a la pregunta fundamental de la inferencia causal: «¿Qué habría pasado si no se hubiera llevado a cabo la intervención?».
QUÉ MEDIR Y CÓMO
El contrafactual es el escenario alternativo en el que el programa no existía.
CONTRAFACTUALES
CONTRAFACTUALES
Recibe la intervención
Y₁
(resultado)
No recibe la intervención
Para evaluar la diferencia que supone una intervención, cree múltiples realidades posibles para cada unidad.
Y₀
(resultado)
Efecto causal
=
Y₁ - Y₀
No podemos observar tanto lo real como lo contrafactual para un mismo individuo.
CONTRAFACTUALES
Recibe la vacuna
No contrae la enfermedad
No recibe la vacuna
?
HIPÓTESIS CONRAFACTUALES
65
¿Y qué hacemos?
CONTRAFACTUALES
66
A continuación, se aproxima el contrafactual buscando o creando un grupo de comparación válido.
Si los grupos de comparación son muy similares, cualquier diferencia significativa en los resultados puede atribuirse al programa.
CONTRAFACTUALES
Y₁
(resultado)
Y₀
(resultado)
Recibe la intervención
No recibe la intervención
Una buena inferencia causal depende de cuán bien nuestro grupo de comparación refleje lo que habría sucedido sin la intervención.
CONTRAFACTUALES
CONTRAFACTUALES
69
Entonces, ¿cómo podemos crear un grupo de comparación que sea lo más similar posible en cuanto a factores/variables observables e inobservables?
CONTRAFACTUALES
v
Existen varios enfoques diferentes para crear un grupo de comparación, cada uno con sus propias ventajas e inconvenientes en cuanto a rigor, viabilidad y riesgo de sesgo.
CONTRAFACTUALES
71
Antes de entrar en algunos de estos enfoques, presentaremos un sistema para reflexionar sobre ello.
CONTRAFACTUALES
v
O → Medimos algo (conocimiento, comportamiento, etc.)
X → El programa se lleva a cabo
Estas son algunas de las siglas que utilizaremos
CONTRAFACTUALES
v
Escribiremos en líneas horizontales
Cada línea representa un grupo
La alineación vertical muestra que las cosas están sucediendo al mismo tiempo
O ------ X ------ O
O ------ X ------ O
CONTRAFACTUALES
Diseño simple pre-post sin grupo de comparación
O ------------- X ------------ O
Antes Programa Después
CONTRAFACTUALES
Diseño simple pre-post sin grupo de comparación.
Este diseño muestra el cambio a lo largo del tiempo, pero no podemos saber si el programa causó el cambio, ya que es posible que también hayan cambiado otras cosas.
Inicio de la estación seca �→ Las enfermedades transmitidas por el agua �disminuyen de forma natural
O ------------- X ------------ O
Antes Programa Después
Abril
Agosto
Salud comunitaria
Se lanza una nueva campaña de vacunación primero en las comunidades que más la solicitaron. ¿Se puede utilizar esta configuración para medir el impacto real de la campaña?
QUÉ MEDIR Y CÓMO
VOTA EN LA ENCUESTA
La respuesta es A:
Las comunidades que participan en actividades de voluntariado pueden tener ya un mejor acceso a la salud o una mayor concienciación. Estas diferencias ocultas muestran si la campaña en sí misma ha provocado el cambio.
QUÉ MEDIR Y CÓMO
CONTRAFACTUALES
Pre-post
con un grupo de comparación (no aleatorio)
O ------------ X ----------- O
Antes del programa Después
O ------------------------- O
CONTRAFACTUALES
Diseño simple pre-post
sin grupo de comparación.
Los grupos no son aleatorios, por lo que pueden ser diferentes
(motivación, antecedentes, apoyo familiar, etc.).
O ------------ X ----------- O
Antes del programa Después
O ------------------------- O
Los participantes decidieron participar: ya están más motivados.
CONTRAFACTUALES
v
Tanto la comparación antes y después como los diseños de grupos de comparación no equivalente tienen limitaciones.
Pueden ayudar a observar el cambio, pero tienen dificultades para aislar qué causó ese cambio.
CONTRAFACTUALES
81
Necesitamos una forma de crear grupos que sean verdaderamente comparables, incluso en cuanto a características que no podemos ver ni medir.
¿Por qué probar hipótesis?
Sección 4
Aleatorización: el estándar de oro para los contrafactuales
D
PROBAR HIPÓTESIS
S
E
P
1
ALEATORIZACIÓN
Aquí es donde entra en juego la aleatorización
1
2
Recibe
intervención
No recibe intervención
GRUPO A
GRUPO B
Esto crea grupos estadísticamente equivalentes.
ALEATORIZACIÓN
Con la aleatorización, los factores de confusión se distribuyen de manera uniforme entre los grupos por diseño.
ALEATORIZACIÓN
La única diferencia sistemática entre los grupos es si reciben o no la intervención.
Recibe
la intervención
No recibe intervención
GRUPO A
GRUPO B
Cuando se implementa correctamente, la aleatorización garantiza que la única diferencia entre los grupos sea si recibieron o no la intervención.
ALEATORIZACIÓN
EJEMPLO
Imagina que diriges un programa para animar a los padres a enviar a sus hijos a la escuela.
ALEATORIZACIÓN
Diferentes situaciones económicas
Diferentes niveles educativos
Diferentes horarios
Diferentes valores con respecto a la educación
Diferentes motivaciones
Diferentes experiencias pasadas
Diferentes distancias a la escuela
EJEMPLO
Al asignar aleatoriamente, todas las características se distribuyen de manera similar entre los grupos.
Unidad A
Unidad B
ALEATORIZACIÓN
Recibe
intervención
Grupo de control
No recibe
EJEMPLO
Cualquier diferencia en las tasas de asistencia escolar tras la intervención puede atribuirse a la propia intervención.
Unidad A
Unidad B
ALEATORIZACIÓN
Recibe
la intervención
Grupo de control
No recibe
Y₁
(resultado)
Y₀
(resultado)
La diferencia entre estos dos resultados es el impacto de la intervención.
ALEATORIZACIÓN
90
La aleatorización nos permite crear una comparación creíble de «qué habría pasado», lo que nos ayuda a determinar qué funciona realmente, para quién y por qué.
CUIDADO CON LA TRAMPA DE LAS SUPOSICIONES
ALEATORIZACIÓN
Experimentos aleatorizados
Diseños no aleatorios �y diseños cuasi experimentales
Pre-experimentos
Jerarquía
de la evidencia
Aumento del poder causal
ALEATORIZACIÓN
Experimentos aleatorios
v
RCTS
Confianza en los resultados: Muy alta
Un RCT es un experimento en el que se asigna aleatoriamente a las personas en grupos de intervención, uno de los cuales es un grupo de control y no recibe la intervención. Los RCT comparan los resultados entre los grupos y requieren una muestra de gran tamaño.
ALEATORIZACIÓN
ALEATORIZACIÓN
POBLACIÓN DEL ESTUDIO
TRATAMIENTO
CONTROL
SEGUIMIENTO
SEGUIMIENTO
COMPARAR �RESULTADOS
ALEATORIO
ALEATORIZACIÓN
¿A qué personas o grupos se les ofrecerá acceso al programa?
Cuándo proporcionar acceso �al programa?
¿A qué personas o grupos se animará a participar en el programa?
Oportunidades para aleatorizar
Acceso
Momento del acceso
Incentivo
ALEATORIZACIÓN
Ventajas
Contras
ALEATORIZACIÓN
97
El siguiente paso es aprender a diseñar evaluaciones que planteen las preguntas adecuadas,
midan lo que importa y generen evidencia que oriente las decisiones reales.
Amara está resfriada
¿Qué debe hacer?
Acciones posibles:
Ella podría
No hacer nada
Tomar vitamina C
Dado que sólo puede actuar una vez y observar las consecuencias una sola vez, ¿qué podemos hacer para aconsejarla?
Ayuda a Amara a decidir:
¿Y si clonáramos a Amara?
¿Por qué clonamos a Amara?
Amara B (contrafactual)
Amara A
102
Amara A toma la medicación
Amara B �no
103
No hace nada
Toma vitamina C
Amara A toma la medicación
Amara B �no
104
No hace nada
Toma vitamina C
La causalidad como herramienta para la toma de decisiones
¿Cuál es el impacto?
Inicio del programa
RESULTADO PRINCIPAL
TIEMPO
¿Cuál es el impacto?
¿Debemos continuar?
Inicio del programa
RESULTADO PRINCIPAL
TIEMPO
Contrafactual
Impacto
¿Qué habría pasado si el programa no se hubiera llevado a cabo?
¿Cuál es el impacto?
¿Debemos continuar?
Inicio del programa
RESULTADO PRINCIPAL
TIEMPO
Contrafactual
Impacto
¿Qué habría pasado si el programa no se hubiera llevado a cabo?
109
Los experimentos (sociales) son como clonar personas
La clave de la clonación es la aleatoriedad: al clasificar aleatoriamente a las personas en grupos, los dos grupos son estadísticamente iguales, siempre que el tamaño de la muestra sea lo suficientemente grande. �Entonces, ¿cuál debería ser el tamaño de la muestra? → Depende del tamaño del efecto.
POBLACIÓN DEL ESTUDIO
TRATAMIENTO
CONTROL
SEGUIMIENTO
SEGUIMIENTO
COMPARAR �RESULTADOS