Pourquoi tester des hypothèses ?
Tester les hypothèses
Janvier 2025
Leçon 13
RÉVISION
2
Passons en revue ce que nous avons accompli lors de la
la phase de conception des prototypes.
La phase de conception des prototypes transforme les aperçus issus de la recherche en idéation, et les idées en prototypes afin de ne retenir que les solutions les plus prometteuses.
RÉVISION
Concevoir des interventions
Hiérarchiser les interventions
RÉVISION
D
CONCEPTIONS DE PROTOTYPES
TH
S
E
1
2
3
4
Prototype, tester et itérer les interventions
Théorie du changement
RÉVISION
Au cours des trois dernières leçons (10-11-12), nous avons appris à :
D
CONCEPTIONS DE PROTOTYPES
TH
S
E
RÉVISION
Dans la leçon 10, nous avons appris à :
PROTOTYPE DESIGNS
1
2
3
4
Idées préliminaires
Comment pouvons-nous mieux aider les parents au Liban à adopter de meilleures habitudes de planification afin qu'ils soient plus enclins à se souvenir et à se présenter à temps aux rendez-vous de vaccination de suivi de leur enfant ?
Micro-comportement
Le parent revient à l'heure pour le deuxième rendez-vous de vaccination.
Population concernée
Les parents vivant dans des communautés à faibles revenus et de réfugiés au Liban
Barrières / Facteurs facilitateurs
Faibles habitudes de planification
A
B
C
C
A
B
RÉVISION
Dans la leçon 10, nous avons appris à :
PROTOTYPE DESIGNS
1
2
3
4
Générer des idées à l'aide de diverses méthodes
Les soignants disposaient d'une carte pour se souvenir de la date de la prochaine visite de vaccination
Le comportement serait �plus facile si
Une simple carte de rappel avec la date du rendez-vous de vaccination
Une carte joyeuse « Héros de la Vaccination » avec un message festif et un autocollant pour l'enfant
Un ton plus ludique et festif
Encourager les parents à vacciner leurs enfants par le biais d'annonces
Partagez des données indiquant que « 85 % des mères de votre communauté ont fait vacciner leurs enfants cette année ».
Rendez-le social
RÉVISION
Dans la leçon 11, nous avons appris à :
PROTOTYPE DESIGNS
1
2
3
4
Hiérarchiser les interventions en fonction de critères clés
1
2
3
4
5
Désirabilité
Facilité du changement de comportement
Impact du changement de comportement
Mesurabilité
Coût
Scalabilité
RÉVISION
Dans la leçon 12, nous avons appris à :
PROTOTYPE DESIGNS
1
2
3
4
Prototypes de conception
Maquettes
Maquettes en papier
Storyboard
Jeux de rôle
RÉVISION
Dans la leçon 12, nous avons appris à :
Planifier et réaliser un prototypage
Établir un plan
Puis décidez :
CONCEPTION DE PROTOTYPES
1
2
3
4
RÉVISION
Dans la leçon 12, nous avons appris à :
Synthétiser les apprentissages et itérer
Effectuer des tests initiaux
Synthèse et itération
CONSERVER / AMÉLIORER / SUPPRIMER / AJOUTER
Effectuer des tests de suivi
CONCEPTIONS DE PROTOTYPES
1
2
3
4
RÉVISION
Dans la leçon 12, nous avons appris à :
PROTOTYPE DESIGNS
1
2
3
4
Élaborer une théorie du changement
Ressources
Acteurs
Besoins
Activités
Mécanismes Comportementaux Psychologiques
Résultats
Impact
Résultats intermédiaires
Résultat comportemental principal
13
Commençons notre séance.
APERÇU
14
Que se passe-t-il après les Prototypes ?
APERÇU
D
TESTER LES HYPOTHÈSES
S
E
P
Au cours de cette phase, les idées sont mises à l'épreuve.
L'intervention a-t-elle fonctionné ?
Les informations recueillies ici révèlent ce qu'il faut affiner, mettre à l'échelle ou abandonner.
APERÇU
Pourquoi tester une hypothèse ?
Considérations relatives à la conception pour l’évaluation d'impact
1
2
3
D
TESTER LES HYPOTHÈSES
S
E
P
Évaluation et recherche sur la mise en œuvre
APERÇU
Pourquoi tester une hypothèse ?
Considérations relatives à la conception pour l'évaluation d'impact
1
2
3
D
TESTER LES HYPOTHÈSES
S
E
P
Évaluation et recherche sur la mise en œuvre
APERÇU
Pourquoi tester une hypothèse ?
01 L'importance de l'évaluation
02 Le défi de la causalité
03 Le cadre contrefactuel
04 La randomisation : la référence en matière de contrefactuels
D
TESTER LES HYPOTHÈSES
S
E
P
Dans cette leçon,�nous aborderons :
1
APERÇU
19
Avons-nous vraiment besoin de tester davantage les solutions ? Ne pouvons-nous pas passer immédiatement à la mise à l'échelle ?
Pourquoi tester les hypothèses ?
Section 1
L'importance de l'évaluation
D
TESTER LES HYPOTHÈSES
S
E
P
1
Seriez-vous prêt à le prendre ?
IMPORTANCE DE L'ÉVALUATION
Ce médicament n'a pas été testé officiellement, mais certains patients ont vu leur état s'améliorer et notre équipe est convaincue de son efficacité.
IMPORTANCE DE L'ÉVALUATION
22
La plupart des gens refuseraient,
et pour de bonnes raisons.
IMPORTANCE DE L'ÉVALUATION
23
Les solutions doivent être testées de manière formelle.
Les gens ont besoin de voir la preuve qu'elles fonctionnent : où, comment, pourquoi et avec qui.
LES PREUVES SONT ESSENTIELLES
IMPORTANCE DE L'ÉVALUATION
v
Mais avec les programmes sociaux et les interventions comportementales, c'est souvent le contraire qui se produit : nous agissons avec de bonnes intentions et en nous appuyant sur des théories, mais sans disposer de preuves rigoureuses de ce qui fonctionne réellement.
IMPORTANCE DE L'ÉVALUATION
25
Le développement international regorge de programmes qui semblaient innovants et prometteurs, jusqu'à ce qu'ils soient rigoureusement évalués.
PRENONS L'EXEMPLE DE
La microfinance
Au début, en 1980
IMPORTANCE DE L'ÉVALUATION
Au début, en 1980
Mais après une évaluation rigoureuse
PRENONS L'EXEMPLE DE
La microfinance
IMPORTANCE DE L'ÉVALUATION
✔️ Amélioration de l'accès au crédit
✖️ Impact mitigé sur la pauvreté
✖️ Alourdissement du fardeau de la dette
✖️ Résultats limités à long terme
Et il existe de nombreux autres exemples
IMPORTANCE DE L'ÉVALUATION
PlayPump
Millennium Villages
Un ordinateur portable par enfant
IMPORTANCE DE L'ÉVALUATION
29
Avoir de bonnes intentions ne suffit pas.
Même avec les meilleures intentions du monde, nous faisons souvent des suppositions qui peuvent nous induire en erreur dans nos interventions.
C'est ce qu'on appelle le « piège des suppositions ».
Nous partons du principe que nous comprenons le problème
IMPORTANCE DE L'ÉVALUATION
Nous définissons les problèmes selon notre propre point de vue → nous passons à côté de l'expérience vécue par les personnes concernées.
Nous partons du principe que nous savons ce qui fonctionnera
IMPORTANCE DE L'ÉVALUATION
Lorsque nous sommes trop convaincus que quelque chose fonctionnera → nous négligeons des facteurs clés qui influent sur la réussite.
Nous partons du principe que les anecdotes positives sont synonymes de réussite
IMPORTANCE DE L'ÉVALUATION
Nous surévaluons les histoires positives → elles ne reflètent pas la réalité dans son ensemble.
Mon mari a dit qu'il avait vraiment apprécié être à la clinique avec le personnel de santé
Nous supposons que les résultats positifs sont dus à notre intervention
IMPORTANCE DE L'ÉVALUATION
Nous confondons corrélation et causalité → Si les choses s'améliorent, cela ne signifie pas que c'est grâce à notre intervention.
IMPORTANCE DE L'ÉVALUATION
34
L'esprit humain est souvent partial et tire des conclusions hâtives. Cela peut être utile dans la vie, mais trompeur lorsqu'il s'agit d'évaluer des interventions complexes.
MÉFIEZ-VOUS DU PIÈGE DES HYPOTHÈSES
L'évaluation fournit le processus structuré dont nous avons besoin pour aller au-delà des hypothèses et comprendre l'impact réel de notre travail.
IMPORTANCE DE L'ÉVALUATION
Une évaluation rigoureuse permet :
IMPORTANCE DE L'ÉVALUATION
Affecter les fonds limités aux interventions appropriées.
Résoudre les problèmes avant de passer à la mise à l'échelle.
Instaurer la confiance avec les partenaires.
Fournir un plan d'action pour l'expansion.
Identifier les conséquences négatives imprévues.
IMPORTANCE DE L'ÉVALUATION
37
Il est important d'évaluer notre impact, mais comment savoir si nous avons réellement fait une différence ?
Pourquoi tester les hypothèses ?
Section 2
Le défi de la causalité
D
TESTER LES HYPOTHÈSES
S
E
P
1
Une campagne de vaccination est lancée, et les taux de maladie diminuent peu après. Peut-on en conclure que la campagne est à l'origine de cette baisse ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est B :
Les changements saisonniers, les nouvelles politiques ou d'autres programmes peuvent également influencer les résultats : ce n'est pas parce que deux événements se produisent simultanément que l'un est la cause de l'autre.
QUE MESURER ET COMMENT
LE DÉFI DE LA CAUSALITÉ
41
Le défi fondamental de l'évaluation consiste à déterminer si notre intervention a réellement entraîné les changements que nous observons.
La corrélation signifie que deux choses se produisent simultanément, tandis que la causalité signifie qu'une chose en entraîne une autre.
LE DÉFI DE LA CAUSALITÉ
Lorsque les ventes de crème glacée sont élevées, il y a davantage d'attaques de requins
LE DÉFI DE LA CAUSALITÉ
+
Les ventes de crème glacée sont-elles à l'origine des attaques de requins ?
LE DÉFI DE LA CAUSALITÉ
C'est ce qu'on appelle le « problème de la troisième variable ».
La température est la troisième variable cachée qui influence les deux résultats de manière indépendante.
LE DÉFI DE LA CAUSALITÉ
Influence causale
La corrélation signifie que deux choses se produisent simultanément.
Corrélation
La causalité signifie qu'un événement en provoque un autre.
Causalité
LE DÉFI DE LA CAUSALITÉ
LE DÉFI DE LA CAUSALITÉ
47
Pourquoi est-ce important pour nous de le savoir ?
LE DÉFI DE LA CAUSALITÉ
v
Confondre corrélation et causalité peut nous amener à poursuivre ou à mettre à l'échelle des interventions qui ne sont pas réellement le moteur du changement.
Ce programme est-il à l'origine de cette amélioration ?
LE DÉFI DE LA CAUSALITÉ
Le programme nutritionnel de l'UNICEF est mis en œuvre dans plusieurs communautés
Les indicateurs de croissance des enfants s'améliorent
Que pourrait-il se passer d'autre ?
LE DÉFI DE LA CAUSALITÉ
Le programme nutritionnel de l'UNICEF est mis en œuvre dans plusieurs communautés
La disponibilité alimentaire saisonnière a augmenté
Une autre organisation fournit de l'eau potable, ce qui réduit les cas de diarrhée.
Le gouvernement a mis en œuvre une politique économique qui a permis d'augmenter les revenus des familles.
Les indicateurs de croissance des enfants s'améliorent
LE DÉFI DE LA CAUSALITÉ
Le programme nutritionnel de l'UNICEF est mis en œuvre dans plusieurs communautés
La disponibilité alimentaire saisonnière a augmenté
Une autre organisation fournit de l'eau potable, ce qui réduit les cas de diarrhée.
Le gouvernement a mis en œuvre une politique économique qui a augmenté les revenus des familles.
En supposant que le programme est à l'origine du changement, on risque d'investir dans des interventions qui ne fonctionnent pas réellement ou de négliger les véritables facteurs à l'origine du changement.
LE DÉFI DE LA CAUSALITÉ
Le programme nutritionnel de l'UNICEF est mis en œuvre dans plusieurs communautés
La disponibilité alimentaire saisonnière a augmenté
Une autre organisation fournit de l'eau potable, ce qui réduit les maladies diarrhéiques.
Le gouvernement a mis en œuvre une politique économique qui a augmenté les revenus des familles.
Intervention
Facteurs de confusion
C'est ce qu'on appelle l'endogénéité : une situation où la relation entre une intervention et son résultat est faussée par l'influence d'autres variables.
LE DÉFI DE LA CAUSALITÉ
LE DÉFI DE LA CAUSALITÉ
Les facteurs de confusion liés au temps sont des changements qui se seraient produits indépendamment de notre intervention.
Variations saisonnières : disponibilité typique plutôt qu'impact du programme.
Tendances préexistantes : les taux étaient déjà en hausse en raison du développement économique.
La disponibilité saisonnière des aliments a augmenté.
LE DÉFI DE LA CAUSALITÉ
Les facteurs de sélection sont les différences entre les participants et les non-participants.
Biais d'auto-sélection : les familles qui choisissent de participer peuvent être plus engagées.
Biais de ciblage : si nous choisissons l'extrême, la normalisation des taux au fil du temps se produira quoi qu'il arrive.
Les familles qui adhèrent à un programme nutritionnel sont peut-être déjà plus impliquées dans la croissance de leurs enfants.
LE DÉFI DE LA CAUSALITÉ
Un programme de nutrition pour la petite enfance est lancé au moment même où une subvention alimentaire nationale est mise en place.
Les facteurs de confusion environnementaux sont des événements ou des conditions externes qui se produisent au même moment.
Programmes concomitants : différentes interventions ayant le même objectif sont mises en œuvre simultanément.
Changements politiques : une politique qui pourrait également être responsable entre en vigueur.
Une autre organisation fournit de l'eau potable -> moins de maladies diarrhéiques.
LE DÉFI DE LA CAUSALITÉ
Les facteurs de confusion liés à la mesure sont des changements dans la manière dont nous suivons les résultats.
Amélioration du suivi : les taux et les résultats peuvent changer, non pas en raison d'un changement de comportement, mais parce que le suivi s'est amélioré.
Après la mise en place d'un nouveau système de déclaration, un plus grand nombre d'enfants sont déclarés comme souffrant d'insuffisance pondérale.
LE DÉFI DE LA CAUSALITÉ
58
Lorsque plusieurs facteurs influencent simultanément les résultats, comment pouvons-nous isoler l'impact réel de notre programme ?
Pourquoi tester les hypothèses ?
Section 3
Le cadre contrefactuel : comprendre ce qui se serait passé autrement
D
TESTER LES HYPOTHÈSES
S
E
P
1
Pour savoir si une campagne de vaccination a réduit les taux de maladie, à quoi devons-nous la comparer ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est B :
La comparaison avec des communautés qui n'ont pas bénéficié de la campagne peut nous aider à répondre à la question qui est au cœur de l'inférence causale : « Que se serait-il passé si l'intervention n'avait pas eu lieu ? »
QUE MESURER ET COMMENT
Le contrefactuel est le scénario alternatif dans lequel le programme n'existait pas.
CONTREFACTUELS
CONTREFACTUELS
Reçoit l'intervention
Y₁
(résultat)
Ne reçoit pas l'intervention
Pour évaluer la différence qu'apporte une intervention, créez plusieurs réalités possibles pour chaque unité.
Y₀
(résultat)
Effet causal
=
Y₁ - Y₀
Nous ne pouvons pas observer à la fois le scénario réel et le scénario contrefactuel pour un même individu.
CONTREFACTUELS
Reçoit le vaccin
Ne contracte pas la maladie
Ne reçoit pas le vaccin
?
65
Alors, que faisons-nous ?
66
Le contrefactuel est ensuite approximé en trouvant ou en créant un groupe de comparaison valide.
Si les groupes de comparaison sont très similaires, toute différence significative dans les résultats peut être attribuée au programme.
CONTREFACTUELS
Y₁
(résultat)
Y₀
(résultat)
Bénéficie de l'intervention
Ne bénéficie pas de l'intervention
Une bonne inférence causale dépend de la capacité de notre groupe de comparaison à refléter ce qui se serait passé sans l'intervention.
CONTREFACTUELS
CONTREFACTUELS
69
Comment pouvons-nous donc créer un groupe de comparaison qui soit similaire sur autant de facteurs/variables observables et non observables que possible ?
CONTREFACTUELS
v
Il existe plusieurs approches différentes pour créer un groupe de comparaison, chacune présentant ses propres compromis entre rigueur, faisabilité et risque de biais.
CONTREFACTUELS
71
Avant d'aborder certaines de ces approches, nous allons présenter un système permettant d'y réfléchir.
CONTREFACTUELS
v
O → Nous mesurons quelque chose (connaissances, comportement, etc.)
X → Le programme est mis en œuvre
Voici quelques-uns des acronymes que nous utiliserons
CONTREFACTUELS
v
Nous écrirons sur des lignes horizontales
Chaque ligne représente un groupe
L'alignement vertical indique que les événements se produisent simultanément
O ------ X ------ O
O ------ X ------ O
CONTREFACTUELS
Conception simple avant-après sans groupe de comparaison
O ------------- X ------------ O
Avant Programme Après
CONTREFACTUELS
Conception simple avant-après
sans groupe de comparaison
Cette conception montre l'évolution dans le temps, mais nous ne pouvons pas déterminer si le programme est à l'origine de cette évolution, car d'autres facteurs ont pu également jouer un rôle.
Début de la saison sèche �→ les maladies d'origine hydrique �diminuent naturellement
O ------------- X ------------ O
Avant Après
Avril
Août
Programme de Santé Communautaire
Une nouvelle campagne de vaccination est lancée en priorité dans les communautés qui en ont fait la demande la plus pressante. Cette configuration peut-elle être utilisée pour mesurer l'impact réel de la campagne ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est A :
Les communautés qui font du bénévolat ont peut-être déjà un meilleur accès aux soins de santé ou une plus grande sensibilisation. Ces différences cachées permettent de déterminer si c'est la campagne elle-même qui a provoqué le changement.
QUE MESURER ET COMMENT
CONTREFACTUELS
Pré-post
avec un groupe de comparaison (non randomisé)
O ------------ X ----------- O
Avant Programme Après
O ------------------------- O
CONTREFACTUELS
Conception simple avant-après
sans groupe de comparaison
Les groupes ne sont pas randomisés, ils peuvent donc présenter des différences (motivation, contexte, soutien familial, etc.).
O ------------ X ----------- O
Avant Programme Après
O ------------------------- O
Les participants ont choisi de participer : ils sont déjà plus motivés
CONTREFACTUELS
v
Les comparaisons avant-après et les modèles de groupes non équivalents ont leurs limites.
Ils peuvent aider à observer le changement, mais ils ont du mal à isoler ce qui a causé ce changement.
CONTREFACTUELS
81
Nous avons besoin d'un moyen de créer des groupes qui soient véritablement comparables, même pour les caractéristiques que nous ne pouvons ni voir ni mesurer.
Pourquoi tester les hypothèses ?
Section 4
Randomisation : la norme de référence pour les contrefactuels
D
TESTER LES HYPOTHÈSES
S
E
P
1
RANDOMISATION
C'est là qu'intervient la randomisation
1
2
Reçoit
intervention
Ne reçoit pas d'intervention
GROUPE A
GROUPE B
Cela permet de créer des groupes statistiquement équivalents.
RANDOMISATION
Avec la randomisation, les facteurs de confusion sont répartis de manière uniforme entre les groupes dès la conception.
RANDOMISATION
La seule différence systématique entre les groupes réside dans le fait qu'ils bénéficient ou non de l'intervention.
Bénéficie
l'intervention
Ne bénéficie pas de l'intervention
GROUPE A
GROUPE B
Lorsqu'elle est correctement mise en œuvre, la randomisation garantit que la seule différence entre les groupes réside dans le fait qu'ils aient ou non bénéficié de l'intervention.
RANDOMISATION
EXEMPLE
Imaginez que vous mettiez en place un programme visant à encourager les parents à envoyer leurs enfants à l'école.
RANDOMISATION
Différentes situations financières
Différents niveaux d'éducation
Différents emplois du temps
Différentes valeurs envers l'éducation
Différentes motivations
Expériences passées différentes
Distance différente par rapport à l'école
EXEMPLE
En attribuant les caractéristiques de manière aléatoire, toutes les caractéristiques sont réparties de manière similaire entre les groupes.
Unité A
Unité B
RANDOMISATION
Réception
intervention
Groupe témoin
Ne reçoit pas
EXEMPLE
Toute différence dans les taux de fréquentation scolaire après l'intervention peut être attribuée à l'intervention elle-même.
Unité A
Unité B
RANDOMISATION
Recevoir
l'intervention
Groupe témoin
Ne reçoit pas
Y₁
(résultat)
Y₀
(résultat)
La différence entre ces deux résultats correspond à l'impact de l'intervention.
RANDOMISATION
90
La randomisation nous permet de créer une comparaison crédible de « ce qui se serait passé », ce qui nous aide à déterminer ce qui fonctionne vraiment, pour qui et pourquoi.
MÉFIEZ-VOUS DU PIÈGE DES HYPOTHÈSES
RANDOMISATION
Expériences randomisées
Non randomisées �et quasi-expérimentaux
Pré-expériences
Hiérarchie
des preuves
Augmentation du pouvoir causal
RANDOMISATION
Expériences randomisées
v
ECR
Confiance dans les résultats : très élevée
Un ECR est une expérience dans laquelle les participants sont répartis de manière aléatoire dans différents groupes d'intervention, dont l'un sert de groupe témoin et ne bénéficie pas de l'intervention.
Les ECR comparent les résultats entre les groupes et nécessitent un échantillon de grande taille.
RANDOMISATION
RANDOMISATION
POPULATION DE L'ÉTUDE
TRAITEMENT
CONTRÔLE
SUIVI
SUIVI
COMPARAISON �RÉSULTATS
ALÉATOIRE
RANDOMISATION
Quelles personnes/groupes se verront offrir l'accès au programme
Quand donner accès �au programme
Quelles personnes/groupes seront encouragés à participer au programme
Possibilités de randomisation
Accès
Moment de l'accès
Encouragement
RANDOMISATION
Avantages
Inconvénients
RANDOMISATION
97
La prochaine étape consiste à apprendre à concevoir des évaluations qui posent les bonnes questions,
mesurent ce qui importe et génèrent des preuves qui guident les décisions réelles.
Amara a un rhume
Que doit-elle faire ?
Actions possibles :
Elle pourrait
Ne rien faire
Prendre de la vitamine C
Étant donné qu'elle ne peut agir qu'une seule fois et observer les conséquences une seule fois, que pouvons-nous lui conseiller ?
Aidez Amara à prendre une décision :
Et si nous clonions Amara ?
Pourquoi avons-nous cloné Amara ?
Amara B (contrefactuel)
Amara A
102
Amara A prend ses médicaments
Amara B �ne le prend pas
103
Ne fait rien
Prend de la vitamine C
Amara A prend ses médicaments
Amara B �ne le prend pas
104
Ne fait rien
Prend de la vitamine C
La causalité comme outil d'aide à la décision
Quel est l'impact ?
Début du programme
RÉSULTAT PRINCIPAL
DURÉE
Quel est l'impact ?
Devrions- nous continuer ?
Début du programme
RÉSULTAT PRINCIPAL
DURÉE
Contrefactuel
Impact
Que se serait-il passé si le programme n'avait pas été mis en place ?
Quel est l'impact ?
Devrions- nous continuer ?
Début du programme
RÉSULTAT PRINCIPAL
DURÉE
Contrefactuel
Impact
Que se serait-il passé si le programme n'avait pas été mis en place ?
109
Les expériences (sociales) s'apparentent au clonage humain
La clé du clonage réside dans la randomisation : en répartissant les personnes de manière aléatoire dans deux groupes, ceux-ci sont statistiquement identiques, à condition que l'échantillon soit suffisamment large. �Quelle doit donc être la taille de l'échantillon ? → Cela dépend de la taille de votre effet.
POPULATION ÉTUDIÉE
TRAITEMENT
TÉMOIN
SUIVI
SUIVI
COMPARAISON �RÉSULTATS