Considérations conceptuelles pour l'Évaluation d'impact
Hypothèse de test
Janvier 2025
Leçon 14
APERÇU
2
Reprenons là où nous en étions restés :
comment concevoir des évaluations qui posent les bonnes questions, mesurent ce qui compte et génèrent des données probantes qui guident les décisions réelles.
APERÇU
Pourquoi tester une hypothèse ?
Considérations relatives à la conception de l'évaluation d'impact
1
2
3
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
APERÇU
Pourquoi tester une hypothèse ?
Considérations relatives à la conception pour l'évaluation d'impact
1
2
3
D
TESTER LES HYPOTHÈSES
S
E
P
Évaluation et recherche sur la mise en œuvre
EXEMPLE
Vous avez développé un programme de formation professionnelle pour réduire le chômage des jeunes.
Les bailleurs de fonds et les partenaires vous demandent si cela fonctionne.
Que voudriez-vous savoir pour leur donner une réponse ?
APERÇU
EXEMPLE
APERÇU
Combien de temps avant que les participants trouvent réellement un emploi ?
Ce programme fonctionne-t-il mieux pour certains groupes que pour d'autres ?
La formation augmente-t-elle réellement les taux d'emploi ?
APERÇU
Considérations relatives à la conception
01 Questions de recherche
02 Résultats principaux et stratégie de mesure
03 Que mesurer
04 Quand et à quelle fréquence mesurer
05 Mécanismes de mesure
04 Mesures représentatives et inclusives
07 Considérations pratiques
08 Taille de l'échantillon et puissance statistique
09 Architecture de randomisation et faisabilité
D
TESTER LES HYPOTHÈSES
S
E
P
Dans cette leçon�nous aborderons :
2
D
TESTER LES HYPOTHÈSES
S
E
P
Considérations relatives à la conception pour l'Évaluation d'impact
Section 1
Identifier les questions clés
D
TESTER LES HYPOTHÈSES
S
E
P
2
Quelles sont les questions clés auxquelles il faut répondre ?
DÉFINIR LES QUESTIONS DE RECHERCHE
Réunissez les parties prenantes principales et posez-leur les questions suivantes :
v
Concentrez-vous sur 3 à 5 questions fondamentales qui guident les actions
DÉFINIR LES QUESTIONS DE RECHERCHE
Efficacité
Mécanisme
Ciblage
L'intervention fonctionne-t-elle ? Combien de temps faut-il pour qu'elle fonctionne ? Quand est-ce que les effets sont-ils observables ?
Comment l'intervention fonctionne-t-elle ?
Pour qui fonctionne-t-elle le mieux ?
v
EXEMPLE
DÉFINIR LES QUESTIONS DE RECHERCHE
Efficacité
Mécanisme
Ciblage
La formation augmente-t-elle l'emploi dans les six mois ?
La confiance, les réseaux sociaux ou les compétences sont-ils les moteurs de la réussite ?
Est-ce que cela profite davantage aux filles vivant en ville ou à la campagne ?
EXEMPLE
DÉFINIR LES QUESTIONS DE RECHERCHE
La formation augmente-t-elle l'emploi dans les six mois ?
Si la formation augmente l'emploi de 10 %, sera-t-elle mise à l'échelle ?
Et si ce n'est que 5 % ?
Efficacité
DÉFINIR LES QUESTIONS DE RECHERCHE
13
Établissez dès le départ des règles claires afin d'éviter tout biais ultérieur. Utilisez les résultats, bons ou mauvais, pour orienter vos investissements futurs.
L'ÉVALUATION GÉNÈRE DES DONNÉES EXPLOITABLES
DÉFINIR LES QUESTIONS DE RECHERCHE
14
La prochaine étape consiste à déterminer comment ces questions seront traitées.
Section 2
Affiner les questions
Considérations relatives à la conception pour l'évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Le succès d'une évaluation dépend de la mesure des bons éléments de la bonne manière.
RÉSULTATS PRINCIPAUX ET STRATÉGIE DE MESURE
Transformer des objectifs généraux en questions d'évaluation formulées avec précision
RÉSULTATS PRIMAIRES ET STRATÉGIE DE MESURE
Ce programme nutritionnel est-il efficace ?
La fourniture de conseils nutritionnels mensuels permet-elle d'augmenter les scores Z de taille pour l'âge d'au moins 0,2 écart-type chez les enfants âgés de 6 à 24 mois dans les communautés rurales en l'espace de 12 mois ?
VAGUE
PRÉCIS
RÉSULTATS PRIMAIRES ET STRATÉGIE DE MESURE
La fourniture de conseils nutritionnels mensuels permet-elle d'augmenter les scores Z de taille pour l'âge d'au moins 0,2 écart-type chez les enfants âgés de 6 à 24 mois vivant dans des communautés rurales au cours des 12 mois suivants ?
Des questions précises garantissent que les résultats sont à la fois interprétables et exploitables.
changement spécifique mesurable, avec un seuil si pertinent
intervention
population définie
calendrier
RÉSULTATS PRIMAIRES ET STRATÉGIE DE MESURE
19
Une fois les questions d'évaluation formulées, l'étape suivante consiste à identifier les mesures des résultats.
Section 3
Choisir quoi mesurer et comment
Considérations relatives à la conception pour l’évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Choisissez des résultats qui montrent clairement si l'intervention fait une différence.
QUE MESURER ET COMMENT
Lequel de ces éléments est le résultat d'un programme d'alimentation scolaire ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est B :
Amélioration de l'assiduité des élèves.
Un résultat montre le changement apporté par le programme, et pas seulement les activités qu'il mène.
QUE MESURER ET COMMENT
Évaluez dans quelle mesure les résultats sont proches de l'intervention.
QUE MESURER ET COMMENT
RÉSULTATS PROXIMAUX :
RÉSULTATS DISTAUX :
Lequel de ces éléments est un résultat distal d'un programme d'alimentation scolaire ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est C :
% d'élèves ayant amélioré leurs résultats scolaires.
Les résultats distaux montrent un changement réel, et pas seulement d'activité. Ils révèlent si les gains à court terme se traduisent par des avantages durables.
QUE MESURER ET COMMENT
QUE MESURER ET COMMENT
27
Une fois les résultats clairement définis, nous nous demandons comment ils seront mesurés.
Une fois que vous savez ce qu'il faut mesurer, décidez comment le mesurer.
QUE MESURER ET COMMENT
Différentes sources de données varient en termes de précision, de coût et de faisabilité.
QUE MESURER ET COMMENT
Les enquêtes permettent aux équipes de mesurer exactement ce dont elles ont besoin, mais les réponses ne reflètent pas toujours la réalité.
QUE MESURER ET COMMENT
Les données administratives telles que les registres scolaires ou les bases de données cliniques fournissent des informations objectives et peu coûteuses, mais elles ont leurs limites.
QUE MESURER ET COMMENT
L'observation directe permet de saisir ce que font les gens, et pas seulement ce qu'ils disent, mais elle nécessite une certaine prudence.
QUE MESURER ET COMMENT
Les mesures physiques et biologiques fournissent des preuves tangibles de l'impact, mais elles exigent des ressources et des soins.
QUE MESURER ET COMMENT
33
Il est nécessaire d'identifier les sources de données appropriées, mais le moment et la fréquence des mesures sont tout aussi importants.
Section 4
Définir le moment et la fréquence des mesures
Considérations relatives à la conception pour l'évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Les résultats apparaissent à différentes échelles de temps
MOMENT ET FRÉQUENCE DE LA MESURE
Une évaluation trop précoce risque de ne pas mettre en évidence les effets des interventions qui ont besoin de temps pour produire leurs résultats.
Mesurer trop tard risque de passer à côté d'effets qui s'estompent ou sont contaminés par d'autres facteurs.
Les comportements �peuvent prendre des mois
Les effets sur la santé �peuvent prendre des années
Connaissances �peuvent évoluer en quelques semaines
Mesurez les changements au fil du temps
MOMENT ET FRÉQUENCE DE LA MESURE
Une mesure ponctuelle ne suffit pas. Suivez plusieurs points pour voir comment l'impact évolue.
Prévoyez au moins un suivi pour tester la persistance
Les effets de disparition progressive peuvent indiquer un besoin de renforcement
Des gains progressifs peuvent indiquer que les effets se renforcent à travers différents processus
Y a-t-il une croissance, une stabilisation ou un déclin ?
Prise en compte des variations saisonnières
MOMENT ET FRÉQUENCE DE LA MESURE
Agriculture
Les résultats varient en fonction des cycles de récolte
Santé
Les tendances épidémiologiques suivent les tendances saisonnières
Éducation
Les mesures scolaires varient en fonction des calendriers scolaires
38
Le timing montre quand le changement se produit ; les mécanismes révèlent pourquoi. Ensemble, ils permettent de comprendre comment l'impact se déploie et où les programmes peuvent être améliorés.
Section 5
Mesurer les mécanismes tout au long de la chaîne causale
Considérations relatives à la conception pour l'évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Comprendre pourquoi les programmes fonctionnent (ou ne fonctionnent pas) est tout aussi important que de savoir s'ils fonctionnent.
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
Les mécanismes de mesure permettent de valider la théorie
Les voies hypothétiques fonctionnent-elles réellement ? La mesure de chaque étape permet de valider ou de remettre en question ces hypothèses.
Un programme d'alimentation scolaire repose sur les hypothèses suivantes :
→ l'approvisionnement alimentaire
→ une meilleure nutrition
→ une meilleure concentration
→ une assiduité accrue
→ amélioration de l'apprentissage
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
Les mécanismes de mesure permettent de diagnostiquer où se produit la défaillance
Lorsque les résultats ne s'améliorent pas, les mécanismes révèlent où la chaîne s'est rompue. Chaque point de rupture suggère différentes solutions.
Les repas n'ont-ils pas été livrés à temps ?
Ont-ils été livrés, mais de mauvaise qualité ?
Ont-ils été consommés sans améliorer la nutrition ?
La nutrition s'est-elle améliorée, mais sans changement dans la fréquentation ?
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
Les mécanismes de mesure permettent d'affiner les programmes
Plutôt que d'abandonner les programmes « qui ont échoué », les données issues des mécanismes permettent d'apporter des améliorations ciblées.
Si les enfants fréquentent l'école pour les repas mais que leurs résultats scolaires ne s'améliorent pas
Le soutien des enseignants ou des sessions d'apprentissage après les repas pourraient avoir un impact
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
Les mécanismes de mesure facilitent la généralisation
Les programmes basés sur le comportement humain universel ont tendance à fonctionner partout, contrairement aux programmes liés à des systèmes spécifiques.
Réduire la faim à court terme pour améliorer la concentration
Mesurez tout au long de la chaîne
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
Ne vous contentez pas de mesurer les résultats finaux, mais suivez plutôt chaque étape de la chaîne, chacune fournissant des informations précieuses sur le fonctionnement du programme.
Connaissances des aidants
Pratiques alimentaires
Diversité alimentaire des enfants
État nutritionnel
Immédiat Court terme Moyen terme Long terme
MESURER LES MÉCANISMES LE LONG DE LA CHAÎNE CAUSALE
46
Comprendre les mécanismes permet de comprendre comment le changement s'opère, mais uniquement si les données représentent véritablement les personnes concernées.
Section 6
Garantir des mesures représentatives et inclusives
Considérations relatives à la conception de l'Évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Qui est évalué est tout aussi important que ce qui est évalué, c'est pourquoi l'inclusion et la représentation sont essentielles.
GARANTIR UNE MESURE INCLUSIVE
GARANTIR UNE MESURE INCLUSIVE
Les enquêtes téléphoniques excluent les personnes qui ne possèdent pas de téléphone.
Les données cliniques ne tiennent pas compte des personnes qui ne recherchent pas ou ne peuvent pas rechercher de soins.
Les enquêtes menées dans les écoles excluent les enfants non scolarisés, qui sont souvent les plus vulnérables.
Élaborer des stratégies de mesure inclusives du début à la fin
GARANTIR UNE MESURE INCLUSIVE
GARANTIR UNE MESURE INCLUSIVE
51
Triangulez les informations fournies par les différents reporters afin de mettre en évidence les dynamiques importantes. Les enfants, les parents, les enseignants et les professionnels de santé peuvent donner des versions différentes d'un même phénomène.
DES PERSPECTIVES DIFFÉRENTES APPORTENT DES INFORMATIONS DIFFÉRENTES
52
La prochaine étape consiste à s'assurer que les outils de mesure sont suffisamment pratiques et fiables pour fonctionner dans des conditions réelles.
Section 7
Prendre en compte les considérations pratiques liées aux mesures
Considérations relatives à la conception pour l'Évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
CONSIDÉRATIONS PRATIQUES RELATIVES À LA MESURE
v
Ne présumez jamais que les instruments qui fonctionnent ailleurs fonctionneront également dans un autre contexte.
Testez toujours vos outils dans des conditions réelles : testez le débit, le timing et la clarté, et tirez les leçons des commentaires des enquêteurs.
1
CONSIDÉRATIONS PRATIQUES RELATIVES À LA MESURE
v
Ne confondez pas longueur et qualité.
Concentrez-vous sur les instruments : les longues enquêtes épuisent les répondants, augmentent les coûts et affaiblissent la qualité des données.
2
CONSIDÉRATIONS PRATIQUES RELATIVES À LA MESURE
v
Prévoyez les erreurs de mesure.
Toutes les données comportent des imperfections : utilisez des contrôles de standardisation, des mesures répétées et une validation externe pour garantir la fiabilité des résultats.
3
CONSIDÉRATIONS PRATIQUES RELATIVES À LA MESURE
v
Documentez tout.
Notez comment chaque résultat est mesuré et codé : incluez les outils, les guides de formation et les codes afin que d'autres puissent comprendre et reproduire votre travail.
4
58
La mesure du son garantit la qualité des données, mais seule une puissance statistique adéquate permet de révéler ce qui a réellement fonctionné.
Section 8
Déterminer la taille de l'échantillon et la puissance statistique
Considérations relatives à la conception pour l'Évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
La puissance statistique est la capacité de l'évaluation à détecter un effet réel lorsqu'il existe.
DÉTERMINER LA TAILLE DE L'ÉCHANTILLON ET LA PUISSANCE STATISTIQUE
DÉTERMINER LA TAILLE DE L'ÉCHANTILLON ET LA PUISSANCE STATISTIQUE
Ceci est particulièrement important pour déterminer le nombre de participants nécessaires.
Échantillon trop petit
Risque de faux négatifs
Échantillon trop grand
Gaspillage de ressources et d'efforts
Facteurs clés influant sur la puissance
DÉTERMINER LA TAILLE DE L'ÉCHANTILLON ET LA PUISSANCE STATISTIQUE
Taille de l'effet
Les effets importants sont plus faciles à détecter
Variation naturelle
Plus il y a de variations, plus les échantillons doivent être importants
Unité de randomisation La randomisation des communautés nécessite plus d'efforts que celle des individus
DÉTERMINER LA TAILLE DE L'ÉCHANTILLON ET LA PUISSANCE STATISTIQUE
63
Une puissance élevée transforme les effets invisibles en preuves visibles : c'est la différence entre une lampe torche faible et un radar clair.
POURQUOI LA PUISSANCE STATISTIQUE EST-ELLE IMPORTANTE ?
Section 9
Architecture de randomisation
Considérations relatives à la conception pour l'Évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
Choisir le niveau auquel la randomisation aura lieu signifie décider si l'intervention sera attribuée à des individus, des groupes, des écoles, des communautés ou autres.
ARCHITECTURE DE RANDOMISATION
Un nouveau programme scolaire ne peut être introduit que dans une classe entière, qui devrait donc constituer l'Unité de randomisation ?
ARCHITECTURE DE RANDOMISATION
VOTEZ DANS LE SONDAGE
La réponse est B :
La salle de classe est l'unité la plus pratique pour la randomisation.
C'est l'unité qui convient le mieux au projet.
ARCHITECTURE DE RANDOMISATION
Un programme d'alimentation scolaire mesure l'assiduité au niveau de l'école, et non celle de chaque élève individuellement. À quel niveau la randomisation doit-elle avoir lieu ?
ARCHITECTURE DE RANDOMISATION
VOTEZ DANS LE SONDAGE
La réponse est B :
Randomiser au niveau de l'école, le même niveau où les résultats sont mesurés.
Lorsque les données sont collectées pour des groupes, la randomisation doit correspondre à ce groupe.
ARCHITECTURE DE RANDOMISATION
Niveaux de randomisation
MÉCANISMES DE MESURE LE LONG DE LA CHAÎNE CAUSALE
Choisissez le niveau de randomisation qui correspond à la manière dont l'intervention est mise en œuvre et dont les résultats sont mesurés.
Individuel
Ménage
Communauté ou village
Établissement
Rappels par SMS concernant la vaccination envoyés aux personnes chargées de s'occuper des enfants
Transferts monétaires versés aux ménages
Campagnes de vaccination menées par les agents de santé communautaires
Formation à la communication interpersonnelle
Section 10
Lorsque la randomisation n'est pas possible
Considérations relatives à la conception pour l'Évaluation d'impact
D
TESTER LES HYPOTHÈSES
S
E
P
2
La randomisation n'est pas toujours possible
QUAND LA RANDOMISATION N'EST PAS POSSIBLE
QUAND LA RANDOMISATION N'EST PAS POSSIBLE
Dans ce cas, utilisez des méthodes quasi expérimentales. Ces méthodes utilisent des techniques statistiques pour se rapprocher de la randomisation. Mais méfiez-vous des biais.
Hypothèses fortes
Grands ensembles de données
Conseils d'experts
APERÇU
74
Testons certaines des considérations d'évaluation que nous venons de présenter.
Quelle est la première étape dans la conception d'une évaluation d'impact ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est B :
Définir des questions de recherche claires et exploitables.
Comprendre quelles questions nous devons répondre et quelles décisions les réponses à ces questions vont orienter.
QUE MESURER ET COMMENT
Pourquoi le moment et la fréquence des mesures sont-ils importants ?
QUE MESURER ET COMMENT
VOTEZ DANS LE SONDAGE
La réponse est A :
Parce que mesurer trop tôt ou trop tard peut masquer les véritables effets du programme.
Trop tôt : le changement n'est peut-être pas encore intervenu.
Trop tard : vous risquez de passer à côté des effets qui s'estompent ou qui sont faussés.
QUE MESURER ET COMMENT
APERÇU
79
Avant d'aller plus loin, il reste quelques points clés à aborder : comment mener l'évaluation et collecter les données pendant la mise en œuvre.
APERÇU
Pourquoi tester une hypothèse ?
Considérations relatives à la conception pour l'Évaluation d'impact
1
2
3
D
TESTER LES HYPOTHÈSES
S
E
P
Évaluation et recherche sur la mise en œuvre
APERÇU
01 Protocole d'évaluation
02 Plan de mise en œuvre
03 Approbation éthique
04 Suivi de la mise en œuvre et Évaluation du processus
05 Analyse coûts-avantages
Dans cette leçon�nous aborderons :
3
D
TESTER LES HYPOTHÈSES
S
E
P
Évaluation et RI
Section 1
Protocole d'évaluation
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
3
Un protocole d'évaluation est un plan détaillé qui décrit comment une intervention sera évaluée, transformant les décisions de conception en un guide prédéfini qui garantit la rigueur et prévient les biais.
PROTOCOLE D'ÉVALUATION
PROTOCOLE D'ÉVALUATION
Avant de rédiger un protocole d'évaluation, commencez par définir vos objectifs d'apprentissage à l'aide d'un Agenda d’apprentissage : un outil permettant d'organiser les questions clés pour l'évaluation.
Les éléments essentiels du protocole comprennent
PROTOCOLE D'ÉVALUATION
Détails de l'intervention : quoi, qui, à quelle fréquence
Théorie du changement : liens de causalité clairs
Questions d'évaluation : liées aux hypothèses
Calculs de puissance statistique : avec hypothèses énoncées
Plan de randomisation : y compris la stratification
Définitions des résultats : mesures exactes ou éléments d'enquête
Modèles analytiques : équations spécifiées
Covariables : fondées sur la théorie, et non sur les données
Analyses de sous-groupes : avec une justification claire
Attrition et conformité : procédures de traitement
Contrôles de robustesse : sensibilité des résultats des tests
Section 2
Plan de mise en œuvre
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
3
87
Même la meilleure conception d'évaluation peut échouer sans une bonne planification : celle-ci empêche les petites erreurs logistiques de fausser les résultats et permet à tout le monde de rester coordonné.
PLAN DE MISE EN ŒUVRE
Sans une planification claire, la collecte de données risque d'entrer en conflit avec les campagnes de vaccination.
Même les projets de recherche les plus rigoureux échouent lorsque les tablettes ne sont pas chargées.
Un plan de mise en œuvre est la feuille de route opérationnelle qui transforme la conception de l'évaluation en actions concrètes : il détaille qui fait quoi, quand, où et avec quelles ressources tout au long du cycle de vie de l'évaluation.
PLAN DE MISE EN ŒUVRE
Un plan de mise en œuvre comprend
PLAN DE MISE EN ŒUVRE
Calendrier et étapes clés détaillés
Des rôles et des responsabilités clairs
Les besoins en ressources et en logistique
Des plans de suivi et d'urgence
Des protocoles de communication
Éléments clés à prendre en compte pour élaborer un Plan de mise en œuvre
PLAN DE MISE EN ŒUVRE
Planifiez en tenant compte des contraintes fixes : travaillez à rebours à partir des trimestres scolaires, des récoltes ou des vacances.
Attribuez clairement les responsabilités : désignez une personne responsable pour chaque tâche.
Suivez la mise en œuvre, pas seulement les résultats : surveillez les progrès hebdomadaires.
Établissez un budget détaillé : incluez les coûts cachés tels que le transport, la traduction ou les remplacements.
Précisez le flux de données : définissez qui collecte, vérifie, transfère et stocke les données.
Préparez des plans d'urgence : anticipez les retards, les changements de personnel ou les changements de priorités.
Fournissez des outils pratiques : joignez des scripts, des listes de contrôle et des modèles afin que les équipes puissent agir sans avoir à deviner.
Section 3
Approbation éthique
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
3
L'approbation éthique est le processus formel visant à obtenir l'autorisation du comité d'éthique ou CER: une étape obligatoire pour garantir que l'évaluation est menée de manière légale, éthique et sous le contrôle de l'institution.
APPROBATION ÉTHIQUE
La gestion du processus d'approbation éthique implique
APPROBATION ÉTHIQUE
Identifier le ou les comités d'éthique compétents (université, ministère, UNICEF ou plusieurs)
Suivre la formation obligatoire en matière d'éthique pour tous les membres de l'équipe
Préparer et soumettre l'ensemble des documents dans les formats requis
Répondre aux commentaires des évaluateurs et aux demandes de clarification
Le maintien de la conformité par le biais de modifications, de rapports d'incidents et de renouvellements
PROTOCOLE D'ÉVALUATION
L'approbation éthique est légalement requise pour toute recherche impliquant des sujets humains.
Section 4
Suivi de la mise en œuvre et évaluation du processus
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
3
Le suivi de la mise en œuvre et l'évaluation du processus permettent de suivre la manière dont une intervention est mise en œuvre dans la pratique, en combinant un suivi régulier et une documentation structurée.
SUIVI DE LA MISE EN ŒUVRE ET ÉVALUATION DU PROCESSUS
PROTOCOLE D'ÉVALUATION
L'Évaluation du processus fait la distinction entre l'échec théorique et l'échec opérationnel.
Aucun impact �a été constaté
La théorie était-elle erronée ?
L'intervention n'a-t-elle pas été mise en œuvre correctement ?
Seuls 30 % des participants
ont bénéficié de l'intervention complète.
Il s'agit de contrôles structurés utilisant des outils standardisés pour évaluer plusieurs dimensions de la prestation.
APPROBATION ÉTHIQUE
Fidélité
Réalisé conformément à la conception
Portée
Couverture parmi la population cible
Dose
Fréquence et intensité
Qualité
Norme de prestation
Engagement
Compréhension et réponse des participants
Contexte
Facteurs externes influençant la mise en œuvre
Section 5
Analyse coûts-avantages
Évaluation et recherche sur la mise en œuvre
D
TESTER LES HYPOTHÈSES
S
E
P
3
Deux programmes d'alimentation scolaire améliorent tous deux l'assiduité scolaire.
Le programme A l'augmente de 10 %, tandis que le programme B l'augmente de 8 %. Quel programme choisiriez-vous ?
ANALYSE COÛTS-AVANTAGES
INSCRIVEZ
Et si vous saviez que le programme A augmente la fréquentation de 10 % et le programme B de 8 %, mais que le programme A coûte cinq fois plus cher que le programme B. Quel programme choisiriez-vous ?
ANALYSE COÛTS-AVANTAGES
INSCRIVEZ
ANALYSE COÛTS-AVANTAGES
Peut-être que 80 % de l'impact pourrait être atteint à 50 % du coût en rationalisant certains composants, ou que les coûts fixes qui semblent élevés pour un projet pilote seraient négligeables à grande échelle.
ANALYSE COÛTS-AVANTAGES
104
Sans une estimation rigoureuse des coûts, les programmes peuvent être abandonnés parce que jugés « trop coûteux » sur la base d'une compréhension incomplète, ou mis à l'échelle avec enthousiasme sans tenir compte de structures de coûts non viables.
UNE ÉVALUATION RIGOUREUSE DES COÛTS PEUT FAIRE OU DÉTRUIRE UN PROGRAMME
Une analyse des coûts calcule systématiquement toutes les ressources nécessaires pour mettre en œuvre une intervention et obtenir des résultats, ce qui permet de comparer différents programmes, modèles et options d'investissement.
ANALYSE COÛTS-AVANTAGES
Cela va au-delà des simples budgets- programmes pour englober le coût économique total de la réalisation des résultats.
ANALYSE COÛTS-AVANTAGES
Coûts directs
Personnel, matériel et opérations
Coûts indirects
Supervision, administration et frais généraux
Coûts d'opportunité
Temps consacré par les bénévoles, personnel gouvernemental, temps consacré par les participants
Coûts de démarrage vs coûts de fonctionnement
Mise en place initiale par rapport à la prestation continue
Coûts marginaux
Coût supplémentaire pour atteindre davantage de participants
APERÇU
107
Des tests rigoureux transforment les observations comportementales en preuves crédibles, qui permettent de déterminer quelles interventions il convient de mettre à l'échelle, d'adapter ou d'abandonner.
DE LA CONCEPTION À LA DÉCISION