Évaluation d’impact des projets

À quoi sert la prise de notes partagées ?

• Améliorer le contenu du cours : corrections, additions, références...
• Approfondir le cours avec des ressources complémentaires

Comment fonctionne la prise de notes partagées ?

• Vous pouvez télécharger ce document et le réutiliser

Rappel : Le questionnaire de fin de chapitre est à réussir tout seul, rappelons que le Code de conduite interdit de donner aux autres les solutions !

Sommaire du document

I. Prise de notes et questions sur le cours

Introduction

Chapitre 1 :  Fondamentaux de l’évaluation

Action, résultats, effets et impact

Objectifs et résultats

L’évaluation des effets

Apprécier l’impact

Chapitre 2 :  Le processus d’évaluation

Termes de références

Modalités de suivi et de construction de l’évaluation

Moyens, objectifs, buts et finalité de l’action

Chapitre 3 : Les termes de référence

Chapitre 4 : Construire des indicateurs

L’impact attendu

Définir les indicateurs

La situation de départ

L’impact réel

Chapitre 5 : Suivre et valoriser une évaluation

Les critères

A quoi sert l’évaluation ?

Bonnes pratiques

II. Pour approfondir : les lectures que vous recommandez…

I. Prise de notes et questions sur le cours

1.  Introduction

Ce module parle des projets autrement: contrairement aux autres formations qui traitent le projet comme un processus (concevoir, animer, piloter un projet), ce module se consacre aux résultats, c’est l'évaluation d’impact des projets. A-t-on obtenu ce qu’on voulait ? Quel est l’impact réel d’un projet ?

Bien comprendre l’impact final d’un projet peut être difficile ou compliqué. Cette formation vous permettra de conduire une démarche de réflexion avant de lancer un projet, ce qui s’appelle construire des termes de références. Elle abordera la définition des indicateurs qui servent à mener une évaluation juste et rigoureuse. Des éléments seront donnés pour prendre en compte toutes les parties prenantes d’un projet pour bien le comprendre avant lancement.

Objectifs de la formation de l’évaluation d’impact des projets:

• être capable d’établir des termes de références
• savoir évaluer un projet : connaître les bonnes pratiques
• construire et mettre en oeuvre des indicateurs d’impact
• comprendre et partager des concepts-clés.

Vocabulaire de l’évaluation d’impact des projets :

Finalité, Moyens, Restitution, Termes de référence, Critères, Objectifs/Résultats, Buts, Suivi-capitalisation, Effets, Objectifs, Impact prévu/réel, Situation de départ , indicateurs.

Le cycle des opérations :

2.  Chapitre 1 :  Fondamentaux de l’évaluation

• Action, résultats, effets et impact

• Une action a des objectifs.
• Les résultats sont les changements produits directement par une action. Ils sont à comparer avec les objectifs formalisés avant le lancement d’un projet.
• Les effets sont les incidences directes et indirectes d’une action. Ils correspondent aux résultats et à d'autres dynamiques/contraintes provenant du milieu. Ils peuvent être anticipés, mais avec une marge d'incertitude.

• p.e. Objectifs propres des populations

• L'impact est le changement final observé à la suite d'une action. Prévoir un impact est plus difficile que la prévision des effets car plusieurs facteurs extérieurs au projet interviennent. Le temps est un facteur car l’impact se juge ex-post, à terme (Il faut attendre “après” la fin du projet puis revenir plus tard pour pouvoir évaluer l’impact).

• Objectifs et résultats

• Différence entre objectif et résultat, selon le schéma ci-dessus toute action conduite doit produire des résultats directs.
• Au vu des objectifs initiaux de l'action, quels sont les résultats obtenus?

• Les résultats se jugent par rapport aux objectifs initiaux.
• Il existe deux visions : quantitative (comparaison d’un écart chiffré) et qualitative (différence de nature).

• L’évaluation des effets

Elle porte sur l’interaction entre l’action menée et l’environnement du projet :

• le public concerné par les effets est plus large que le public cible de l’action
• les stratégies menées par les personnes et les populations sont souvent difficiles à prévoir (cf. Cours Analyse Stratégique).
• des actions menées en parallèles ont interféré et les effets sont différents de ceux prévus

• Apprécier l’impact

Impact : ensemble des changements significatifs et durables, positifs et négatifs, prévus ou imprévus, sur les personnes, les groupes et leur environnement, ayant un lien de causalité avec l’action.

L’impact est difficile à anticiper ; pour cela il existe une méthodologie consistant à identifier les enjeux, les acteurs, les parties prenantes…(dirigeants, chefs, élus, groupe fonctionnaires financeur entreprise…) dont on analyse les zones d’incertitudes pour anticiper les stratégies à conduire. ( impact technique, impact économique, impact social impact financier et impact organisationnel)

Lien vers cours sur l’analyse stratégique : http://gestiondeprojet.pm/analyse-strategique/

Acteurs et parties prenantes du projet

-Dirigeants, chefs, élus

-Agents de l’Etat, des collectivités locales

-Groupes et associations

-Financeur, bailleur de fonds

-Opérateurs économiques

-etc

Il faut analyser leurs zones d’incertitudes et anticiper leurs stratégies

Chapitre 2 :  Le processus d’évaluation

• Termes de références

• Il s’agit d’un dossier établi au tout début du projet, pour cadrer et délimiter l’évaluation, et en préciser les objectifs : impacts attendus par une action et indicateurs de mesure, attentes claires du commanditaire vis-à-vis de l’évaluation. Qu’est-ce que l’on cherche à savoir sur une action: impact attendus, moyens de les mesurer… et être clair sur ce que le commanditaire attend de l’évaluation.
• Questions auxquelles les termes de référence répondent :

• Contexte de l’action (acteurs, milieu, antériorité) ?
• Que faut-il évaluer (questions évaluatives et critères de réussite) ?
• Impact attendu (indicateurs et méthodologie d’évaluation) ?
• Restitution des résultats (à qui et comment ?)
• Moyens (budget, planification, étapes du déroulement) ?

• Liens :

http://f3e.asso.fr/media/transfer/doc/note_tdr_relue_2.pdf

http://f3e.asso.fr/media/transfer/doc/preparation_collective_2.pdf 

• Modalités de suivi et de construction de l’évaluation

Différentes formes de suivi : suivi-évaluation et suivi-capitalisation

• Suivi-évaluation : faire régulièrement des points-bilans tout au long de l’action, qui sont des jalons (évaluations intermédiaires), pour améliorer le projet pendant son déroulement. A la fin du projet : évaluation finale. Après l’action, évaluation ex post. Évaluation interne (auto-évaluation) ou externe (audit), menées séparément ou pendant les réunions du projet. On peut évaluer les effets mais aussi le dispositif lui même (implication des acteurs…) permet de faire des changement avant la fin du projet.

• Suivi-capitalisation : collecter et analyser régulièrement l’information utile pour agir et évaluer. Mémorisation et stockage de l’information à chaque étape. Nécessité de prendre du recul (observation, écoute, distanciation, environnement de l’action, conservation par écrit les éléments repérés).

• Moyens, objectifs, buts et finalité de l’action

• Illustration terminologique par un cas pratique.

• Finalité : idéal vers lequel on tend, faisant référence à des valeurs ;
• But : matérialisation de la finalité = impact attendu (impact concret, non immédiat mais qui se juge ex post) ;
• Objectif : pouvant être ordonné dans le temps ou l’espace, classé comme objectif principal ou secondaire, c’est le résultat attendu d’une action ; atteindre les objectifs doit produire des résultats
• Moyen : financements, outils, compétences, méthodes… tout ce qui permet d’atteindre les objectifs ; indispensables, ils sont à mobiliser en premier.

• Pour réussir une évaluation, il faut prendre en considération les moyens, objectifs, buts et finalités.

3.  Chapitre 3 : Les termes de référence

Termes de référence : présentation du contexte global et présentation du projet (activités menées durant le projet, budget , calendrier du projet …)

• Exemple : IFADEM (Initiative francophone pour la formation à distance des maîtres). Alternance d’auto-formation à distance et de sessions en présentiel des instituteurs, pour un volume horaire total de 350 heures. Les parties prenante signataires de la convention du projet IFADEM sont l’AUF, l’OIF et le Ministère de l'éducation de base du Burundi. Le Pilotage est assuré par l’AUF et l’OIF.  Existence d’autres partenaires financier tel que l’AFD.
• Autre notion utile le cadre logique, qui constitue un outil de définition complet d’un projet (objectif, activités, moyen, résultat attendus, risques encourus, moyens pour surmonter les risques ou mitigation et indicateurs), vous pouvez vous reporter à cette vidéo.
• Définition des objectifs (quantitatifs et qualitatifs). Suivre ces objectifs nécessite de construire des indicateurs.

4.  Chapitre 4 : Construire des indicateurs

• L’impact attendu

• Il s’agit de mesurer l’impact réel d’un projet grâce des indicateurs, lesquels sont des signes vérifiables et mesurables qui fonctionnent par comparaison à une référence (situation de départ). Ils permettent de mettre en évidence l’impact réel et sont mis au point à partir de l’impact attendu du projet défini dans les Termes De Référence.
• L’évaluation de l’impact se fait en évaluant tous les effets du projet lors de l’évaluation ex post. Ces effets seront observables et mesurables à l’aide d’indicateurs définis.

• Définir les indicateurs

• Exemple d’IFADEM : Impact attendu > Amélioration des compétences professionnelles (pratiques et théoriques) des enseignants. Indicateurs qui dépendent des effets de l’impact attendu :

• Connaissances professionnelles, mesurées à travers un questionnaire remis aux enseignants
• Pratiques de classe, mesurée par l’observation directe à l’aide d’une grille d’observation créée avant (cf. Méthodes de recueil de données)

Lorsque les indicateurs sont définis, il faut élaborer des outils pour les mesurer.

• La situation de départ

• Définition de la situation de départ (avant la formation) par l’utilisation d’indicateurs :

• Tous les enseignants passent le questionnaire sur les connaissances professionnelles au début de la formation
• Observation des séances de classe
• Le recueil de ces données au démarrage du projet permet de définir la situation de départ.

• Globalement, il est procédé à une démarche déductive.

• L’impact réel

• Évaluation ex post : recueil des données sur la situation finale. Elle utilise les indicateurs définis au début du projet, en utilisant la même méthodologie (même outils, mêmes observateurs), pour observer une évolution éventuelle.
• Il s’agit d’une démarche inductive, permettant d’observer l’impact réel, à travers la comparaison des indicateurs en début et fin de projet (situation de départ vs. situation finale), qui permet de mesurer des écarts (évolution, différences) et des dynamiques (permet de se projeter, prolonger une tendance).
• L’observation des écarts et des dynamiques permet d’évaluer l’impact final du projet.

5.  Chapitre 5 : Suivre et valoriser une évaluation

• Les critères

Critères = qui permettent de juger qu’une action est plus ou moins réussie

• Ce sont les “angles de vue” permettant de porter un jugement sur l’impact final. Traditionnellement, ces critères sont au nombre de 3 :

• Efficacité : comparaison des résultats aux objectifs prévus (efficacité quantitative ou qualitative) ;
• Efficience : comparaison des résultats aux ressources utilisées (moyens humains et matériels) ;
• Pérennité : vérification que l’action est durable, soutenable, et peut se poursuivre de manière autonome, sans appui extérieur nécessaire.
• D’autres critères peuvent être utilisés : participation de tous, le respect de l’environnement, la cohérence avec d’autres projets...

• Lien : vidéo sur le brainstorming.

• IFADEM : 4 critères, mis au point dans les termes de référence :

• Pertinence : appréciation du bien-fondé des activités par rapport au contexte (cohérence interne = comment le projet a fonctionné globalement mobilisation de moyens et de dispositifs, est-ce que tout a bien fonctionné ensemble et cohérence externe = concordance avec les stratégies burundaises, avec les actions entreprises par d’autres acteurs) ;
• Efficacité : degré d’atteinte des objectifs et de l’impact final fixé, taux de réalisation du projet ;
• Efficience : rapport entre les activités conduites et les moyens consommés (étude de coût, notamment intéressant pour le financeur) ;
• Viabilité/Durabilité : capacité des bénéficiaires à pérenniser les actions menées. Est-ce que le système éducatif burundais pourra continuer à porter le projet (capacités humaines, techniques, financières ?)

• A quoi sert l’évaluation ?

• Contrôle, notamment dans le cadre d’un audit (suivi des procédures et de leur respect). ce qui a été prévu a été réalisé ? vérifier comment le financement à été utilisé ?
• Amélioration,  continue dans le cadre des projets futurs. décision à prendre pour s’améliorer dans les projets futurs
• Pilotage, avec d’éventuelles corrections minimes en cours de route. indique ce qui marche et ce qui ne marche pas, permet de faire des changements au cours du projet
• Capitalisation, par la mémorisation de l'expérience, la transformer en savoir et la partager.
• Formation, par une évaluation participative. Permet aux acteurs de progresser
• Communication : sur les actions menées, les résultats et l’impact final, etc., diffuser faire savoir ce qu’on a réussi à faire, prouver.
• Participation de toutes les parties prenantes notamment pour la construction des termes de référence. possibilité de consulter toutes les personnes.
• Mesure ; réflexion préalable à l’action ; connaître ses forces/faiblesses ; motivation...

• Bonnes pratiques

Qu’est-ce qui fait qu’une évaluation va bien marcher ou pas ?

• Volonté de progresser ou crainte de la remise en cause ?
• Equipe-projet : ouverte aux suggestions d’amélioration ? équipe stabilisée ?
• Convergences d’intérêts des acteurs ?
• Type de management : autoritaire/vertical ou collaboratif/horizontal ?
• Importance accordée à l’évaluation ? (durée moyens financiers et humains? temps de restitution?)
• Suite donnée à l’évaluation ? (des moyens pour appliquer les conclusion, une valorisation, une corvée?)
• Résultats d’IFADEM : http://www.ifadem.org

II. Pour approfondir : questions à se poser

• Votre pratique de ces mêmes outils correspond-elle  à la définition proposée dans ce chapitre ?
• Estimez-vous que votre formation scolaire/universitaire vous a préparé(e) à l’usage de ces outils professionnels ?
• ...

Vous pouvez suggérer ici d’autres questions mais pour y répondre ce n’est pas sur ce document => rendez-vous sur le fil de discussion prévu.

III. Pour approfondir : les lectures que vous recommandez…

• Le site de F3E : http://f3e.asso.fr
• Analyse coût avantage (sur Wikipédia)
• cours de Rémi Bachelet http://rb.ec-lille.fr/

• l'évaluation d’un site internet : web analytics
• méthodes de recueil et d’analyse de données

• Exemple de tableau de bord de l’évaluation : https://goo.gl/162sp
• Quiz dans gestiondeprojet.pm : QUIZIntro     - QUIZchap1    QUIZchap2   - QUIZchap3    QUIZchap4    QUIZchap5

IV. Pour approfondir : les extraits des forums de discussion

• Quelle pourrait être la nuance/différence entre cahier des charges et termes de références ?(Armelle kouadio Jacote)

Les termes de références sont spécifiquement orientés vers l'évaluation d'un projet, alors que le cahier des charges est un document formulant le besoin du client [pour le cahier des charges fonctionnel (CdCF) qui est l'objet d'un autre module](Rémi Bachelet).

V. Pour approfondir : vos suggestions d’amélioration