3 of 18

Cíl diplomové práce

Cílem je zhodnocení evaluační praxe u projektů české zahraniční rozvojové spolupráce (ZRS) prostřednictvím zhodnocení kvality evaluačních zpráv (EZ).
Formální zhodnocení = byly dodrženy formálně správné metodické postupy vyhodnocení intervencí
Obsahové zhodnocení = jaké informace a v jaké kvalitě obsahuje
Interpretace = odpovídají interpretace zjištěním
Identifikace slabých a silných stránek – formulace doporučení ohledně osnovy EZ a kroků, které by mohly dopomoci zkvalitnit stávající evaluační praxi

Výzkumné otázky

Hlavní otázka 1) Jaká je evaluační praxe projektů české rozvojové spolupráce s ohledem na kvalitu výzkumných metod a prezentace poznatků?

Dílčí otázka 1.1) Jaké výzkumné metody a postupy převažují? Jsou tyto metody dostatečně robustní pro vyvozované závěry?

Dílčí otázka 1.2) Odpovídá interpretace výsledků využitým výzkumným metodám?

Hlavní otázka 2) Poskytují zkoumané evaluační zprávy, jakožto hlavní výstupní dokument evaluací projektů české ZRS, kvalitní, dále využitelné informace o hodnocených intervencích?

Dílčí otázka 2.1) Jaká je kvalita zpracování evaluačních zpráv?

Dílčí otázka 2.2) Obsahují evaluační zprávy dostatečné a kvalitní informace o efektivitě hodnocených intervencí?

4 of 18

Tabulka č.1 Sektor a země realizace evaluovaných projektů a programů

*Jedna evaluační zpráva může být zahrnuta ve více sektorech dle zaměření jednotlivých projektů

**Země zahrnuté v programu: Vysílání expertů do rozvojových zemí 2016-2018

***Zdroj: ZÁVĚREČNÁ ZPRÁVA EVALUACE - „Vyhodnocení programu posilování kapacit a partnerství nestátních neziskových organizací a platforem nestátních subjektů pro rozvojovou spolupráci za léta 2017-2019“

Zdroj: Vlastní výzkum – textová analýza evaluačních zpráv

Sektor	Země realizace projektu	Počet EZ*
Zemědělství a rozvoj venkova	Moldavsko, BiH	4
Státní správa a občanská společnost	Gruzie, BiH, Srbsko, (Afghánistán, BiH, Etiopie, Gruzie, Kosovo, Moldavsko, Mongolsko, Srbsko, Ukrajina**)	4
Vzdělávání (stipendia, vysílání učitelů)	ČR, prioritní země ZRS ČR či jinak specificky definované země ZRS ČR	2
B2B	BiH, Srbsko	1
Ochrana ŽP	Gruzie	1
GRV	ČR	1
Finanční podpora českých neziskových organizací a jiných subjektů	Všechny rozvojové země (s důrazem na prioritní země ZRS ČR), ČR, země EU	1
Podpora základních a odborných kapacit a rozvojových partnerství neziskových organizací a platforem činných v oblasti ZRS ČR	Nerelevantní***	1
Nastavení obecného rámce kontrol pro projekty tzv. delegované spolupráce (interní evaluace)	ČR (Moldavsko)	1
Humanitární pomoc	Kambodža, Etiopie, Indonésie, Zambie	1

Charakteristika využitých zdrojů dat

Vzorek: 15 evaluačních zpráv (2018-2022)
Zadavatel – MZV
Zhotovitel

externí evaluace - 14 EZ - týmy nezávislých evaluátorů a expertů na danou problematiku (výběr na základě veřejné soutěže)
interní evaluace – 1 EZ – MZV/ORS
Typ / průběh evaluace

ex-post: 11 EZ hodnoceno v krátké době po skončení projektu, 1 EZ před dokončením projektu, u 2 EZ nelze určit, zda projekt ještě probíhal
mid-term: 1 EZ (interní evaluace)

Různé zaměření evaluovaných intervencí – tematicky i geograficky
Evaluace hodnotily

2x sektor
9x program
4x projekt

Deklarovaný účel evaluací: „získání objektivně podložených informací a konzistentních závěrů pro účely rozhodování pro další zaměření a způsob realizace projektů“

5 of 18

Metodika – proces vyhodnocení

Obsahová analýza EZ

Vytvoření hodnotícího schématu

Zhodnocení dat z EZ skrze hodnotící schéma

Srovnání výsledků nezávislého hodnocení mezi dvěma výzkumnicemi

Bodové schéma

Vyhodnocení evaluační praxe dle zjištění

Prezentace příkladů dobré a špatné praxe

Hlavní závěry a doporučení pro budoucí praxi

Kombinace existujícího kontrolního seznamu s otázkami pro zhodnocení kvalitativního a smíšeného výzkumného designu

Vybraný vzorek EZ – evaluace projektů zahraniční rozvojové spolupráce v gesci MZV (2018-2022)

Spolupráce Barbora Latečková

6 of 18

Metodika - hodnotící schéma

Zdroj: autorka DP

Tabulka č.2 Rozdělení hodnotícího schématu do jednotlivých sekcí

7 of 18

Vybrané poznatky – celkové bodové vyhodnocení

Graf č.1 Počet EZ dle získaných bodů

Zdroj: vlastní výzkum – analýza EZ

8 of 18

Tabulka č.9 Bodové vyhodnocení analýzy evaluačních zpráv dle hodnotícího schématu

*Max dosažitelný počet bodů 45 b.

Zdroj: vlastní výzkum – analýza EZ

�

9 of 18

Hlavní zjištění a závěry

Všechny evaluace lze z hlediska designu výzkumu zarámovat jako neexperimentální s převažujícími kvalitativními metodami sběru a analýzy dat s doplněním dotazníkových šetření
Výzkumy mají často povahy exploračních sond, než robustních výzkumů (omezené finanční prostředky a časová kapacita)
Častá neexistence base-line dat a nedostatečná praxe sbírání dat v průběhu realizace dané intervence
Odhalení přičitatelnosti efektů konkrétních intervencí je v mnohých případech problematické, autoři tak nezřídka odstupují od jejich hodnocení

10 of 18

Hlavní zjištění a závěry – Sekce 1 – Design a evaluační otázky

Hodnocené evaluace pracují ve velmi malé míře s teorií změny (teoretickým modelem mechanismu intervence)
Chybí zasazení evaluací do širšího kontextu problematiky a odborné literatury
Sledované indikátory a hodnoty pro zodpovězení daných EO nebyly ve většině případů dostatečně prezentovány
Mísení projektové a programové úrovně = EO stejné

11 of 18

Hlavní zjištění a závěry – Sekce 2 – Data

Využívané kvalitní zdroje dat, nedostatky v četnosti (ovlivněno pandemií covid-19)
Málo prostoru je věnováno informacím o metodologii (součástí přílohy) – málo prezentována evaluační matice (5 z 15 EZ)
Málo prostoru je věnováno popisu cílových a dalších zainteresovaných skupin, a to i s ohledem na popis výběru výzkumného vzorku a hodnocení jeho nasycenosti
V rámci textu zjištění není v dostatečné míře pracováno s popisem charakteristiky dat, jako je popis vzorku, který by umožňoval detailní vyhodnocení inferenčního procesu.
Indikátory kvality designu (metod) evaluačního výzkumu (validita, reliabilita, relevance, spolehlivost, důvěryhodnost) autoři sledovaných evaluací ve většině případů explicitně nepopisují

12 of 18

Hlavní zjištění a závěry – Sekce 3 – Interpretace zjištění a doporučení

Stěžejním je propojení textu a konkrétních zjištění a zdrojů informací – dobrá praxe kódování zdrojů dle cílových skupin
Otázka reálného využití triangulace – důležitá zpětná vazba cílových skupin, ne pouze implementační struktury
Důležitá prezentace limitů evaluačního výzkumu a práce s nimi
Mezi sledovanými zprávami se významně liší kvalita zpracování doporučení. Obecné formulace, bez konkrétního implementačního návrhu a objasnění výběru daného doporučení snižují hodnotu tohoto zásadního výstupu evaluace.

13 of 18

Využití jednoho zdroje dat – evaluační zprávy – poskytují omezené množství a typ informací o evaluaci

Práce nejde do hloubky některých aspektů kvality evaluace, nesleduje detailně konkrétní rozhodnutí a postupy evaluátorů - větší počet hodnocených EZ
Vhodná by byla získaná zpětná vazba a dodatečné informace od evaluátorů – nebylo provedeno z důvodu nedostatku kapacity

Limity DP

14 of 18

Doporučení

Strategické plánování a logická návaznost: Nastavit kvalitní strategii programů a projektů již v přípravné fázi, zajistit logickou návaznost cílů, výstupů a výsledků, a propojit evaluační otázky s celkovým záměrem.
Integrovaný proces evaluace: Zahrnout proces evaluace už při schvalování projektů a programů, včetně zajištění základních dat (baseline), průběžného sběru dat a kvalitního monitoringu.
Transparentní metodologie a data: Důsledně popsat metodologii evaluací (včetně limitů, validace, reliability a relevance), zdroje dat a výzkumný vzorek, aby byly výsledky přenositelné, spolehlivé a důvěryhodné.
Kvalitní teoretické zarámování: Prezentovat teoretický rámec a logiku programu včetně teorie změny a souvisejících indikátorů.
Detailní popis zapojených skupin a vybraného vzorku: Poskytnout detailní charakteristiku cílových a dalších zainteresovaných skupin i způsobu výběru výzkumných vzorků, včetně role expertů.
Důsledné citace a validace: Striktně uvádět zdroje dat a citace v souladu s vědeckou praxí, validovat zjištění se zainteresovanými stranami a zajistit jejich participaci na hodnocení.
Zakotvení doporučení v datech: Formulovat konkrétní, proveditelná a na zjištěních založená doporučení s jasným plánem realizace pro jejich lepší využití.

15 of 18

Zahraniční praxe

16 of 18