Er bestaat een hiërarchie in de manier waarop ontwikkeling en humanitair werk worden gemeten, en bijna alle publieke communicatie vindt plaats op de laagste trede ervan. Als u de ladder begrijpt, wordt het onmiddellijk duidelijk welke beweringen worden ondersteund door bewijsmateriaal en welke worden ondersteund door bewoordingen.
De meetladder
| Niveau | Voorbeeld | Wat het vereist | Frequentie in rapportage |
|---|---|---|---|
| Invoer | $ 50.000 uitgegeven; 1.100 dozen aangeschaft | Boekhoudkundige gegevens | Gewoon |
| Activiteit | Twaalf screeningsrondes uitgevoerd | Activiteitenlogboeken | Gewoon |
| Uitvoer | 3.400 kinderen gescreend; 610 toegelaten tot behandeling | Programmarecords | Gewoon |
| Resultaat | 82 procent van de opgenomen kinderen bereikte de ontslagcriteria | Vervolgregistraties met gedefinieerde criteria | Ongewoon |
| Invloed | De sterfte in het stroomgebied daalde ten opzichte van wat het zou zijn geweest | Een vergelijkingsgroep of geloofwaardige modellering | Zeldzaam |
Waarom ‘mensen bereikt’ zo weinig betekent
De uitdrukking heeft geen standaarddefinitie en dat is precies waarom deze populair is. Afhankelijk van de organisatie kan het een van de volgende betekenissen hebben, en het zijn allemaal verdedigbare interpretaties van dezelfde woorden.
- Mensen die een tastbaar item of dienst hebben ontvangen.
- Mensen die een sessie bijwoonden, ongeacht of er iets veranderde.
- Mensen die zijn gescreend, inclusief degenen waarvan is vastgesteld dat ze geen hulp nodig hebben.
- Leden van het huishouden geteld vanaf één enkele ontvanger – één voedselpakket bereikte uiteindelijk zes mensen.
- Het aantal inwoners van een district waarin een programma actief was.
- Het publiek van een radioboodschap of een postercampagne.
Omdat dezelfde zin alle zes omvat, is het vergelijken van de bereikcijfers van twee organisaties niets met elkaar te vergelijken. De nuttige vraag is eenvoudig: waarmee wordt bereikt, en hoe weet je dat ze het hebben ontvangen?
Het contrafeitelijke scenario, waar de meeste claims stilletjes mislukken
Stel dat het aantal ondervoedingsopnames in een district daalt in een jaar waarin een voedingsprogramma heeft plaatsgevonden. Mogelijk heeft het programma dit veroorzaakt. Dat geldt ook voor een goede oogst, een weg die wordt gerepareerd, het werk van een andere instantie in hetzelfde district, een verandering in het screeningsprotocol of de bevolking die naar elders verhuist.
Om vast te stellen dat het programma de verandering heeft veroorzaakt, moet je weten wat er zonder het programma zou zijn gebeurd. Rigoureuze benaderingen – gerandomiseerde ontwerpen, op elkaar afgestemde vergelijkingsdistricten, analyse van verschillen in verschillen – bestaan en zijn duur. Hun afwezigheid in een kleine organisatie is volkomen redelijk. Wat niet redelijk is, is het beweren van causaliteit, terwijl de vergelijking ontbreekt die dit zou bevestigen.
Zonder counterfactual is een impactclaim een verhaal over een toeval waarbij je toevallig aanwezig was.
Het centrale probleem bij het toekennen van programma-effecten
Wat een verdedigbare claim eigenlijk inhoudt
- Een gedefinieerde indicatorGeen ‘verbeterde voeding’ maar een specifieke maatregel met een drempel – herstel naar een gesteld ontslagcriterium bijvoorbeeld.
- Een noemerVan hoeveel kinderen zijn er 610 hersteld? Alleen al een teller verbergt de wanbetalings- en sterftecijfers.
- Een tijdsperiode en een locatieClaims zonder data kunnen nergens aan worden getoetst, en het werk op districtsniveau mag niet worden beschreven met nationale cijfers.
- Een meetmethodeWie de gegevens heeft verzameld, hoe en met welk monster. Zelfgerapporteerde cijfers van personeel wier financiering ervan afhangt, zijn zwakker bewijs dan verificatie door derden.
- Een erkende beperkingDe meest geloofwaardige berichtgeving benoemt wat zij niet kan vaststellen. Organisaties die hun eigen onzekerheid uiten, zijn doorgaans degenen die iets meten.
Vier beweringen die een vraag zouden moeten oproepen
| Claim | Waarom het een probleem is |
|---|---|
| “$X redt een leven” | Behandelt de gemiddelde bevallingskosten als een gegarandeerd individueel resultaat, waarbij wordt genegeerd dat niet elk behandeld kind overleeft en dat niet elke overlevende behandeling nodig heeft |
| “100 procent van uw donatie gaat naar het veld” | Ofwel onwaar, ofwel waar omdat iemand anders de overheadkosten betaalt, of waar omdat de overheadkosten niet worden gemaakt – wat een zwakte is |
| “We hebben 1 miljoen mensen bereikt” | Bijna altijd een samenvoeging van losjes gedefinieerde contacten over jaren en programma's heen |
| Drie jaar op rij een identiek succespercentage gerapporteerd | Echte programma’s fluctueren; onveranderlijke cijfers suggereren dat een doelstelling wordt aangepast in plaats van dat er een meting wordt uitgevoerd |
De eerlijke positie voor een kleine organisatie
Een jonge organisatie kan geen gecontroleerde evaluatie uitvoeren, en doen alsof het anders is, is erger dan het toegeven. Maar het alternatief is niet zwijgen. De gerapporteerde output met datums, hoeveelheden, genoemde leveranciers, bestemmingen en verliezen is verifieerbaar, cumulatief en wordt later de grondstof voor echte uitkomstmeting.
HopePlates werkt aan verlichting van ondervoeding bij kinderen en therapeutische voeding. We beschrijven wat met een donatie wordt gekocht aan inputs en outputs (ingekochte hoeveelheden, leveranciers, bestemmingen, data) en publiceren de opgehaalde en bestede totalen in plaats van alleen de opgehaalde bedragen. We vermijden bewust om deze om te zetten in levensreddende rekenkunde, omdat de conversie aannames vereist die we zouden verzinnen in plaats van meten.
Veelgestelde vragen
Wat is het verschil tussen een output en een uitkomst?
Een resultaat is wat de organisatie heeft geleverd: kinderen gescreend, dozen uitgedeeld, sessies gehouden. Een resultaat is wat er voor mensen veranderde: herstelpercentages, schoolbehoud, vermeden ziekte. Uitgangen zijn telbaar vanuit interne records; uitkomsten vereisen opvolging.
Waarom wordt ‘mensen bereikt’ zo vaak bekritiseerd?
Omdat het geen standaarddefinitie heeft. Het kan van alles betekenen, van iemand die een behandeling krijgt tot iemand die een radiobericht hoort. De cijfers van twee organisaties zijn dus niet vergelijkbaar en geen van beide wijst op een voordeel.
Is het verkeerd als een liefdadigheidsinstelling zegt dat een donatie een leven redt?
Het is een vereenvoudiging die de gemiddelde geleverde kosten omzet in een beloofd individueel resultaat. Het onderliggende cijfer is doorgaans een reële kostenberekening; het kader overschat zekerheid, omdat overleving afhangt van infectie, afstand, follow-up en nog veel meer.
Moet ik alleen organisaties financieren met strenge impactevaluaties?
Die regel zou vrijwel elke kleine en nieuwe organisatie uitsluiten, inclusief veel goede. Een meer praktische test is of de outputrapportage specifiek, gedateerd en controleerbaar is, en of de organisatie eerlijk is over wat ze niet heeft gemeten.
Wat betekent dat 100 procent van uw donatie naar het veld gaat?
Meestal dat een afzonderlijke financier de administratie dekt, of dat de organisatie de kosten ongebruikelijk classificeert, of dat zij geen kosten maakt die ze aantoonbaar zou moeten maken. Het is eerder een marketingverklaring dan een boekhoudkundige verklaring, en het is de moeite waard om u af te vragen welke van de drie van toepassing is.
Hoe kan ik zelf een uitkomstclaim controleren?
Vraag naar de indicatordefinitie, de noemer, de periode, de locatie en wie de gegevens heeft verzameld. Elke claim die een van deze vijf mist, kan door niemand buiten de organisatie worden beoordeeld, inclusief het eigen bestuur van de organisatie.
Bronnen en verder lezen
- Sphere Handbook — prestatie-indicatoren en minimumnormen, inclusief drempels voor herstel- en wanbetalingspercentages
- Humanitaire kernnorm inzake kwaliteit en verantwoordelijkheid
- OESO-DAC-criteria voor het evalueren van ontwikkelingshulp
- Methodologische literatuur over contrafeitelijke analyse en attributie bij programma-evaluatie
- HopePlates-transparantiepagina - gedateerde outputs, leveranciers en bestede totalen