Det finns en hierarki i hur utveckling och humanitärt arbete mäts, och nästan all offentlig kommunikation sker på det lägsta steget. Att förstå stegen gör det omedelbart uppenbart vilka påståenden som stöds av bevis och vilka som stöds av fraser.
Mätstegen
| Nivå | Exempel | Vad det kräver | Frekvens i rapportering |
|---|---|---|---|
| Input | 50 000 USD spenderat; 1 100 kartonger inhandlade | Bokföring | Gemensam |
| Aktivitet | Tolv visningsomgångar genomfördes | Aktivitetsloggar | Gemensam |
| Produktion | 3 400 barn screenade; 610 antagna till behandling | Programrekord | Gemensam |
| Resultat | 82 procent av de intagna barnen nådde utskrivningskriterier | Uppföljningsprotokoll med definierade kriterier | Ovanlig |
| Inverkan | Dödligheten i avrinningsområdet sjönk i förhållande till vad den skulle ha varit | En jämförelsegrupp eller trovärdig modellering | Sällsynt |
Varför "människor nått" betyder så lite
Frasen har ingen standarddefinition, vilket är exakt varför den är populär. Beroende på organisation kan det betyda något av följande, och alla är försvarbara tolkningar av samma ord.
- Människor som fått en påtaglig vara eller tjänst.
- Människor som deltog i en session, oavsett om något förändrades eller inte.
- Människor som screenades, inklusive de som inte behövde hjälp.
- Hushållsmedlemmar räknade från en enda mottagare - ett matpaket som blev sex personer nåddes.
- Befolkningen i ett distrikt där ett program verkade.
- Publiken för ett radiomeddelande eller en affischkampanj.
Eftersom samma fras täcker alla sex, jämför två organisationers räckviddssiffror ingenting. Den användbara frågan är helt enkelt: nått med vad och hur vet du att de fått det.
Det kontrafaktiska, det är där de flesta påståenden tyst misslyckas
Anta att undernäringsintagningar i ett distrikt faller under ett år då ett näringsprogram verkade. Programmet kan ha orsakat det. Så kan en bra skörd, en väg som repareras, en annan byrås arbete i samma distrikt, en förändring av screeningprotokollet eller att befolkningen flyttar någon annanstans.
Att fastställa att programmet orsakade förändringen kräver att man vet vad som skulle ha hänt utan det. Rigorösa tillvägagångssätt – randomiserade konstruktioner, matchade jämförelsedistrikt, analys av skillnader i skillnader – finns och är dyra. Deras frånvaro i en liten organisation är helt rimlig. Vad som inte är rimligt är att hävda orsakssamband samtidigt som det saknas den jämförelse som skulle fastställa det.
Utan en kontrafaktisk är ett påverkanspåstående en berättelse om en slump du råkade vara närvarande för.
Det centrala problemet med att tillskriva programeffekter
Vad ett försvarbart påstående faktiskt innehåller
- En definierad indikatorInte ”förbättrad nutrition” utan en specifik åtgärd med ett tröskelvärde – till exempel återhämtning till ett angivet utsläppskriterium.
- En nämnare610 barn tillfrisknade av hur många som togs in? Enbart en täljare döljer fallissemang och dödlighet.
- En tidsperiod och en platsPåståenden utan datum kan inte kontrolleras mot någonting, och arbete på distriktsnivå ska inte beskrivas med nationella siffror.
- En mätmetodVem samlade in data, hur och med vilket prov. Självrapporterade siffror från personal vars finansiering beror på dem är svagare bevis än tredjepartsverifiering.
- En erkänd begränsningDen mest trovärdiga rapporteringen nämner vad den inte kan fastställa. Organisationer som anger sin egen osäkerhet är oftast de som mäter något.
Fyra påståenden som borde föranleda en fråga
| Krav | Varför det är ett problem |
|---|---|
| "$X räddar ett liv" | Behandlar en genomsnittlig levererad kostnad som ett garanterat individuellt resultat, och ignorerar att inte alla behandlade barn överlever och inte alla överlevande behövde behandling |
| "100 procent av din donation går till fältet" | Antingen är det osant, eller sant för att någon annan betalar omkostnaderna, eller sant för att omkostnaderna inte uppstår - vilket är en svaghet |
| "Vi har nått 1 miljon människor" | Nästan alltid en samling av löst definierade kontakter över år och program |
| En identisk framgångsprocent rapporterad under tre år i rad | Verkliga program fluktuerar; oförändrade siffror tyder på att ett mål omräknas snarare än att en mätning görs |
Den ärliga positionen för en liten organisation
En ung organisation kan inte genomföra en kontrollerad utvärdering, och att låtsas något annat är värre än att erkänna det. Men alternativet är inte tystnad. Utgångar som rapporteras med datum, kvantiteter, namngivna leverantörer, destinationer och förluster är verifierbara, kumulativa och blir råvaran för genuin resultatmätning senare.
HopePlates arbetar med lindring av barns undernäring och terapeutisk näring. Vi beskriver vad en donation köper i input och output - kvantiteter upphandlade, leverantörer, destinationer, datum - och publicerar insamlade och förbrukade summor snarare än insamlade ensamma. Vi undviker medvetet att omvandla dessa till räddade liv, eftersom omvandlingen kräver antaganden som vi skulle hitta på snarare än att mäta.
Vanliga frågor
Vad är skillnaden mellan ett resultat och ett resultat?
En utdata är vad organisationen levererade - barn screenade, kartonger delade ut, sessioner som hölls. Ett resultat är vad som förändrades för människor - återhämtningsgrad, kvarhållning i skolan, sjukdom undviken. Utgångar kan räknas från interna poster; resultat kräver uppföljning.
Varför kritiseras "människor som nås" så ofta?
Eftersom det inte har någon standarddefinition. Det kan betyda allt från att någon får behandling till att någon hör ett radiomeddelande, så två organisationers siffror är inte jämförbara och ingen av dem indikerar nytta.
Är det fel av en välgörenhetsorganisation att säga att en donation räddar ett liv?
Det är en förenkling som omvandlar en genomsnittlig levererad kostnad till ett utlovat individuellt utfall. Den underliggande siffran är vanligtvis en verklig kostnadskalkyl; inramningen överdriver vissheten, eftersom överlevnad beror på infektion, avstånd, uppföljning och mycket annat.
Ska jag bara finansiera organisationer med rigorösa effektutvärderingar?
Den regeln skulle utesluta nästan alla små och nya organisationer, inklusive många bra. Ett mer praktiskt test är om resultatrapporteringen är specifik, daterad och verifierbar, och om organisationen är ärlig om vad den inte har mätt.
Vad betyder 100 procent av din donation till fältet?
Vanligtvis att en separat finansiär täcker administrationen, eller att organisationen klassificerar kostnader ovanligt, eller att den inte drar på sig kostnader som den kanske borde. Det är ett marknadsföringsutlåtande snarare än ett bokföringsutlåtande, och det är värt att fråga vilken av de tre som gäller.
Hur kan jag själv kontrollera ett resultatanspråk?
Fråga efter indikatordefinitionen, nämnaren, perioden, platsen och vem som samlat in uppgifterna. Eventuella anspråk som saknar en av dessa fem kan inte bedömas av någon utanför organisationen, inklusive organisationens egen styrelse.
Källor och vidare läsning
- Sphere Handbook — prestandaindikatorer och minimistandarder, inklusive återställnings- och standardtrösklar
- Grundläggande humanitär standard för kvalitet och ansvarighet
- OECD DAC kriterier för utvärdering av bistånd
- Metodlitteratur om kontrafaktisk analys och attribution vid programutvärdering
- HopePlates-transparenssida — daterade utdata, leverantörer och totalsummor