Esiste una gerarchia nel modo in cui vengono misurati lo sviluppo e il lavoro umanitario, e quasi tutta la comunicazione pubblica avviene al livello più basso. Comprendere la scala rende immediatamente ovvio quali affermazioni sono supportate da prove e quali sono supportate da frasi.
La scala di misura
| Livello | Esempio | Cosa richiede | Frequenza nella segnalazione |
|---|---|---|---|
| Ingresso | $ 50.000 spesi; Acquistati 1.100 cartoni | Registrazioni contabili | Comune |
| Attività | Sono stati condotti dodici cicli di screening | Registri delle attività | Comune |
| Produzione | 3.400 bambini sottoposti a screening; 610 ricoverati in cura | Registrazioni del programma | Comune |
| Risultato | L'82% dei bambini ammessi ha raggiunto i criteri di dimissione | Record di follow-up con criteri definiti | Non comune |
| Impatto | La mortalità nel bacino è diminuita rispetto a quella che sarebbe stata | Un gruppo di confronto o un modello credibile | Rara |
Perché “persone raggiunte” significa così poco
La frase non ha una definizione standard, ed è proprio per questo che è popolare. A seconda dell'organizzazione può significare uno qualsiasi dei seguenti, e sono tutte interpretazioni difendibili delle stesse parole.
- Persone che hanno ricevuto un bene o un servizio tangibile.
- Persone che hanno partecipato a una sessione, indipendentemente dal fatto che qualcosa sia cambiato o meno.
- Persone che sono state sottoposte a screening, comprese quelle che non hanno avuto bisogno di aiuto.
- I membri della famiglia sono stati contati a partire da un singolo destinatario: un pacco alimentare è diventato sei persone raggiunte.
- La popolazione di un distretto in cui è stato operato un programma.
- Il pubblico di un messaggio radiofonico o di una campagna di affissioni.
Poiché la stessa frase copre tutti e sei, il confronto dei dati sulla portata di due organizzazioni non confronta nulla. La domanda utile è semplicemente: raggiunto con cosa e come fai a sapere di averlo ricevuto.
Il controfattuale, che è il luogo in cui la maggior parte delle affermazioni falliscono silenziosamente
Supponiamo che i ricoveri per malnutrizione in un distretto diminuiscano nell'arco di un anno in cui è stato attivato un programma nutrizionale. Il programma potrebbe averlo causato. Lo stesso vale per un buon raccolto, una strada in riparazione, il lavoro di un’agenzia diversa nello stesso distretto, un cambiamento nel protocollo di screening o lo spostamento della popolazione altrove.
Per stabilire che il programma ha causato il cambiamento è necessario sapere cosa sarebbe successo senza di esso. Esistono approcci rigorosi – disegni randomizzati, distretti di confronto abbinati, analisi delle differenze nelle differenze – e sono costosi. La loro assenza in una piccola organizzazione è del tutto ragionevole. Ciò che non è ragionevole è affermare la causalità senza il confronto che la stabilirebbe.
Senza un controfattuale, un'affermazione sull'impatto è una storia su una coincidenza alla quale ti è capitato di essere presente.
Il problema centrale nell’attribuire gli effetti del programma
Cosa contiene effettivamente un'affermazione difendibile
- Un indicatore definitoNon un “miglioramento della nutrizione”, ma una misura specifica con una soglia – ad esempio il ripristino di un criterio di dimissione stabilito.
- Un denominatore610 bambini guariti su quanti ricoverati? Solo un numeratore nasconde i tassi di default e di mortalità.
- Un periodo di tempo e un luogoLe dichiarazioni senza data non possono essere confrontate con nulla e il lavoro a livello distrettuale non dovrebbe essere descritto con dati nazionali.
- Un metodo di misurazioneChi ha raccolto i dati, come e con quale campione. I dati auto-riferiti dal personale il cui finanziamento dipende da loro sono prove più deboli rispetto alla verifica di terze parti.
- Un limite riconosciutoI resoconti più credibili nominano ciò che non possono stabilire. Le organizzazioni che dichiarano la propria incertezza sono solitamente quelle che misurano qualcosa.
Quattro affermazioni che dovrebbero far sorgere una domanda
| Reclamo | Perché è un problema |
|---|---|
| “$X salva una vita” | Tratta il costo medio erogato come un risultato individuale garantito, ignorando che non tutti i bambini trattati sopravvivono e che non tutti i sopravvissuti necessitano di cure |
| “Il 100% della tua donazione va sul campo” | O falso, o vero perché qualcun altro sta pagando le spese generali, o vero perché le spese generali non vengono sostenute, il che è un punto debole |
| “Abbiamo raggiunto 1 milione di persone” | Quasi sempre un'aggregazione di contatti vagamente definiti attraverso anni e programmi |
| Una percentuale di successo identica riportata per tre anni consecutivi | I programmi reali fluttuano; dati immutabili suggeriscono che l’obiettivo venga riformulato piuttosto che che venga effettuata una misurazione |
La posizione onesta per una piccola organizzazione
Una giovane organizzazione non può condurre una valutazione controllata, e fingere il contrario è peggio che ammetterlo. Ma l’alternativa non è il silenzio. I risultati riportati con date, quantità, fornitori nominati, destinazioni e perdite sono verificabili, cumulativi e diventano la materia prima per la misurazione dei risultati reali in un secondo momento.
HopePlates lavora sul sollievo dalla malnutrizione infantile e sulla nutrizione terapeutica. Descriviamo ciò che una donazione acquista in input e output (quantità procurate, fornitori, destinazioni, date) e pubblichiamo i totali raccolti e spesi anziché raccolti singolarmente. Evitiamo deliberatamente di convertirli in operazioni aritmetiche salvate da vite umane, perché la conversione richiede ipotesi che inventeremmo piuttosto che misurare.
Domande frequenti
Qual è la differenza tra un output e un risultato?
Un risultato è ciò che l'organizzazione ha fornito: screening dei bambini, distribuzione dei cartoni, svolgimento delle sessioni. Un risultato è ciò che è cambiato per le persone: tassi di recupero, permanenza a scuola, malattie evitate. Gli output sono numerabili da record interni; i risultati richiedono un follow-up.
Perché le “persone raggiunte” vengono criticate così spesso?
Perché non ha una definizione standard. Può significare qualsiasi cosa, da qualcuno che riceve un trattamento a qualcuno che ascolta un messaggio radio, quindi i dati di due organizzazioni non sono confrontabili e non indicano alcun beneficio.
È sbagliato che un ente di beneficenza affermi che una donazione salva una vita?
È una semplificazione che converte un costo medio erogato in un risultato individuale promesso. La cifra sottostante è solitamente un calcolo del costo reale; l’inquadramento esagera la certezza, perché la sopravvivenza dipende dall’infezione, dalla distanza, dal follow-up e molto altro.
Dovrei finanziare solo organizzazioni con valutazioni di impatto rigorose?
Questa regola escluderebbe quasi ogni piccola e nuova organizzazione, comprese molte buone. Un test più pratico è se il reporting degli output sia specifico, datato e verificabile e se l’organizzazione sia onesta su ciò che non ha misurato.
Cosa significa che il 100% della tua donazione va sul campo?
Di solito, un finanziatore separato si occupa dell'amministrazione, o che l'organizzazione classifica i costi in modo insolito, o che non sostiene i costi che probabilmente dovrebbe. Si tratta di una dichiarazione di marketing piuttosto che di contabilità, e vale la pena chiedersi quale delle tre si applica.
Come posso verificare personalmente una richiesta di risultato?
Chiedi la definizione dell'indicatore, il denominatore, il periodo, la posizione e chi ha raccolto i dati. Qualsiasi reclamo in cui manchi uno di questi cinque non può essere valutato da nessuno al di fuori dell’organizzazione, incluso il consiglio dell’organizzazione.
Fonti e approfondimenti
- Manuale Sphere: indicatori di performance e standard minimi, comprese le soglie del tasso di recupero e di default
- Standard umanitario fondamentale su qualità e responsabilità
- Criteri OCSE DAC per la valutazione dell'assistenza allo sviluppo
- Letteratura metodologica sull'analisi controfattuale e sull'attribuzione nella valutazione dei programmi
- Pagina di trasparenza HopePlates: risultati datati, fornitori e totali spesi