Il existe une hiérarchie dans la manière dont le développement et le travail humanitaire sont mesurés, et presque toutes les communications publiques se font au niveau le plus bas de cette hiérarchie. Comprendre l'échelle permet de savoir immédiatement quelles affirmations sont étayées par des preuves et lesquelles sont étayées par une formulation.
L'échelle de mesure
| Niveau | Exemple | Ce que cela nécessite | Fréquence des rapports |
|---|---|---|---|
| Saisir | 50 000 $ dépensés ; 1 100 cartons achetés | Registres comptables | Commune |
| Activité | Douze cycles de dépistage menés | Journaux d'activité | Commune |
| Sortir | 3 400 enfants dépistés ; 610 admis en traitement | Dossiers du programme | Commune |
| Résultat | 82 pour cent des enfants admis ont atteint les critères de sortie | Enregistrements de suivi avec des critères définis | Rare |
| Impact | La mortalité dans le bassin versant a diminué par rapport à ce qu'elle aurait été | Un groupe de comparaison ou une modélisation crédible | Rare |
Pourquoi « personnes touchées » signifie si peu
L’expression n’a pas de définition standard, c’est exactement pourquoi elle est populaire. Selon l'organisation, cela peut signifier l'un des éléments suivants, et tous sont des interprétations défendables des mêmes mots.
- Personnes qui ont reçu un article ou un service tangible.
- Les personnes qui ont assisté à une séance, que quelque chose ait changé ou non.
- Les personnes qui ont été dépistées, y compris celles qui n’ont pas eu besoin d’aide.
- Les membres du ménage ont été comptés à partir d'un seul destinataire : un colis alimentaire, soit six personnes touchées.
- La population d'un district dans lequel un programme était opérationnel.
- L'audience d'un message radio ou d'une campagne d'affichage.
Étant donné que la même expression couvre les six, comparer les chiffres de portée de deux organisations n’a rien de comparable. La question utile est simplement : atteint avec quoi et comment savez-vous qu’ils l’ont reçu.
Le contrefactuel, où la plupart des affirmations échouent discrètement
Supposons que les admissions pour malnutrition dans un district tombent sur une année au cours de laquelle un programme de nutrition a été mis en œuvre. Le programme peut en être la cause. Il en va de même pour une bonne récolte, la réparation d’une route, le travail d’une autre agence dans le même district, un changement dans le protocole de dépistage ou le déplacement de la population ailleurs.
Pour établir que le programme a provoqué le changement, il faut savoir ce qui se serait passé sans lui. Des approches rigoureuses – conceptions randomisées, districts de comparaison appariés, analyse des différences – existent et sont coûteuses. Leur absence dans une petite organisation est tout à fait raisonnable. Ce qui n’est pas raisonnable, c’est d’affirmer un lien de causalité sans procéder à la comparaison qui permettrait de l’établir.
Sans contrefactuel, une déclaration d’impact est l’histoire d’une coïncidence à laquelle vous étiez présent.
Le problème central de l’attribution des effets du programme
Ce que contient réellement une affirmation défendable
- Un indicateur définiNon pas une « nutrition améliorée », mais une mesure spécifique avec un seuil – le retour à un critère de décharge affirmé, par exemple.
- Un dénominateur610 enfants récupérés sur combien admis ? Un numérateur à lui seul cache les taux de défaut de paiement et de mortalité.
- Une période et un lieuLes affirmations sans date ne peuvent être vérifiées et le travail au niveau du district ne doit pas être décrit avec des chiffres nationaux.
- Une méthode de mesureQui a collecté les données, comment et avec quel échantillon. Les chiffres déclarés par le personnel dont le financement dépend d’eux constituent des preuves moins solides que la vérification par un tiers.
- Une limite reconnueLes reportages les plus crédibles nomment ce qu’ils ne peuvent établir. Les organisations qui expriment leur propre incertitude sont généralement celles qui mesurent quelque chose.
Quatre affirmations qui devraient susciter une question
| Réclamer | Pourquoi c'est un problème |
|---|---|
| « X $ sauve une vie » | Traite le coût moyen fourni comme un résultat individuel garanti, ignorant que tous les enfants traités ne survivent pas et que tous les survivants n'ont pas besoin d'un traitement. |
| « 100 pour cent de votre don va au terrain » | Soit faux, soit vrai parce que quelqu'un d'autre paie les frais généraux, soit vrai parce que les frais généraux ne sont pas engagés – ce qui est une faiblesse. |
| « Nous avons atteint 1 million de personnes » | Presque toujours une agrégation de contacts vaguement définis au fil des années et des programmes |
| Un pourcentage de réussite identique constaté pendant trois années consécutives | Les programmes réels fluctuent ; des chiffres inchangés suggèrent qu'un objectif est retraité plutôt qu'une mesure est prise |
La position honnête pour une petite organisation
Une jeune organisation ne peut pas mener une évaluation contrôlée, et prétendre le contraire est pire que de l’admettre. Mais l’alternative n’est pas le silence. Les résultats déclarés avec les dates, les quantités, les fournisseurs nommés, les destinations et les pertes sont vérifiables, cumulatifs et deviennent ultérieurement la matière première pour une véritable mesure des résultats.
HopePlates travaille sur la lutte contre la malnutrition infantile et la nutrition thérapeutique. Nous décrivons ce qu'un don permet d'acheter en intrants et en extrants (quantités achetées, fournisseurs, destinations, dates) et publions les totaux collectés et dépensés plutôt que collectés seuls. Nous évitons délibérément de les convertir en arithmétique permettant de sauver des vies, car la conversion nécessite des hypothèses que nous inventerions plutôt que de mesurer.
Questions fréquentes
Quelle est la différence entre un résultat et un résultat ?
Un résultat est ce que l'organisation a livré : enfants examinés, cartons distribués, séances organisées. Un résultat est ce qui a changé pour les gens : les taux de guérison, la rétention scolaire, les maladies évitées. Les sorties sont dénombrables à partir des enregistrements internes ; les résultats nécessitent un suivi.
Pourquoi l’expression « personnes atteintes » est-elle si souvent critiquée ?
Parce qu’il n’y a pas de définition standard. Cela peut signifier n’importe quoi, depuis quelqu’un qui reçoit un traitement jusqu’à quelqu’un qui entend un message radio. Les chiffres des deux organisations ne sont donc pas comparables et aucune n’indique un bénéfice.
Est-ce mal pour un organisme de bienfaisance de dire qu’un don sauve une vie ?
Il s’agit d’une simplification qui convertit un coût moyen rendu en un résultat individuel promis. Le chiffre sous-jacent est généralement un calcul de coût réel ; le cadre exagère la certitude, car la survie dépend de l’infection, de la distance, du suivi et bien d’autres choses encore.
Dois-je financer uniquement des organisations soumises à des évaluations d’impact rigoureuses ?
Cette règle exclurait presque toutes les petites et nouvelles organisations, y compris de nombreuses bonnes. Un test plus pratique consiste à déterminer si les rapports sur les résultats sont spécifiques, datés et vérifiables, et si l'organisation est honnête sur ce qu'elle n'a pas mesuré.
Que signifie 100 % de votre don destiné au terrain ?
Il s’agit généralement d’un bailleur de fonds distinct qui couvre l’administration, ou que l’organisation classe les coûts de manière inhabituelle, ou qu’elle n’engage pas de coûts comme elle le devrait sans doute. Il s’agit d’une déclaration marketing plutôt que comptable, et il convient de se demander laquelle des trois s’applique.
Comment puis-je vérifier moi-même une réclamation de résultat ?
Demandez la définition de l’indicateur, le dénominateur, la période, le lieu et qui a collecté les données. Toute réclamation manquant l’un de ces cinq ne peut être évaluée par quiconque en dehors de l’organisation, y compris le propre conseil d’administration de l’organisation.
Sources et lectures complémentaires
- Manuel Sphère — indicateurs de performance et normes minimales, y compris les seuils de taux de recouvrement et de défaut de paiement
- Norme humanitaire fondamentale sur la qualité et la responsabilité
- Critères du CAD de l'OCDE pour l'évaluation de l'aide au développement
- Littérature méthodologique sur l'analyse contrefactuelle et l'attribution dans l'évaluation de programmes
- Page de transparence HopePlates – sorties datées, fournisseurs et totaux dépensés