Existe uma hierarquia na forma como o desenvolvimento e o trabalho humanitário são medidos, e quase toda a comunicação pública ocorre no degrau mais baixo dela. A compreensão da escada torna imediatamente óbvio quais afirmações são apoiadas por evidências e quais são apoiadas por frases.
A escada de medição
| Nível | Exemplo | O que é necessário | Frequência nos relatórios |
|---|---|---|---|
| Entrada | US$ 50.000 gastos; 1.100 caixas adquiridas | Registros contábeis | Comum |
| Atividade | Doze rodadas de triagem realizadas | Registros de atividades | Comum |
| Saída | 3.400 crianças examinadas; 610 internados em tratamento | Registros do programa | Comum |
| Resultado | 82 por cento das crianças admitidas atingiram os critérios de alta | Registros de acompanhamento com critérios definidos | Incomum |
| Impacto | A mortalidade na bacia caiu em relação ao que teria sido | Um grupo de comparação ou modelagem confiável | Crua |
Por que “pessoas alcançadas” significa tão pouco
A frase não tem uma definição padrão, e é exatamente por isso que é popular. Dependendo da organização, pode significar qualquer um dos seguintes, e todos eles são interpretações defensáveis das mesmas palavras.
- Pessoas que receberam um item ou serviço tangível.
- Pessoas que participaram de uma sessão, independentemente de alguma coisa ter mudado ou não.
- Pessoas que foram examinadas, incluindo aquelas que não precisaram de ajuda.
- Os membros do agregado familiar contaram a partir de um único destinatário – um pacote de alimentos totalizando seis pessoas alcançadas.
- A população de um distrito no qual um programa foi operado.
- A audiência de uma mensagem de rádio ou de uma campanha de cartazes.
Como a mesma frase abrange todas as seis, comparar os números de alcance de duas organizações não compara nada. A pergunta útil é simplesmente: alcançado com o quê e como você sabe que eles o receberam.
O contrafactual, que é onde a maioria das afirmações falha silenciosamente
Suponhamos que as internações por desnutrição num distrito ocorram durante um ano em que um programa de nutrição funcionou. O programa pode ter causado isso. O mesmo pode acontecer com uma boa colheita, uma estrada em reparação, o trabalho de uma agência diferente no mesmo distrito, uma mudança no protocolo de rastreio ou a mudança da população para outro local.
Estabelecer que o programa causou a mudança exige saber o que teria acontecido sem ele. Abordagens rigorosas – desenhos aleatórios, comparação de distritos, análise de diferenças em diferenças – existem e são caras. A sua ausência numa organização pequena é inteiramente razoável. O que não é razoável é afirmar a causalidade sem a comparação que a estabeleceria.
Sem um cenário contrafactual, uma afirmação de impacto é uma história sobre uma coincidência na qual você estava presente.
O problema central na atribuição dos efeitos do programa
O que uma afirmação defensável realmente contém
- Um indicador definidoNão “melhor nutrição”, mas uma medida específica com um limite – recuperação para um critério de alta declarado, por exemplo.
- Um denominador610 crianças recuperadas de quantas internadas? Um numerador por si só esconde as taxas de inadimplência e de mortalidade.
- Um período de tempo e um localAs reclamações sem datas não podem ser comparadas com nada e o trabalho a nível distrital não deve ser descrito com números nacionais.
- Um método de mediçãoQuem coletou os dados, como e com que amostra. Os números comunicados pelos próprios funcionários cujo financiamento depende deles constituem provas mais fracas do que a verificação por terceiros.
- Uma limitação reconhecidaOs relatórios mais credíveis nomeiam o que não conseguem estabelecer. As organizações que declaram a sua própria incerteza são geralmente aquelas que medem alguma coisa.
Quatro afirmações que devem suscitar uma pergunta
| Alegar | Por que isso é um problema |
|---|---|
| “$X salva uma vida” | Trata um custo médio entregue como um resultado individual garantido, ignorando que nem todas as crianças tratadas sobrevivem e nem todos os sobreviventes necessitam de tratamento |
| “100 por cento da sua doação vai para o campo” | Ou falso, ou verdadeiro porque outra pessoa está pagando as despesas gerais, ou verdadeiro porque as despesas gerais não estão sendo incorridas – o que é um ponto fraco |
| “Chegamos a 1 milhão de pessoas” | Quase sempre uma agregação de contatos vagamente definidos ao longo de anos e programas |
| Uma porcentagem de sucesso idêntica relatada por três anos consecutivos | Os programas reais flutuam; números inalterados sugerem que uma meta está sendo reafirmada em vez de uma medição sendo feita |
A posição honesta para uma pequena organização
Uma organização jovem não pode realizar uma avaliação controlada e fingir o contrário é pior do que admiti-lo. Mas a alternativa não é o silêncio. Os resultados relatados com datas, quantidades, fornecedores nomeados, destinos e perdas são verificáveis, cumulativos e tornam-se a matéria-prima para a medição genuína dos resultados posteriormente.
HopePlates trabalha no alívio da desnutrição infantil e na nutrição terapêutica. Descrevemos o que uma doação compra em termos de insumos e produtos — quantidades adquiridas, fornecedores, destinos, datas — e publicamos os totais arrecadados e gastos, em vez de arrecadados isoladamente. Evitamos deliberadamente convertê-los em aritmética que salva vidas, porque a conversão requer suposições que estaríamos inventando em vez de medir.
Perguntas frequentes
Qual é a diferença entre uma saída e um resultado?
Um resultado é o que a organização entregou – crianças examinadas, caixas distribuídas, sessões realizadas. Um resultado é o que mudou para as pessoas – taxas de recuperação, retenção na escola, doenças evitadas. As saídas são contáveis a partir de registros internos; os resultados requerem acompanhamento.
Por que as “pessoas alcançadas” são criticadas com tanta frequência?
Porque não tem definição padrão. Pode significar qualquer coisa, desde alguém que recebe tratamento até alguém que ouve uma mensagem de rádio, pelo que os números de duas organizações não são comparáveis e nenhuma delas indica benefícios.
É errado uma instituição de caridade dizer que uma doação salva uma vida?
É uma simplificação que converte um custo médio entregue num resultado individual prometido. O valor subjacente é geralmente um cálculo de custo real; o enquadramento exagera a certeza, porque a sobrevivência depende da infecção, da distância, do acompanhamento e de muito mais.
Devo financiar apenas organizações com avaliações de impacto rigorosas?
Essa regra excluiria quase todas as pequenas e novas organizações, incluindo muitas boas. Um teste mais prático é verificar se o relatório de resultados é específico, datado e verificável, e se a organização é honesta sobre o que não mediu.
O que significa que 100% da sua doação vai para o campo?
Normalmente, um financiador separado cobre a administração, ou a organização classifica os custos de forma incomum, ou não está incorrendo em custos que supostamente deveria. É uma declaração de marketing e não de contabilidade, e vale a pena perguntar qual das três se aplica.
Como posso verificar pessoalmente uma reivindicação de resultado?
Peça a definição do indicador, o denominador, o período, o local e quem coletou os dados. Qualquer reivindicação que falte em uma dessas cinco não pode ser avaliada por ninguém de fora da organização, incluindo o próprio conselho da organização.
Fontes e leitura adicional
- Sphere Handbook — indicadores de desempenho e padrões mínimos, incluindo limites de taxa de recuperação e inadimplência
- Padrão Humanitário Básico sobre Qualidade e Responsabilidade
- Critérios do CAD da OCDE para avaliar a ajuda ao desenvolvimento
- Literatura metodológica sobre análise contrafactual e atribuição na avaliação de programas
- Página de transparência do HopePlates – resultados datados, fornecedores e totais gastos