Existe una jerarquía en la forma en que se mide el trabajo humanitario y de desarrollo, y casi toda la comunicación pública tiene lugar en el escalón más bajo de la misma. Comprender la escalera hace inmediatamente obvio qué afirmaciones están respaldadas por evidencia y cuáles están respaldadas por frases.
La escalera de medición
| Nivel | Ejemplo | lo que requiere | Frecuencia en los informes |
|---|---|---|---|
| Aporte | 50.000 dólares gastados; 1.100 cajas adquiridas | Registros contables | Común |
| Actividad | Se realizaron doce rondas de detección | Registros de actividad | Común |
| Producción | 3.400 niños examinados; 610 ingresados en tratamiento | Registros del programa | Común |
| Resultado | El 82 por ciento de los niños ingresados cumplieron los criterios de alta | Registros de seguimiento con criterios definidos | Poco común |
| Impacto | La mortalidad en la cuenca cayó en relación con lo que habría sido | Un grupo de comparación o un modelo creíble | Extraña |
Por qué “personas alcanzadas” significa tan poco
La frase no tiene una definición estándar, razón por la cual es popular. Dependiendo de la organización, puede significar cualquiera de los siguientes, y todos ellos son interpretaciones defendibles de las mismas palabras.
- Personas que recibieron un artículo o servicio tangible.
- Personas que asistieron a una sesión, haya cambiado algo o no.
- Personas que fueron examinadas, incluidas aquellas que no necesitaban ayuda.
- Los miembros del hogar contaron a partir de un solo destinatario: un paquete de alimentos se convirtió en seis personas.
- La población de un distrito en el que operaba un programa.
- La audiencia de un mensaje de radio o de una campaña de carteles.
Debido a que la misma frase cubre los seis, comparar las cifras de alcance de dos organizaciones no compara nada. La pregunta útil es sencilla: ¿con qué se alcanzó y cómo se sabe que lo recibieron?
El contrafactual, que es donde la mayoría de las afirmaciones fracasan silenciosamente
Supongamos que las admisiones por desnutrición en un distrito disminuyen durante un año en el que funcionó un programa de nutrición. Es posible que el programa lo haya causado. También lo puede ser una buena cosecha, una carretera en reparación, el trabajo de una agencia diferente en el mismo distrito, un cambio en el protocolo de detección o el traslado de la población a otra parte.
Establecer que el programa provocó el cambio requiere saber qué habría sucedido sin él. Existen enfoques rigurosos (diseños aleatorios, distritos de comparación pareados, análisis de diferencias en diferencias) y son costosos. Su ausencia en una organización pequeña es totalmente razonable. Lo que no es razonable es afirmar la causalidad sin la comparación que la establezca.
Sin un contrafactual, una afirmación de impacto es una historia sobre una coincidencia en la que estuviste presente.
El problema central en la atribución de efectos a los programas
Lo que realmente contiene un reclamo defendible
- Un indicador definidoNo es una “mejora de la nutrición”, sino una medida específica con un umbral: la recuperación según un criterio de alta establecido, por ejemplo.
- un denominador¿610 niños recuperados de cuántos ingresados? Un numerador por sí solo oculta las tasas de morosidad y mortalidad.
- Un período de tiempo y una ubicación.Las afirmaciones sin fechas no pueden compararse con nada y el trabajo a nivel de distrito no debe describirse con cifras nacionales.
- Un método de mediciónQuién recopiló los datos, cómo y con qué muestra. Las cifras autoinformadas por el personal cuya financiación depende de ellos son pruebas más débiles que la verificación por parte de terceros.
- Una limitación reconocidaLos informes más creíbles mencionan lo que no pueden establecer. Las organizaciones que expresan su propia incertidumbre suelen ser las que miden algo.
Cuatro afirmaciones que deberían suscitar una pregunta
| Afirmar | ¿Por qué es un problema? |
|---|---|
| “$X salva una vida” | Trata el costo promedio de entrega como un resultado individual garantizado, ignorando que no todos los niños tratados sobreviven y no todos los sobrevivientes necesitan tratamiento. |
| “El 100 por ciento de tu donación va al campo” | O es falso, o es cierto porque alguien más paga los gastos generales, o es cierto porque no se incurre en dichos gastos generales, lo cual es una debilidad. |
| “Hemos llegado a 1 millón de personas” | Casi siempre una agregación de contactos vagamente definidos a lo largo de años y programas. |
| Un porcentaje de éxito idéntico reportado durante tres años consecutivos | Los programas reales fluctúan; Las cifras sin cambios sugieren que se está reexpresando un objetivo en lugar de tomar una medición. |
La posición honesta para una organización pequeña
Una organización joven no puede realizar una evaluación controlada y pretender lo contrario es peor que admitirlo. Pero la alternativa no es el silencio. Los resultados reportados con fechas, cantidades, proveedores designados, destinos y pérdidas son verificables, acumulativos y se convierten en la materia prima para una verdadera medición de resultados más adelante.
HopePlates trabaja en el alivio de la desnutrición infantil y la nutrición terapéutica. Describimos lo que se compra con una donación en insumos y productos (cantidades adquiridas, proveedores, destinos, fechas) y publicamos los totales recaudados y gastados en lugar de los recaudados solos. Evitamos deliberadamente convertirlos en aritmética para salvar vidas, porque la conversión requiere suposiciones que estaríamos inventando en lugar de medir.
Preguntas frecuentes
¿Cuál es la diferencia entre un producto y un resultado?
Un resultado es lo que la organización entregó: niños examinados, cajas distribuidas, sesiones realizadas. Un resultado es lo que cambió para las personas: tasas de recuperación, retención en la escuela, enfermedades evitadas. Los resultados se pueden contar a partir de registros internos; los resultados requieren seguimiento.
¿Por qué se critica con tanta frecuencia a las “personas alcanzadas”?
Porque no tiene una definición estándar. Puede significar cualquier cosa, desde alguien que recibe tratamiento hasta alguien que escucha un mensaje de radio, por lo que las cifras de dos organizaciones no son comparables y ninguna indica beneficio.
¿Está mal que una organización benéfica diga que una donación salva una vida?
Es una simplificación que convierte un costo promedio de entrega en un resultado individual prometido. La cifra subyacente suele ser un cálculo de costes reales; el encuadre exagera la certeza, porque la supervivencia depende de la infección, la distancia, el seguimiento y mucho más.
¿Debería financiar únicamente organizaciones con evaluaciones de impacto rigurosas?
Esa regla excluiría a casi todas las organizaciones pequeñas y nuevas, incluidas muchas buenas. Una prueba más práctica es si los informes de resultados son específicos, fechados y verificables, y si la organización es honesta acerca de lo que no ha medido.
¿Qué significa que el 100 por ciento de su donación se destine al campo?
Por lo general, un financiador separado cubre la administración, o que la organización clasifica los costos de manera inusual, o que no incurre en costos que supuestamente debería. Es una declaración de marketing más que contable, y vale la pena preguntarse cuál de las tres se aplica.
¿Cómo puedo comprobar yo mismo una reclamación de resultado?
Pregunte por la definición del indicador, el denominador, el período, la ubicación y quién recopiló los datos. Cualquier reclamo al que le falte uno de esos cinco no puede ser evaluado por nadie fuera de la organización, incluida la propia junta directiva de la organización.
Fuentes y lecturas recomendadas
- Manual Esfera: indicadores de desempeño y estándares mínimos, incluidos umbrales de tasas de recuperación e incumplimiento
- Norma humanitaria básica sobre calidad y rendición de cuentas
- Criterios del CAD de la OCDE para evaluar la asistencia al desarrollo
- Literatura metodológica sobre análisis contrafactual y atribución en la evaluación de programas.
- Página de transparencia de HopePlates: resultados fechados, proveedores y totales gastados