发展和人道主义工作的衡量方式是有等级制度的,几乎所有公共沟通都发生在最低等级。 了解这个阶梯可以立即清楚哪些主张得到证据支持,哪些主张得到措辞支持。
测量阶梯
| 等级 | 例子 | 它需要什么 | 报告频率 |
|---|---|---|---|
| 输入 | 花费 50,000 美元; 采购 1,100 箱 | 会计记录 | 常见的 |
| 活动 | 已进行十二轮筛选 | 活动日志 | 常见的 |
| 输出 | 3,400 名儿童接受了筛查; 610人入院接受治疗 | 节目记录 | 常见的 |
| 结果 | 82% 的入院儿童达到出院标准 | 具有明确标准的后续记录 | 罕见 |
| 影响 | 流域内的死亡率相对于本来的水平有所下降 | 对照组或可信模型 | 稀有的 |
为什么“达到的人数”意义如此之小
该短语没有标准定义,这正是它流行的原因。 根据组织的不同,它可能意味着以下任何一种含义,并且所有这些都是对相同单词的合理解释。
- 接受有形物品或服务的人。
- 参加会议的人,无论是否发生任何变化。
- 接受筛查的人,包括那些被发现不需要帮助的人。
- 家庭成员从单个接收者开始计算——一个食品包相当于六个人收到的食物。
- 项目运行所在地区的人口。
- 广播消息或海报活动的听众。
因为同一个短语涵盖了所有六个组织,所以比较两个组织的影响力数据没有什么可比性。 有用的问题很简单:达成了什么,以及你如何知道他们收到了。
反事实,这是大多数主张悄然失败的地方
假设在实施营养计划的一年内,某个地区的营养不良入院人数有所下降。 可能是程序造成的。 丰收、道路正在修复、同一地区不同机构的工作、筛查方案的改变或人口迁移到其他地方也可能如此。
要确定该程序导致了变化,需要知道如果没有该程序会发生什么。 严格的方法——随机设计、匹配比较区、双重差异分析——是存在的,而且成本高昂。 他们在一个小组织中的缺席是完全合理的。 不合理的是断言因果关系,却缺乏建立因果关系的比较。
如果没有反事实,影响声明就是一个关于你碰巧在场的巧合的故事。
归因计划效果的核心问题
可辩护的主张实际上包含什么
- 明确的指标不是“改善营养”,而是一项有阈值的具体措施——例如恢复到规定的出院标准。
- 分母610名儿童康复出院有多少人? 仅分子就掩盖了违约率和死亡率。
- 时间段和地点没有日期的声明无法与任何内容进行核对,区级工作也不应该用国家数字来描述。
- 测量方法谁收集了数据、如何收集以及使用什么样本。 资金依赖于他们的工作人员自我报告的数据比第三方核实的证据更弱。
- 公认的限制最可信的报告指出了它无法证实的事情。 声明自己不确定性的组织通常是衡量某些事物的组织。
应该提出问题的四个主张
| 宣称 | 为什么这是一个问题 |
|---|---|
| “$X 拯救了一条生命” | 将平均交付成本视为有保证的个人结果,忽略了并非每个接受治疗的儿童都能生存,也不是每个幸存者都需要治疗 |
| “您的捐款 100% 都捐献给了实地” | 要么不真实,要么真实,因为其他人正在支付管理费用,或者真实,因为管理费用没有发生——这是一个弱点 |
| “我们已经达到100万人” | 几乎总是跨年份和项目的松散定义的联系的集合 |
| 连续三年报告的成功率相同 | 真实的程序有波动; 不变的数字表明目标被重述,而不是正在进行的测量 |
小型组织的诚实立场
一个年轻的组织无法进行受控评估,假装不这样做比承认更糟糕。 但替代方案不是沉默。 报告的产出包含日期、数量、指定供应商、目的地和损失,这些产出是可验证的、累积的,并成为以后真正成果衡量的原材料。
HopePlates 致力于儿童营养不良缓解和治疗性营养。 我们描述捐款购买的投入和产出——采购数量、供应商、目的地、日期——并公布筹集和支出的总额,而不是单独筹集。 我们故意避免将这些转换为挽救生命的算术,因为这种转换需要我们发明而不是测量的假设。
常见问题
输出和结果有什么区别?
输出是组织交付的内容——对儿童进行筛查、分发纸箱、举办会议。 结果是人们发生的变化——康复率、留在学校、避免疾病。 输出可根据内部记录进行计数; 结果需要后续行动。
为什么“接触到的人”经常受到批评?
因为它没有标准定义。 它可以意味着任何人,从接受治疗的人到听到无线电消息的人,因此两个组织的数据不具有可比性,也没有表明获益。
慈善机构说捐款可以挽救生命,这难道是错误的吗?
这是一种将平均交付成本转换为承诺的个人结果的简化。 底层数字通常是实际成本计算; 这种框架夸大了确定性,因为生存取决于感染、距离、随访等等。
我应该只资助经过严格影响评估的组织吗?
该规则将排除几乎所有小型和新组织,包括许多优秀组织。 更实际的测试是输出报告是否具体、过时且可验证,以及组织是否诚实地对待其未测量的内容。
您的捐款 100% 投入到实地是什么意思?
通常,一个单独的资助者负责管理,或者组织对成本进行异常分类,或者它没有产生按理说应该产生的成本。 这是一份营销报表而不是会计报表,值得一问的是这三者中哪一个适用。
我如何自己检查结果声明?
询问指标定义、分母、周期、地点以及数据收集者。 任何缺少这五项之一的索赔都不能由组织外部的任何人(包括组织自己的董事会)进行评估。
资料来源与延伸阅读
- Sphere 手册 — 绩效指标和最低标准,包括恢复率和违约率阈值
- 质量和责任的核心人道主义标准
- 经合组织发展援助委员会评估发展援助的标准
- 关于项目评估中的反事实分析和归因的方法论文献
- HopePlates 透明度页面 — 注明日期的产出、供应商和支出总额