개발과 인도주의 활동을 측정하는 방법에는 계층이 있으며 거의 ​​모든 대중 커뮤니케이션은 가장 낮은 단계에서 이루어집니다. 사다리를 이해하면 어떤 주장이 증거에 의해 뒷받침되고 어떤 주장이 문구에 의해 뒷받침되는지 즉시 명백해집니다.

측정 사다리

수준필요한 것보고 빈도
입력$50,000 지출; 1,100개 상자 조달회계 기록흔한
활동12차례 심사 진행활동 로그흔한
산출3,400명의 어린이가 검사를 받았습니다. 610명이 치료를 받았다프로그램 기록흔한
결과입원한 아동의 82%가 퇴원 기준에 도달했습니다.정의된 기준에 따른 후속 기록드문
영향유역의 사망률은 예상했던 것과 비교하여 감소했습니다.비교 그룹 또는 신뢰할 수 있는 모델링희귀한

'도달한 사람'이 의미가 거의 없는 이유

이 문구에는 표준 정의가 없으므로 이것이 인기 있는 이유입니다. 조직에 따라 다음 중 하나를 의미할 수 있으며 모두 동일한 단어에 대한 방어 가능한 해석입니다.

  • 유형의 물품이나 서비스를 받은 사람들.
  • 변화가 있든 없든 세션에 참석한 사람들입니다.
  • 도움이 필요하지 않은 것으로 판명된 사람들을 포함하여 검사를 받은 사람들.
  • 가구 구성원 수는 수령자 1명으로 계산됩니다. 식품 꾸러미 1개가 도달하면 6명이 됩니다.
  • 프로그램이 운영되는 지역의 인구입니다.
  • 라디오 메시지나 포스터 캠페인의 청중.

동일한 문구가 6개 모두를 다루기 때문에 두 조직의 도달 범위 수치를 비교하면 아무 것도 비교할 수 없습니다. 유용한 질문은 간단합니다. 무엇에 도달했고, 그들이 그것을 받았는지 어떻게 알 수 있습니까?

대부분의 주장이 조용히 실패하는 반사실적 주장

한 지역의 영양실조 입원 건수가 영양 프로그램이 운영된 1년에 걸쳐 발생한다고 가정해 보겠습니다. 프로그램이 원인일 수 있습니다. 풍작, 도로 수리, 같은 지역 내 다른 기관의 업무, 검사 프로토콜 변경 또는 인구가 다른 곳으로 이주할 수도 있습니다.

프로그램이 변화를 일으켰다는 사실을 입증하려면 프로그램이 없었다면 무슨 일이 일어났을지 알아야 합니다. 무작위 설계, 일치된 비교 구역, 차이의 차이 분석과 같은 엄격한 접근 방식이 존재하며 비용이 많이 듭니다. 소규모 조직에 그들의 부재는 전적으로 합리적입니다. 합리적이지 않은 것은 인과관계를 입증할 비교가 부족하면서 인과관계를 주장하는 것입니다.

반사실이 없으면 영향 주장은 당신이 우연히 그 자리에 있었던 우연의 일치에 대한 이야기입니다.

프로그램 효과 귀속의 핵심 문제

방어 가능한 주장에 실제로 포함되는 내용

  1. 정의된 지표"영양 개선"이 아니라 임계값이 있는 특정 조치(예: 명시된 퇴원 기준으로의 회복)입니다.
  2. 분모입원한 어린이 중 610명의 어린이가 회복되었습니까? 분자 하나만으로도 채무불이행과 사망률을 숨길 수 있습니다.
  3. 기간 및 위치날짜가 없는 청구는 어떤 것과도 대조할 수 없으며 지구 수준의 작업을 국가 수치로 설명해서는 안 됩니다.
  4. 측정 방법데이터를 누가, 어떻게, 어떤 샘플로 수집했는지. 자금을 지원받는 직원이 직접 보고한 수치는 제3자 검증보다 약한 증거입니다.
  5. 인정된 한계가장 신뢰할 수 있는 보고에는 확립할 수 없는 내용이 포함됩니다. 자신의 불확실성을 언급하는 조직은 일반적으로 무언가를 측정하는 조직입니다.

질문을 촉발해야 하는 네 가지 주장

주장하다왜 문제가 되는가?
“$X는 생명을 구합니다”치료받은 모든 아동이 생존하는 것은 아니며 모든 생존자에게 치료가 필요한 것은 아니라는 점을 무시하고 평균 배송 비용을 보장된 개별 결과로 간주합니다.
“기부금 100%가 현장에 갑니다”사실이 아니거나, 다른 사람이 간접비를 지불하고 있기 때문에 사실이거나, 간접비가 발생하지 않기 때문에 사실입니다. 이는 약점입니다.
“100만 명 돌파했습니다”거의 항상 연도와 프로그램에 걸쳐 느슨하게 정의된 접촉의 집합입니다.
3년 연속 동일한 성공률 보고실제 프로그램은 변동됩니다. 변하지 않는 수치는 측정이 수행되는 것이 아니라 목표가 다시 언급됨을 나타냅니다.

소규모 조직의 정직한 입장

신생 조직에서는 통제된 평가를 실시할 수 없으며, 그렇지 않은 척하는 것은 이를 인정하는 것보다 더 나쁩니다. 그러나 대안은 침묵이 아닙니다. 날짜, 수량, 명명된 공급자, 목적지 및 손실과 함께 보고된 출력은 검증 가능하고 누적되며 나중에 실제 결과 측정을 위한 원재료가 됩니다.

HopePlates는 아동 영양실조 구제 및 영양 치료에 힘쓰고 있습니다. 우리는 투입물과 산출물(조달 수량, 공급업체, 목적지, 날짜)에서 기부금이 무엇을 구입하는지 설명하고 단독으로 모금된 것이 아니라 모금된 금액과 지출된 총액을 게시합니다. 우리는 이를 생명을 구하는 산술 연산으로 변환하는 것을 의도적으로 피합니다. 왜냐하면 변환에는 측정보다는 발명할 가정이 필요하기 때문입니다.

자주 묻는 질문

출력과 결과의 차이점은 무엇입니까?

결과물은 조직이 제공한 것입니다. 어린이 검사, 상자 배포, 세션 개최 등이 있습니다. 결과는 회복률, 학교 유지, 질병 예방 등 사람들에게 변화를 가져옵니다. 출력은 내부 기록에서 계산할 수 있습니다. 결과에 대해서는 후속 조치가 필요합니다.

왜 '사람에게 다가갔다'는 말은 그렇게 자주 비판을 받는가?

표준 정의가 없기 때문입니다. 이는 치료를 받는 사람부터 무선 메시지를 듣는 사람까지 모든 것을 의미할 수 있으므로 두 기관의 수치는 비교할 수 없으며 둘 다 혜택을 나타내지 않습니다.

자선 단체에서 기부가 생명을 구한다고 말하는 것이 잘못된 것인가요?

이는 평균 전달 비용을 약속된 개별 결과로 변환하는 단순화입니다. 기본 수치는 일반적으로 실제 비용 계산입니다. 생존은 감염, 거리, 후속 조치 등에 달려 있기 때문에 프레이밍은 확실성을 과장합니다.

엄격한 영향 평가를 받은 조직에만 자금을 지원해야 합니까?

이 규칙은 많은 좋은 조직을 포함하여 거의 모든 소규모 조직과 새로운 조직을 제외합니다. 보다 실용적인 테스트는 결과 보고가 구체적이고, 날짜가 적고, 검증 가능한지 여부와 조직이 측정하지 않은 사항에 대해 정직한지 여부입니다.

기부금 100%가 현장에 사용된다는 것은 무엇을 의미하나요?

일반적으로 별도의 자금 제공자가 관리를 담당하거나, 조직이 비용을 비정상적으로 분류하거나, 당연히 비용이 발생하지 않는 경우입니다. 이는 회계적 진술이 아닌 마케팅 진술이며, 세 가지 중 어느 것이 적용되는지 물어볼 가치가 있습니다.

결과 주장을 직접 확인하려면 어떻게 해야 합니까?

지표 정의, 분모, 기간, 위치 및 데이터를 수집한 사람에 대해 문의하세요. 다섯 가지 중 하나가 누락된 주장은 조직 자체 이사회를 포함하여 조직 외부의 누구도 평가할 수 없습니다.

출처 및 더 읽을거리

  • Sphere 핸드북 — 복구 및 기본 비율 임계값을 포함한 성능 지표 및 최소 표준
  • 품질과 책임에 관한 핵심 인도주의 표준
  • 개발 지원 평가를 위한 OECD DAC 기준
  • 프로그램 평가의 반사실적 분석 및 귀인에 관한 방법론적 문헌
  • HopePlates 투명성 페이지 — 날짜가 표시된 출력, 공급업체 및 지출 총액