Terdapat hierarki dalam cara pembangunan dan kerja kemanusiaan diukur, dan hampir semua komunikasi awam berlaku di tangga paling bawah. Memahami tangga menjadikannya jelas dengan serta-merta dakwaan yang disokong oleh bukti dan yang disokong oleh frasa.
Tangga ukuran
| Tahap | Contoh | Apa yang diperlukannya | Kekerapan dalam pelaporan |
|---|---|---|---|
| Input | $50,000 dibelanjakan; 1,100 karton diperolehi | Rekod perakaunan | Biasa |
| Aktiviti | Dua belas pusingan saringan dijalankan | Log aktiviti | Biasa |
| Keluaran | 3,400 kanak-kanak disaring; 610 dimasukkan ke rawatan | Rekod program | Biasa |
| Hasil | 82 peratus kanak-kanak yang diterima masuk mencapai kriteria pelepasan | Rekod susulan dengan kriteria yang ditetapkan | Tidak biasa |
| Kesan | Kematian di kawasan tadahan jatuh berbanding dengan apa yang berlaku | Kumpulan perbandingan atau pemodelan yang boleh dipercayai | Jarang |
Mengapa "orang yang dicapai" bermakna sangat sedikit
Frasa ini tidak mempunyai definisi standard, itulah sebabnya ia popular. Bergantung pada organisasi ia boleh bermakna mana-mana daripada yang berikut, dan kesemuanya adalah tafsiran yang boleh dipertahankan bagi perkataan yang sama.
- Orang yang menerima item atau perkhidmatan ketara.
- Orang yang menghadiri sesi, sama ada ada yang berubah atau tidak.
- Orang yang telah disaring, termasuk mereka yang didapati tidak memerlukan bantuan.
- Ahli isi rumah dikira daripada seorang penerima — satu bungkusan makanan menjadi enam orang yang dicapai.
- Penduduk daerah di mana program dijalankan.
- Penonton mesej radio atau kempen poster.
Oleh kerana frasa yang sama merangkumi kesemua enam, membandingkan angka capaian dua organisasi tidak membandingkan apa-apa. Soalan yang berguna ialah: dicapai dengan apa, dan bagaimana anda tahu mereka menerimanya.
Perlawanan fakta, di mana kebanyakan tuntutan secara senyap-senyap gagal
Katakan kemasukan kekurangan zat makanan di daerah jatuh dalam tempoh setahun di mana program pemakanan beroperasi. Program ini mungkin menyebabkannya. Semoga hasil tuaian yang baik, jalan sedang dibaiki, kerja agensi yang berbeza di daerah yang sama, perubahan dalam protokol saringan, atau penduduk yang berpindah ke tempat lain.
Menetapkan bahawa program menyebabkan perubahan memerlukan mengetahui apa yang akan berlaku tanpanya. Pendekatan yang ketat — reka bentuk rawak, daerah perbandingan yang dipadankan, analisis perbezaan-dalam-perbezaan — wujud dan mahal. Ketiadaan mereka dalam organisasi kecil adalah munasabah. Apa yang tidak munasabah ialah menegaskan sebab musabab sementara kekurangan perbandingan yang akan mewujudkannya.
Tanpa kontrafaktual, tuntutan impak ialah cerita tentang kebetulan yang anda hadiri.
Masalah utama dalam mengaitkan kesan program
Apa sebenarnya dakwaan yang boleh dipertahankan
- Penunjuk yang ditentukanBukan "pemakanan bertambah baik" tetapi ukuran khusus dengan ambang - pemulihan kepada kriteria pelepasan yang dinyatakan, sebagai contoh.
- Penyebut610 kanak-kanak pulih daripada berapa ramai yang dimasukkan? Pengangka sahaja menyembunyikan kadar lalai dan kadar kematian.
- Tempoh masa dan lokasiTuntutan tanpa tarikh tidak boleh disemak terhadap apa-apa, dan kerja peringkat daerah tidak boleh diterangkan dengan tokoh negara.
- Satu kaedah pengukuranSiapa yang mengumpul data, bagaimana dan dengan sampel apa. Angka yang dilaporkan sendiri daripada kakitangan yang pembiayaan bergantung kepada mereka adalah bukti yang lebih lemah daripada pengesahan pihak ketiga.
- Batasan yang diakuiPelaporan yang paling boleh dipercayai menamakan apa yang tidak dapat diwujudkan. Organisasi yang menyatakan ketidakpastian mereka sendiri biasanya yang mengukur sesuatu.
Empat dakwaan yang sepatutnya menimbulkan persoalan
| Tuntutan | Mengapa ia menjadi masalah |
|---|---|
| “$X menyelamatkan nyawa” | Menganggap purata kos penghantaran sebagai hasil individu yang terjamin, mengabaikan bahawa tidak setiap kanak-kanak yang dirawat dapat bertahan dan bukan setiap yang terselamat memerlukan rawatan |
| “100 peratus daripada sumbangan anda pergi ke padang” | Sama ada tidak benar, atau benar kerana orang lain membayar overhed, atau benar kerana overhed tidak ditanggung — yang merupakan kelemahan |
| "Kami telah mencapai 1 juta orang" | Hampir selalu merupakan pengagregatan hubungan yang ditakrifkan secara longgar merentas tahun dan program |
| Peratusan kejayaan yang sama dilaporkan selama tiga tahun berturut-turut | Program sebenar turun naik; angka yang tidak berubah mencadangkan sasaran dinyatakan semula dan bukannya pengukuran diambil |
Kedudukan jujur untuk organisasi kecil
Organisasi muda tidak boleh menjalankan penilaian terkawal, dan berpura-pura sebaliknya adalah lebih buruk daripada mengakuinya. Tetapi alternatifnya bukan diam. Output yang dilaporkan dengan tarikh, kuantiti, pembekal dinamakan, destinasi dan kerugian boleh disahkan, terkumpul, dan menjadi bahan mentah untuk pengukuran hasil tulen kemudian.
HopePlates berfungsi untuk melegakan kekurangan zat makanan kanak-kanak dan pemakanan terapeutik. Kami menerangkan perkara yang dibeli oleh derma dalam input dan output — kuantiti yang diperoleh, pembekal, destinasi, tarikh — dan menerbitkan jumlah yang dibangkitkan dan dibelanjakan dan bukannya dibangkitkan secara bersendirian. Kami sengaja mengelak daripada menukarnya kepada aritmetik yang menyelamatkan nyawa, kerana penukaran memerlukan andaian yang kami cipta dan bukannya mengukur.
Soalan lazim
Apakah perbezaan antara output dan hasil?
Output ialah apa yang disampaikan oleh organisasi — kanak-kanak ditayangkan, karton diedarkan, sesi diadakan. Hasil adalah apa yang berubah untuk orang - kadar pemulihan, pengekalan di sekolah, penyakit yang dielakkan. Output boleh dikira daripada rekod dalaman; hasil memerlukan susulan.
Mengapakah "orang yang dicapai" sering dikritik?
Kerana ia tidak mempunyai definisi standard. Ia boleh bermakna apa sahaja daripada seseorang yang menerima rawatan kepada seseorang yang mendengar mesej radio, jadi angka dua organisasi tidak dapat dibandingkan dan tidak menunjukkan faedah.
Salahkah badan amal mengatakan derma menyelamatkan nyawa?
Ia adalah penyederhanaan yang menukar purata kos penghantaran kepada hasil individu yang dijanjikan. Angka asas biasanya merupakan pengiraan kos sebenar; pembingkaian melebih-lebihkan kepastian, kerana kelangsungan hidup bergantung pada jangkitan, jarak, susulan dan banyak lagi.
Sekiranya saya hanya membiayai organisasi dengan penilaian impak yang ketat?
Peraturan itu akan mengecualikan hampir setiap organisasi kecil dan baharu, termasuk banyak organisasi yang baik. Ujian yang lebih praktikal ialah sama ada pelaporan output adalah khusus, bertarikh dan boleh disahkan, dan sama ada organisasi jujur tentang perkara yang tidak diukur.
Apakah maksud 100 peratus sumbangan anda pergi ke lapangan?
Biasanya pembiaya yang berasingan meliputi pentadbiran, atau organisasi mengklasifikasikan kos secara luar biasa, atau bahawa ia tidak menanggung kos yang boleh dikatakan sepatutnya. Ia adalah penyata pemasaran dan bukannya penyata perakaunan, dan patut ditanya yang mana antara tiga yang berkenaan.
Bagaimanakah saya boleh menyemak sendiri tuntutan hasil?
Tanya definisi penunjuk, penyebut, tempoh, lokasi dan siapa yang mengumpul data. Sebarang tuntutan yang hilang salah satu daripada lima perkara tersebut tidak boleh dinilai oleh sesiapa di luar organisasi, termasuk lembaga pengarah organisasi itu sendiri.
Sumber dan bacaan lanjut
- Buku Panduan Sfera — penunjuk prestasi dan piawaian minimum, termasuk pemulihan dan ambang kadar lalai
- Piawaian Kemanusiaan Teras mengenai Kualiti dan Akauntabiliti
- Kriteria DAC OECD untuk menilai bantuan pembangunan
- Literatur metodologi mengenai analisis kontrafaktual dan atribusi dalam penilaian program
- Halaman ketelusa HopePlates — output bertarikh, pembekal dan jumlah perbelanjaan