Ada hierarki dalam cara mengukur pekerjaan pembangunan dan kemanusiaan, dan hampir semua komunikasi publik terjadi pada tingkat terbawah. Pemahaman mengenai tangga akan memperjelas klaim mana yang didukung oleh bukti dan mana yang didukung oleh ungkapan.
Tangga pengukuran
| Tingkat | Contoh | Apa yang dibutuhkannya | Frekuensi dalam pelaporan |
|---|---|---|---|
| Masukan | $50.000 dibelanjakan; 1.100 karton diperoleh | Catatan akuntansi | Umum |
| Aktivitas | Dua belas putaran penyaringan dilakukan | Log aktivitas | Umum |
| Keluaran | 3.400 anak diperiksa; 610 dirawat | Catatan program | Umum |
| Hasil | 82 persen anak-anak yang dirawat di rumah sakit mencapai kriteria keluar dari rumah sakit | Catatan tindak lanjut dengan kriteria yang ditentukan | Luar biasa |
| Dampak | Angka kematian di daerah tangkapan air turun dibandingkan dengan angka kematian sebelumnya | Kelompok pembanding atau pemodelan yang kredibel | Langka |
Mengapa “orang-orang dijangkau” tidak berarti apa-apa
Ungkapan ini tidak memiliki definisi standar, itulah sebabnya frasa ini populer. Tergantung pada organisasinya, hal ini dapat berarti salah satu dari berikut ini, dan semuanya merupakan interpretasi yang dapat dipertahankan dari kata-kata yang sama.
- Orang yang menerima barang atau jasa berwujud.
- Orang-orang yang menghadiri suatu sesi, apakah ada yang berubah atau tidak.
- Orang-orang yang disaring, termasuk mereka yang ternyata tidak membutuhkan pertolongan.
- Anggota rumah tangga dihitung dari satu penerima – satu paket sembako menjadi enam orang yang dijangkau.
- Populasi suatu distrik di mana suatu program dijalankan.
- Penonton pesan radio atau kampanye poster.
Karena frasa yang sama mencakup keenam hal tersebut, membandingkan angka jangkauan dua organisasi tidak ada artinya. Pertanyaan yang berguna adalah: dicapai dengan apa, dan bagaimana Anda tahu mereka menerimanya.
Kontrafaktual, dimana sebagian besar klaim diam-diam gagal
Anggaplah penerimaan malnutrisi di suatu kabupaten terjadi pada tahun dimana program gizi dijalankan. Program ini mungkin penyebabnya. Begitu juga dengan hasil panen yang baik, perbaikan jalan, kerja lembaga lain di kabupaten yang sama, perubahan protokol penyaringan, atau perpindahan penduduk ke tempat lain.
Menetapkan bahwa program menyebabkan perubahan memerlukan pengetahuan tentang apa yang akan terjadi tanpa program tersebut. Pendekatan yang ketat – rancangan acak, perbandingan wilayah yang dicocokkan, analisis perbedaan dalam perbedaan – memang ada dan memerlukan biaya yang mahal. Ketidakhadiran mereka dalam organisasi kecil adalah hal yang beralasan. Yang tidak masuk akal adalah menyatakan hubungan sebab-akibat tanpa adanya perbandingan yang dapat membuktikannya.
Tanpa kontrafaktual, klaim dampak adalah cerita tentang suatu kebetulan yang kebetulan Anda alami.
Masalah utama dalam menghubungkan dampak program
Apa sebenarnya isi klaim yang dapat dipertahankan
- Indikator yang ditentukanBukan “peningkatan nutrisi” namun tindakan spesifik dengan ambang batas – pemulihan sesuai kriteria pemulangan, misalnya.
- Sebuah penyebut610 anak sembuh dari berapa banyak yang dirawat? Pembilangnya saja dapat menyembunyikan tingkat gagal bayar dan angka kematian.
- Periode waktu dan lokasiKlaim yang tidak mempunyai tanggal tidak dapat diperiksa terhadap apa pun, dan pekerjaan di tingkat kabupaten tidak boleh dijelaskan dengan angka nasional.
- Sebuah metode pengukuranSiapa yang mengumpulkan data, bagaimana, dan dengan sampel apa. Angka yang dilaporkan sendiri oleh staf yang pendanaannya bergantung pada angka tersebut merupakan bukti yang lebih lemah dibandingkan verifikasi pihak ketiga.
- Keterbatasan yang diakuiPelaporan yang paling kredibel menyebutkan hal-hal yang tidak dapat ditentukan. Organisasi yang menyatakan ketidakpastiannya biasanya adalah pihak yang mengukur sesuatu.
Empat klaim yang seharusnya menimbulkan pertanyaan
| Mengeklaim | Mengapa ini menjadi masalah |
|---|---|
| “$X menyelamatkan nyawa” | Memperlakukan rata-rata biaya yang diberikan sebagai jaminan hasil individual, dengan mengabaikan bahwa tidak semua anak yang dirawat dapat bertahan hidup dan tidak semua penyintas memerlukan perawatan |
| “100 persen donasi Anda disalurkan ke lapangan” | Entah tidak benar, atau benar karena ada orang lain yang membayar biaya overhead, atau benar karena tidak ada biaya overhead yang dikeluarkan - yang merupakan kelemahan |
| “Kami telah menjangkau 1 juta orang” | Hampir selalu merupakan kumpulan kontak yang didefinisikan secara longgar selama bertahun-tahun dan program |
| Persentase keberhasilan serupa dilaporkan selama tiga tahun berturut-turut | Program nyata berfluktuasi; angka yang tidak berubah menunjukkan bahwa target dinyatakan kembali dan bukan pengukuran yang dilakukan |
Posisi jujur untuk organisasi kecil
Sebuah organisasi muda tidak dapat menjalankan evaluasi yang terkendali, dan berpura-pura melakukan sebaliknya lebih buruk daripada mengakuinya. Namun alternatifnya bukanlah diam. Keluaran yang dilaporkan dengan tanggal, jumlah, nama pemasok, tujuan, dan kerugian dapat diverifikasi, diakumulasikan, dan kemudian menjadi bahan mentah untuk pengukuran hasil yang sebenarnya.
HopePlates bekerja pada bantuan gizi buruk pada anak dan nutrisi terapeutik. Kami menggambarkan apa yang dibeli oleh donasi dalam hal input dan output – jumlah yang diperoleh, pemasok, tujuan, tanggal – dan mempublikasikan jumlah total yang dikumpulkan dan dibelanjakan, bukan hanya dikumpulkan saja. Kami sengaja menghindari mengubahnya menjadi aritmatika yang menyelamatkan nyawa, karena konversi memerlukan asumsi yang kami ciptakan, bukan mengukur.
Pertanyaan umum
Apa perbedaan antara keluaran dan hasil?
Outputnya adalah apa yang disampaikan oleh organisasi – pemeriksaan anak-anak, karton dibagikan, sesi diadakan. Hasil yang berubah bagi banyak orang adalah tingkat kesembuhan, retensi sekolah, terhindar dari penyakit. Keluaran dapat dihitung dari catatan internal; hasil memerlukan tindak lanjut.
Mengapa “rakyat dijangkau” begitu sering dikritik?
Karena tidak ada definisi bakunya. Hal ini bisa berarti apa saja, mulai dari seseorang yang menerima pengobatan hingga seseorang yang mendengar pesan radio, sehingga angka yang diperoleh kedua organisasi tidak dapat dibandingkan dan tidak ada yang menunjukkan adanya manfaat.
Apakah salah jika sebuah badan amal mengatakan bahwa sumbangan menyelamatkan nyawa?
Ini adalah penyederhanaan yang mengubah rata-rata biaya yang disampaikan menjadi hasil individual yang dijanjikan. Angka yang mendasarinya biasanya merupakan perhitungan biaya riil; kerangka tersebut melebih-lebihkan kepastian, karena kelangsungan hidup bergantung pada infeksi, jarak, tindak lanjut, dan banyak lagi.
Haruskah saya hanya mendanai organisasi yang memiliki evaluasi dampak yang ketat?
Aturan itu akan mengecualikan hampir semua organisasi kecil dan baru, termasuk banyak organisasi bagus. Uji yang lebih praktis adalah apakah pelaporan keluaran bersifat spesifik, bertanggal dan dapat diverifikasi, dan apakah organisasi jujur mengenai apa yang belum diukur.
Apa arti 100 persen donasi Anda disalurkan ke lapangan?
Biasanya dana tersebut ditanggung oleh pemberi dana terpisah yang menanggung biaya administrasi, atau bahwa organisasi mengklasifikasikan biaya-biaya secara tidak lazim, atau bahwa organisasi tersebut tidak mengeluarkan biaya-biaya yang seharusnya dikeluarkan. Ini lebih merupakan pernyataan pemasaran dan bukan pernyataan akuntansi, dan patut ditanyakan mana di antara ketiga pernyataan tersebut yang berlaku.
Bagaimana cara memeriksa sendiri klaim hasil?
Tanyakan definisi indikator, penyebut, periode, lokasi dan siapa yang mengumpulkan data. Klaim apa pun yang tidak memenuhi salah satu dari lima persyaratan tersebut tidak dapat dievaluasi oleh siapa pun di luar organisasi, termasuk dewan direksi organisasi itu sendiri.
Sumber dan bacaan lanjutan
- Sphere Handbook — indikator kinerja dan standar minimum, termasuk ambang batas pemulihan dan tingkat default
- Standar Kemanusiaan Inti mengenai Kualitas dan Akuntabilitas
- Kriteria OECD DAC untuk mengevaluasi bantuan pembangunan
- Literatur metodologis tentang analisis kontrafaktual dan atribusi dalam evaluasi program
- Halaman transparansi HopePlates — tanggal keluaran, pemasok, dan total pengeluaran