Существует иерархия в том, как измеряется развитие и гуманитарная работа, и почти все общественные коммуникации происходят на самой нижней ее ступени. Понимание лестницы сразу становится очевидным, какие утверждения подкреплены доказательствами, а какие — формулировками.
Лестница измерений
| Уровень | Пример | Что для этого требуется | Частота отчетности |
|---|---|---|---|
| Вход | потрачено 50 000 долларов; Закуплено 1100 коробок | Бухгалтерские записи | Общий |
| Активность | Проведено двенадцать раундов отбора | Журналы активности | Общий |
| Выход | обследовано 3400 детей; 610 поступили на лечение | Записи программы | Общий |
| Исход | 82 процента поступивших детей достигли критериев выписки | Последующие записи с определенными критериями | Необычный |
| Влияние | Смертность в водосборе снизилась относительно того, какой она могла бы быть. | Группа сравнения или достоверное моделирование | Редкий |
Почему «люди достигли» так мало значит
У этой фразы нет стандартного определения, и именно поэтому она популярна. В зависимости от организации это может означать любое из следующих слов, и все они являются оправданными интерпретациями одних и тех же слов.
- Люди, получившие материальный предмет или услугу.
- Люди, присутствовавшие на сеансе, изменилось ли что-нибудь или нет.
- Люди, прошедшие обследование, в том числе те, кто не нуждался в помощи.
- Члены домохозяйства считались от одного получателя — дошла одна продуктовая посылка на шесть человек.
- Население района, в котором действовала программа.
- Аудитория радиосообщения или плакатной кампании.
Поскольку одна и та же фраза охватывает все шесть, сравнение показателей охвата двух организаций ничего не дает. Полезный вопрос прост: с чем пришли и как узнать, что получили.
Противоречивое утверждение, в котором большинство заявлений незаметно терпят неудачу.
Предположим, что число госпитализаций по причине недостаточности питания в округе сократится за год, в течение которого действовала программа питания. Возможно, это произошло из-за программы. Это может быть хороший урожай, ремонт дороги, работа другого ведомства в том же районе, изменение протокола обследования или переезд населения в другое место.
Чтобы установить, что программа вызвала изменение, необходимо знать, что произошло бы без нее. Строгие подходы — рандомизированные планы, районы сопоставленного сравнения, анализ различий в различиях — существуют и стоят дорого. Их отсутствие в небольшой организации вполне оправдано. Что неразумно, так это утверждать причинно-следственную связь, не имея при этом сравнения, которое бы ее установило.
Если не считать контрфактов, заявление о воздействии — это история о совпадении, при котором вам довелось присутствовать.
Основная проблема в объяснении эффектов программы
Что на самом деле содержит оправданное утверждение
- Определенный показательНе «улучшенное питание», а конкретная мера с пороговым значением — например, восстановление до установленного критерия выписки.
- ЗнаменательИз числа поступивших детей 610 выздоровели? Один только числитель скрывает уровень дефолта и смертности.
- Период времени и местоЗаявления без дат невозможно сверить с чем-либо, а работу на районном уровне не следует описывать национальными цифрами.
- Метод измеренияКто, как и с какой выборкой собирал данные. Цифры, сообщаемые самими сотрудниками, чье финансирование зависит от них, являются более слабым доказательством, чем данные третьей стороны.
- Признанное ограничениеНаиболее достоверные сообщения называют то, чего они не могут установить. Организации, которые заявляют о своей собственной неопределенности, обычно сами что-то измеряют.
Четыре утверждения, которые должны вызвать вопрос
| Требовать | Почему это проблема |
|---|---|
| «$X спасает жизнь» | Считает среднюю стоимость доставки гарантированным индивидуальным результатом, игнорируя тот факт, что не каждый ребенок, получивший лечение, выживает и не каждый выживший нуждается в лечении. |
| «100 процентов вашего пожертвования пойдет на нужды поля» | Либо неверно, либо верно, потому что кто-то другой оплачивает накладные расходы, либо верно, потому что накладные расходы не возникают, что является слабостью. |
| «Мы достигли 1 миллиона человек» | Почти всегда это совокупность слабо определенных контактов по годам и программам. |
| Идентичный процент успеха сообщается в течение трех лет подряд. | Реальные программы колеблются; неизменные цифры предполагают, что цель переформулируется, а не проводится измерение |
Честная позиция для небольшой организации
Молодая организация не может проводить контролируемую оценку, и делать вид, что это не так, хуже, чем признать это. Но альтернатива – это не молчание. Результаты, о которых сообщается с датами, количествами, названными поставщиками, пунктами назначения и потерями, поддаются проверке, накапливаются и впоследствии становятся исходным материалом для реального измерения результатов.
HopePlates работает над облегчением детского недоедания и лечебным питанием. Мы описываем, что пожертвование покупает в виде ресурсов и результатов — закупленное количество, поставщики, пункты назначения, даты — и публикуем собранные и потраченные общие суммы, а не собранные отдельно. Мы намеренно избегаем конвертировать их в арифметику, спасающую жизни, потому что преобразование требует допущений, которые мы будем изобретать, а не измерять.
Частые вопросы
В чем разница между результатом и результатом?
Результатом является то, что дала организация: осмотр детей, раздача коробок, проведение занятий. Результат — это то, что изменилось для людей: показатели выздоровления, удержание в школе, предотвращение болезней. Выходы подсчитываются из внутренних записей; результаты требуют последующего наблюдения.
Почему «люди достигают» так часто критикуют?
Потому что у него нет стандартного определения. Это может означать что угодно: от человека, проходящего лечение, до человека, слушающего радиосообщение, поэтому показатели двух организаций несопоставимы и ни одна из них не указывает на пользу.
Разве благотворительная организация неправа говорить, что пожертвование спасает жизнь?
Это упрощение, которое преобразует среднюю стоимость доставки в обещанный индивидуальный результат. Базовая цифра обычно представляет собой расчет реальной стоимости; такая формулировка преувеличивает уверенность, поскольку выживание зависит от заражения, расстояния, наблюдения и многого другого.
Должен ли я финансировать только организации, прошедшие тщательную оценку воздействия?
Из этого правила будут исключены почти все небольшие и новые организации, в том числе многие хорошие. Более практичный тест заключается в том, является ли отчетность о результатах конкретной, датированной и поддающейся проверке, и честна ли организация в отношении того, что она не измеряла.
Что означает, что 100 процентов вашего пожертвования идет на нужды поля?
Обычно административные расходы покрываются отдельным спонсором, или организация классифицирует расходы необычно, или что она не несет расходов, которые, возможно, следовало бы нести. Это скорее маркетинговое заявление, чем бухгалтерское, и стоит задаться вопросом, какое из трех утверждений применимо.
Как я могу проверить результат заявления самостоятельно?
Спросите определение показателя, знаменатель, период, место и то, кто собирал данные. Любое утверждение, в котором отсутствует хотя бы одно из этих пяти, не может быть оценено никем за пределами организации, включая ее собственный совет директоров.
Источники и что почитать дальше
- Справочник по сфере — показатели эффективности и минимальные стандарты, включая пороговые значения уровня восстановления и дефолта.
- Основной гуманитарный стандарт качества и подотчетности
- Критерии ОЭСР DAC для оценки помощи в целях развития
- Методическая литература по контрфактическому анализу и атрибуции в оценке программ
- Страница прозрачности HopePlates — датированные результаты, поставщики и общие затраты