「50,000人に到達した」はインパクトのある主張ではない

開発と人道活動の評価方法には階層があり、ほとんどすべての公共コミュニケーションはその最下層で行われます。 ラダーを理解すると、どの主張が証拠によって裏付けられ、どの主張が表現によって裏付けられているかがすぐにわかります。

測定ラダー

なぜ「人々が到達した」という意味があまりにも小さいのか

このフレーズには標準的な定義がありませんが、まさにそれが人気の理由です。 組織によっては、次のいずれかを意味する場合がありますが、それらはすべて同じ言葉の正当な解釈です。

• 有形の物品やサービスを受けた人。
• セッションに参加した人、何かが変わったかどうか。
• 支援を必要としないと判明した人を含む、検査を受けた人々。
• 世帯員は 1 人の受取人から数えられ、1 つの食料小包が 6 人に届くことになります。
• プログラムが実施されている地区の人口。
• ラジオメッセージやポスターキャンペーンの視聴者。

同じフレーズで 6 つすべてがカバーされているため、2 つの組織のリーチ数を比較しても何の比較にもなりません。 有益な質問は単純です。相手が何を受け取りましたか。また、それを受け取ったことがどのようにわかりますか。

反事実、ほとんどの主張は静かに失敗します。

ある地区での栄養失調による入院が、栄養プログラムが実施されていた 1 年間に集中したと仮定します。 プログラムが原因である可能性があります。 豊作、道路の修復、同じ地区での別の機関の仕事、検査プロトコルの変更、または人口の他の場所への移動も同様です。

プログラムが変化を引き起こしたことを証明するには、プログラムがなければ何が起こっていたかを知る必要があります。 ランダム化計画、一致比較地区、差異内差異分析などの厳密なアプローチが存在し、費用がかかります。 小さな組織に彼らがいないのはまったく当然のことです。 合理的でないのは、因果関係を主張しながら、それを確立するための比較を欠いていることです。

反事実がなければ、影響に関する主張は、あなたがたまたまその場に居合わせた偶然についての話です。

プログラムの効果を帰属させる際の中心的な問題

弁護可能な主張には実際にどのような内容が含まれるのか

1. 定義された指標「栄養状態の改善」ではなく、閾値を設けた具体的な措置、たとえば、定められた退院基準までの回復などである。
2. 分母入院した子供のうち回復したのは何人ですか? 分子だけではデフォルト率と死亡率が隠蔽されます。
3. 期間と場所日付のない請求は何も照合することができず、地区レベルの取り組みを国の数字で説明すべきではありません。
4. 測定方法誰が、どのように、どのようなサンプルを使ってデータを収集したのか。 資金が自分たちに依存しているスタッフの自己申告の数字は、第三者による検証よりも弱い証拠です。
5. 認められた制限最も信頼性の高い報道は、立証できないことを明らかにするものです。 自身の不確実性を表明する組織は、通常、何かを測定している組織です。

疑問を抱かせる 4 つの主張

小さな組織の正直な立場

若い組織では管理された評価を実行することはできません。そうでないふりをすることは、それを認めるより悪いです。 しかし、代替手段は沈黙ではありません。 日付、数量、指定されたサプライヤー、目的地、損失とともに報告される成果は検証可能であり、累積され、後で真の成果を測定するための材料となります。

HopePlates は、子どもの栄養失調の救済と栄養療法に取り組んでいます。 私たちは、寄付が何を買うのかをインプットとアウトプット（調達量、サプライヤー、目的地、日付）で説明し、単独で集めたものではなく、集めたものと使ったものの合計を公表します。 変換には測定ではなく発明する仮定が必要となるため、これらを人命を救う算術に変換することは意図的に避けています。