Cluster II - Rapport de démarrage

Anuncio
Rapport de démarrage
Phase 2 de l’évaluation
l’approche Cluster
de
Equipe d’évaluation (GPPi et Groupe URD) : Julia Steets,
François Grünewald, Andrea Binder, Véronique de
Geoffroy, Domitille Kauffmann, Susanna Krüger, Claudia
Meier, Bonaventure Sokpoh
Responsable du projet (OCHA) : Claude Hilfiker
27 Aout 2009
Version française, Septembre 2009, Groupe URD.
Contact:
www.gppi.net
Julia Steets
François Grünewald
Reinhardtstr. 15
10117 Berlin · Germany
La Fontaine des Marins
26170, Plaisians · France
Tel
Fax
E-Mail
Web
+33-4-75 28 29 35
+33-4-75 28 65 44
fgrunewald@urd.org
www.urd.org
+49-30-275 959 75-0
+49-30-690 88 200
jsteets@gppi.net
www.gppi.net
Table des matières
1.
Contexte de l’évaluation.............................................................................. 3
2.
Objectifs, cadre and et limites de l’évaluation ........................................... 4
2.1.
Objectif de l’évaluation
4
2.2.
Cadre de l’évaluation
4
2.3.
Limites de l’évaluation
5
3.
Méthodologie ............................................................................................... 8
3.1.
Approche globale
8
3.2.
Questions clés et critères de l’évaluation
8
3.3.
Critères de performance / indicateurs and facteurs explicatifs
9
3.4.
Outils de collecte des données
12
3.5.
Organisation de l’évaluation
13
4.
Plan de travail et chronogramme ............................................................. 15
5.
Rapports et diffusion ................................................................................. 16
Annexe 1 : Acronymes....................................................................................... 17
Annexe 2 : Résumé des discussions du Groupe de Pilotage............................ 18
Annexe 3 : Ebauche de plan pour les rapports pays........................................ 20
Annexe 4 : Ebauche de plan pour le rapport de synthèse ............................... 22
Annexe 5 : Indicateurs (voir le fichier excel)................................................... 24
2
1. Contexte de l’évaluation
1.
En 2005, le comité de pilotage Inter-Agence (IASC1) a demandé une évaluation externe de
l’approche Cluster après 2 années de mise en œuvre. L’évaluation fut divisée en deux phases.
2.
La 1ere phase, finalisée en 2007, était centrée sur les indicateurs de processus, les succès et les
limites de l’approche Cluster ainsi que les leçons apprises liées à son lancement. La phase 1 de
l’évaluation de l’approche cluster fut menée par une équipe commune de chercheurs de l’Overseas
Development Institute, du Center on International Cooperation and de The Praxis Group, Ltd.
3.
La phase 2, qui est menée entre Juin 2009 et Mars 2010, évalue l’efficacité opérationnelle et
les principaux résultats de l’Approche Cluster en se concentrant sur les produits et résultats au niveau
pays. Cette seconde phase est menée par un consortium entre le Global Public Policy Institute (GPPi)
et le Groupe Urgence, Réhabilitation, Développement (Groupe URD). UN OCHA et le comité de
pilotage de la phase 2 de l’Evaluation Cluster2, qui regroupe des représentants des Nations Unies
(UN), des bailleurs et des ONG internationales, sont responsables de cette évaluation.
4.
Cette évaluation informera les décideurs à la fois au siège et sur le terrain, comprenant le
IASC, les organisations humanitaires participant à l’approche Cluster, UN OCHA, les gouvernements
hôtes, les bailleurs ainsi que l’ensemble des communautés humanitaires locales et internationales.
1
2
the Inter-Agency Standing Committee (IASC)
Cluster Evaluation Phase 2 Steering Group
3
2. Objectifs, cadre et limites de l’évaluation
2.1. Objectif de l’évaluation
5.
La phase 2 de l’évaluation Cluster évalue l’efficacité opérationnelle et les principaux
résultats de l’approche cluster dans le but de proposer des recommandations concrètes aux
niveaux global et pays pour améliorer l’approche Cluster. Elle évalue également l’interaction
de l’approche Cluster avec les autres piliers de la réforme humanitaire et sa contribution à une
assistance humanitaire appropriée et coordonnée. De plus, l’évaluation contribuera à
l’élaboration d’indicateurs de résultats (effets à moyen-terme) spécifiques clusters qui
pourront alors être utilisé pour créer une ligne de référence (baseline) pour de futures
évaluations. Comme le premier objectif de l’évaluation est d’encourager l’apprentissage, son
but est d’identifier les facteurs qui entravent ou permettent l’approche cluster d’atteindre ses
objectifs.
6.
L’évaluation se concentrera sur l’analyse des résultats observés dans chaque pays et
cherchera à faire remonter la réalité du terrain aux décideurs au niveau global.
2.2. Cadre de l’évaluation
7.
Suite à la discussion et la validation par le comité de pilotage de la Phase 2 de
l’évaluation Cluster, le cadre de l’évaluation est le suivant (voir l’Annexe 1 pour le résumé
des discussions avec le comité de pilotage, produit par OCHA) :
8.
Critères d’évaluation : L’évaluation évalue la performance de l’approche cluster à
travers les critères d’efficacité, d’efficience, de cohérence, de pertinence et d’effets (plutôt
que d’impacts), comme défini par le Guide « Evaluating Humanitarian Action using the
OECD-DAC Criteria3 » (2006).
9.
Géographie/localisation : La phase 2 de l’évaluation Cluster porte sur six études
pays, couvrant différents types d’urgences et différents étapes de mise en œuvre de l’approche
cluster. De plus, les évaluateurs se rendront à Genève, Nairobi et New York pour tenir les
réunions nécessaires et pourront également avoir des entretiens téléphoniques avec les parties
prenantes.
Pays
Sélection de critères
Haiti
Crise soudaine (à répétition) / catastrophe, plus crises prolongées
Mission intégrée
Autres mécanismes de coordination préexistant
Crise soudaine / catastrophe, plus crises prolongée dans certaines régions
Faible engagement avec le gouvernement
En transition
Crises prolongée / conflit
Mission intégrée planifiée
Autres mécanismes de coordination préexistant
Myanmar
Tchad
3
Evaluer l’action humanitaire en utilisant les critères de l’OCDE-CAD
4
Gaza
Ouganda
RDC
Crises prolongée / conflit
Faible engagement avec les autorités locales, engagement avec le
gouvernement d’Israël
Crises prolongée / conflit
Fort engagement avec le gouvernement
En transition – opportunité d’observer un cycle entier de l’opération cluster
Crises prolongée / conflit
Mission intégrée
Financement humanitaire commun
10.
Temps/Timing : Les études pays se concentrent sur la situation présente et le travail
des clusters pendant la précédente ou la crise en cours. Lorsque c’est possible, les études pays
cherchent à inclure dans l’analyse, la situation précédant l’introduction de l’approche cluster
ou la situation dans les zones du pays où l’approche cluster n’a pas été mise en œuvre.
11.
Les Clusters et les parties prenantes : L’évaluation essaye, autant que possible, de
fournir une vision globale et complète de tous les clusters présents et de toutes les
problématiques pertinentes se recoupant dans les 6 pays. Ce qui implique une analyse
approfondie limitée pour chaque cluster et problématique mais permet à l’équipe d’évaluation
d’évaluer donc les problèmes inter-cluster. Ce qui comprendra toutes les parties prenantes
pertinentes (Cf. cartographie des parties prenantes, p. 14) dans l’analyse au niveau local dans
les six cas pays et au niveau global, dont les organisations qui participent ou non à l’approche
cluster. Les évaluateurs chercheront à rassembler les témoignages de partenaires de mise en
œuvre sur le terrain et des populations affectées ou leurs représentants dans le but de vérifier
les données collectées et la qualité de la réponse humanitaire et de montrer d’autres effets de
l’approche cluster.
12.
Les niveaux : L’évaluation analyse les effets de l’approche cluster sur la qualité de la
réponse humanitaire en terme d’amélioration de la couverture ; appropriation et connectivité
(LRRD), aussi bien que les effets sur le système humanitaire (c’est-à-dire les relations entre
les acteurs humanitaires et la capacité du système à prendre en considération les
problématiques interdisciplinaires et intersectorielles). Une analyse des intrants et du support
apportés grâce à l’approche cluster ainsi que la contribution de l’approche sur « la
prévisibilité du leadership », le partenariat, et la cohérence et la redevabilité permettra
d’expliquer les résultats des observations et d’élaborer des recommandations pour renforcer
l’approche cluster.
2.3. Limites de l’évaluation
13.
Les limites de la phase 2 de l’évaluation de l’approche cluster sont liées à celles de la
méthodologie et des données mais aussi aux contraintes financières et de capacité. Les limites
les plus importantes sont les suivantes :
14.
Pas d’évaluation pays approfondies : L’équipe d’évaluation conduira six études
pays, préparera six rapports pour chacune d’elle et présentera les leçons spécifiques pour
chaque pays, si c’est pertinent, des recommandations. Encore une fois, les études pays seront
conduites dans le but d’informer l’évaluation globale de l’approche cluster et ne pourront être
équivalentes à des évaluations complètes de la réponse humanitaire au niveau de chaque pays.
5
15.
Une comparabilité limitée : la possibilité, pour l’équipe d’évaluation, de mener des
analyse comparatives est limitée par deux facteurs. Premièrement, le comité de pilotage de la
phase 2 de l’Evaluation Cluster, n’a sélectionné, comme étude de cas, que des pays où
l’approche cluster a été mise en place. De plus, l’équipe d’évaluation s’attend à ce que
seulement très peu d’acteurs aient pu expérimenter des réponses humanitaires à la fois avant
et après la mise en place de l’approche cluster. Ce qui limite les possibilités de comparer la
qualité de la réponse humanitaire dans les zones avec ou sans l’approche cluster. L’équipe
d’évaluation cherche à aborder ces limites en essayant de trouver des contextes sans cluster au
sein d’un pays et par l’identification d’acteurs connaissant la situation avant la mise en place
de l’approche cluster. Cependant, une comparaison systématique entre l’approche cluster et
d’autres approches alternatives ne sera pas possible. Deuxièmement, le contexte de réponse
humanitaire varie fortement d’une étude de cas à l’autre et le nombre d’exemples est limité.
Une comparaison systématique entre les différentes mises en place sera donc impossible et les
possibilités d’extrapoler les résultats au système dans son ensemble seront limitées.
16.
Pas d’évaluation d’impact et les difficultés d’attribution : Attribuer les
changements concernant la dignité et le bien-être des populations affectées à l’approche
cluster est difficile, voire impossible. L’évaluation ne conduit pas d’évaluation globale
d’impact. Au lieu de cela, l’évaluation cherche à analyser les effets de l’approche cluster sur
la qualité de la réponse humanitaire, notamment en termes d’amélioration de la couverture
géographique et thématique ainsi que de qualité de la couverture et de renforcement de
l’appropriation et de connectivité (LRRD). L’évaluation s’assure donc de la collecte et de
l’analyse des données existantes ou utilisées par les clusters au niveau pays pour évaluer leur
performance par rapport aux populations affectées.
17.
Une participation limitée des populations affectées : L’évaluation cherche à
identifier les effets des mécanismes de coordination sur la qualité de la réponse humanitaire.
Les populations affectées et lorsque c’est le cas, la communauté hôte seront consultées pour
valider le niveau de qualité de la réponse obtenue. L’équipe d’évaluation ne cherchera pas
cependant à prendre en considération les points de vue des populations affectées sur les
mécanismes de coordination eux-mêmes puisqu’il est nécessaire d’avoir un minimum
d’information et de connaissances de ceux-ci.
18.
Une couverture limitée des autres éléments de la réforme humanitaire :
l’évaluation étudie la façon dont l’approche cluster interagit avec les autres piliers de la
réforme humanitaire, et tout particulièrement les financements prévus et le rôle des
Coordinateurs Humanitaires. Toutefois, l’évaluation ne fournira pas une appréciation
complète ou des recommandations sur la réforme des ces autres piliers.
19.
Des analyses approfondies spécifiques des clusters limitées : L’évaluation étudie
tous les clusters mises en œuvre dans les six pays. L’étendue des données collectées restera
donc limitée à chacun de ces clusters.
20.
Le manque d’information / les problèmes liés à la qualité des données / impossibilité
de générer des données techniques pour les « baselines ». L’équipe d’évaluation collecte et
compile des données pertinentes disponibles. Cependant, ces données peuvent ne pas être
disponibles ou de mauvaise qualité pour répondre à toutes les questions pertinentes.
L’évaluation tente autant que possible de trianguler les données disponibles mais ne peut
créer des nouvelles données se rapportant aux indicateurs et standards humanitaires. Lorsque
les données pour des « baselines » ne sont pas disponibles, l’évaluation conseillera sur la
nature des données qui devront être collectées à l’avenir.
6
21.
Une couverture des indicateurs limitée. Le « Cadre d’Analyse » de la phase 2 de
l’évaluation cluster propose 47 indicateurs génériques et 55 indicateurs spécifiques cluster. La
collecte de données pour 102 indicateurs dans 6 pays n’est pas faisable. A la place, l’équipe
d’évaluation a fusionné les 47 indicateurs génériques en 21 indicateurs clés compréhensibles
liés aux questions de l’évaluation (cf. section 3.3 et l’Annexe 5). La plupart, des indicateurs
spécifiques cluster fournis par le « Cadre d’Analyse » sont liés à ces indicateurs génériques,
c’est-à-dire par les indicateurs suivants, l’évaluation de la prévisibilité du leadership, les
partenariats, la cohérence, la redevabilité, l’augmentation de la couverture, l’appropriation et
de la connectivité (LRRD) de chaque cluster, couvrent la plupart des indicateurs spécifiques
cluster. Concernant l’effet de la réponse humanitaire sur les populations affectées, l’équipe
d’évaluation collectera les indicateurs techniques utilisés au niveau global et sur le terrain et
en générera des informations. Basés sur ces informations, l’équipe d’évaluation proposera des
indicateurs de résultat et d’effet spécifiques cluster et présentera les bases de données
existantes à la fin du processus d’évaluation.
22.
Changements en cours : L’approche cluster ne représente pas un système fixe, mais
des changements sont constamment en cours. Ainsi l’objectif de l’évaluation est une « cible
en mouvement » et l’évaluation comprend des aspects de l’évaluation en temps réel. Puisqu’il
y aura un décalage dans le temps entre la mise en œuvre des études pays et la finalisation des
rapports pays et du rapport de synthèse, ces rapports ne couvriront pas forcement les éléments
développés récemment.
7
3. Méthodologie
3.1. Approche globale
23.
L’évaluation adopte principalement une approche inductive, utilisant des données
quantitatives lorsqu’elles sont disponibles et reposant surtout sur des données qualitatives. Les
données seront tirées de sources primaires et secondaires, d’observations sur le terrain,
d’entretiens avec des informateurs clés, et d’enquête avec toutes les parties prenantes au
niveau global. L’évaluation vise autant que possible à collecter des preuves empiriques, et
non à rapporter juste des perceptions. L’équipe d’évaluation, avec les différentes perceptions
de toutes les parties prenantes, fera différentes propositions explicites et expliquera sa propre
appréciation basée sur des preuves empiriques collectées.
24.
L’approche de l’évaluation est basée sur le « modèle logique » inclus dans le « Cadre
d’Analyse » de la phase 2 de l’évaluation cluster. Dans le but d’évaluer les réussites et les
défauts de l’approche cluster, l’équipe d’évaluation collecte des preuves à tous les niveaux, y
compris les intrants (inputs), les produits/ processus, les résultats et les effets intermédiaires, à
l’exception de la « préparation des désastres », qui a déjà été couverte par la phase 1 de
l’évaluation. Le premier objectif de l’évaluation est l’appréciation des effets de l’approche
cluster en termes d’amélioration de la couverture, de l’appropriation et de la connectivité (lien
urgence-développement).
25.
L’équipe d’évaluation comprend les produits / processus, listés dans le « modèle
logique », comme les moyens d’atteindre les résultats indiqués et les effets intermédiaires. Par
conséquent, le but final de l’approche cluster est d’améliorer la couverture, ainsi que
l’appropriation, et la connectivité, grâce à un renforcement de la prévisibilité du leadership,
des partenariats, de la cohésion (correspondant à la coordination) et la redevabilité. Nous
comprenons « partenariat » comme faisant référence aux relations entre les acteurs
humanitaires (incluant les acteurs ou non des Nations Unies, aussi bien les acteurs
internationaux que locaux participant ou non à l’approche cluster). « La redevabilité
(accountability) » implique celle entre clusters et les Coordinateurs Humanitaires, entre les
membres des clusters et les agences responsables de cluster et la redevabilité aux populations
affectées, cette dernière ciblant particulièrement la participation. Nous comprenons les
« lacunes comblés et une meilleure couverture » comme faisant référence à une meilleure
couverture géographique et thématique, mais aussi une qualité améliorée et plus
spécifiquement le ciblage de l’assistance. Pour l’équipe d’évaluation, « l’appropriation »
concerne la société civile et gouvernementale nationale et locale ainsi que les institutions
privées ; la « connectivité » cible la « durabilité » des interventions plutôt que leurs liens avec
d’autres domaines politiques.
3.2. Questions clés et critères de l’évaluation
26.
La Phase 2 de l’évaluation de l’approche cluster se concentre sur les principales
questions clés, tirées des Termes de Références, du « Cadre d’Analyse » de la phase 2 de
l’approche cluster et de commentaires du comité de pilotage :
• Quels sont les effets (intentionnels ou non) des activités qui ont été mises en œuvre
dans le cadre des opérations de l’approche cluster ?
8
• Pourquoi ? Quels facteurs contribuent ou entravent mise en œuvre efficace de
l’approche cluster ? Les facteurs potentiels comprennent :
o La flexibilité de l’approche cluster et ses effets sur l’efficience des activités
clusters
o Le niveau de financement disponible pour les clusters
o Les intrants appropriés et suffisants de toutes les organisations pertinentes
o Capacité / problématiques financières / conflits d’intérêts entre les agences
responsables de cluster et les membres de cluster (par exemple la « double
responsabilité » des agences / organisations responsable de cluster)
o Les défis spécifiques pays comme la sécurité et l’accès
o Les facteurs motivants la participation des agences et des équipes
o Cohérence avec les mandats et principes humanitaires etc.
• Il y a-t-il des preuves confirmant les relations de causalité supposées entre les intrants,
les produits voulus et les objectifs de l’approche cluster ?
• Qu’est-ce qu’il peut être fait pour renforcer les effets positifs de l’approche cluster et
réduire les effets négatifs, s’il y en a ?
Questions clés de l’évaluation
a. Jusqu’à quel point l’approche cluster a modifié ou renforcé la réponse
humanitaire (en termes de lacunes comblées et de qualité et de
meilleure couverture géographique, thématique, mais aussi
d’appropriation / connectivité) ?
b. Quels sont les effets de l’approche cluster intentionnels ou non,
positifs ou non qui peuvent être démontrés concernant les populations
affectées, la coordination, et les interactions entre les organisations
participantes et le système humanitaire dans son ensemble ?
c. Comment l’approche cluster interagit avec les autres piliers de la
réforme humanitaire, en particulier le système de Coordination
Humanitaire (HC system), les nouveaux mécanismes de financement
de la réforme et son application dans l’esprit ‘Principes de
partenariat’ ?
d. A quel point l’approche cluster atteint les produits (résultats) voulus
(prévisibilité du leadership, partenariat / cohérence, redevabilité) ?
e. Est-ce que l’approche cluster permet aux organisations participantes de
délivrer une meilleure réponse à travers la coordination et le partage
d’informations ?
f. Quel type de support est apporté par les clusters globaux et comment
est-il concrètement utilisé aux niveaux pays et terrain ? Quels
« intrants » inclus dans les Termes de références génériques n’ont pas
été fournis ?
g. Il y a-t-il des preuves que les résultats de l’approche cluster justifient
les « intrants » des principaux donateurs comme IASC, les ONG, les
communautés hôtes et les donateurs niveau pays ?
Critères
Efficacité
(résultats)
Effets (plutôt
qu’ « impact »)
Cohérence
Efficacité
Pertinence
Efficience
Efficience
3.3. Critères de performance / indicateurs and facteurs explicatifs
27.
Pour tous les critères et les questions clés de l’évaluation décrits ci-dessus, l’équipe
d’évaluation a développé et mise en œuvre un set d’indicateurs génériques (voir Annexe 5).
9
Ces indicateurs sont basés sur le « modèle logique » et les indicateurs préliminaires fournis
dans le « Cadre d’Analyse » de la phase 2 de l’évaluation cluster. L’équipe d’évaluation a
repris les indicateurs initiaux, les a opérationnalisé et en prenant en compte différentes
problématiques et échelles en les priorisant (notation), a réduit significativement le nombre
total d’indicateurs mais couvrant toujours à peu près toutes les problématiques proposées dans
l’original. Les notations numériques fournis (0 à 3) sont ordinales mais ne seront pas agrégées
pour le résultat final. Ces notations seront plutôt utilisées pour présenter des informations
complexes et détaillées de façon plus simple avec des figures et des illustrations.
L’illustration 1 montre comment les indicateurs sont reliés aux différentes parties du « modèle
logique ».
Illustration 1: Les indicateurs du « modèle logique »
Clarity of the concept of "provider of last resort" and level of assumption of the related responsibilities
Effets
Amélioration de l’ensemble des conditions humanitaires et du bien-être des populat ions affectées
7. Effets de l’approche cluster sur les populations affectées, les agences, et l’ensemble du système humanitaire.
21. Evidence que les résultats de l’approche cluster justifie les investissements effectués.
Résultats
Lacunes comblées, meilleure couverture
Outcome
Appropriation & Connectivité (LRRD)
1. Etendre la couverture géographique
5. Participation d’acteurs nationaux et locaux de façon appropriée
2. Etendre les couvertures thématiques
6. Stratégies de transmission et de retrait
3. Qualité de des couvertures géographiques et thématiques
4. Couverture de l’ETC et des services logistiques
Produits
Plus de réponses stratégiques
Leadership prévisible
Cohésion et partenariats
10. Clarté des rôles et le niveau de prise de
responsabilité des agences
12. Qualité des relations au sein des cluster
entre membres et non-membres
11. Clarté du concept « fournisseur de
dernier recours », prise de responsabilité
13. Qualité des relations inter-clusters
14. Qualité du partage d’informations
15. Cohérence des politiques et activités
16. Conformité à des standards pertinents
Intrants
Responsabilité (Accountability)
17. Participation et responsabilité du travail
accompli vis-à-vis des populations affectées
(accountability)
18. Mécanismes de responsabilisation et
échanges sur le travail accompli
(accountability) entre HC/RC et les custers et
au sein même des clusters
Approche cluster mise en œuvre
Support du Global cluster
Prévention et préparation des crises
20. Qualité et niveau de supports du Global Cluster
28.
La liste d’indicateurs en Annexe 5 contient également des questions détaillées liées à
des données clés potentielles qui peuvent être utilisées pour apprécier les 21 indicateurs. Les
équipes d’évaluation par pays en consultant les équipes terrain4 pertinentes adapteront les
questions et toutes les données clés à chacun des contextes des pays et des clusters afin
d’évaluer les résultats (couverture, appropriation et connectivité –LRRD) et les produits
(prévisibilité du leadership, partenariat et cohérence, et redevabilité) de chacun des clusters.
De plus, l’équipe d’évaluation collectera des indicateurs techniques existants (orientés
résultats et effets) utilisés pour tous les clusters pertinents aux niveaux global et pays, et ce
pour compléter l’évaluation. Basé sur ces indicateurs et les indicateurs génériques, l’équipe
4
L’équipe d’évaluation diffusera la liste complète des indicateurs entre les différentes parties prenantes pendant
les études de cas pays puis à la réunion du Comité de Pilotage du 27 Août.
10
d’évaluation proposera comme un des résultats de celle-ci un set d’indicateurs spécifiques
clusters qui pourra être utilisé pour la création de « baselines » pour de futures évaluations.
L’illustration 2 décrit les processus envisagés et les résultats.
Illustration 2 : De l’approche aux indicateurs
29.
Finalement, l’évaluation concerne les facteurs contribuant ou entravant la mise en
œuvre de l’approche cluster. Pour identifier ces variables indépendantes, l’équipe
d’évaluation formulera des hypothèses qui guideront la collecte des données aux niveaux pays
et global. Sur la base des trois premières études premiers pays et de recherches au niveau
global, l’équipe d’évaluation évaluera les variables indépendantes possibles via un atelier
(brainstorming) interne. L’équipe appliquera les techniques d’analyse par scénarisation5 et de
variables aléatoires6 dans le but d’identifier des variables omises et sélectionner les variables
les plus pertinentes. L’étude de trois pays permettra de générer de nouvelles preuves
empiriques pour déterminer la pertinence des ces facteurs.
5
Une analyse par scénarisation est une analyse qui tente de d’élaborer une chaine de causes en changeant
d’importantes variables et en imaginant différents scénarios possibles (par exemple que ce passe-t-il si le cluster
x et le cluster y dans un pays z n’aurait pas été mis en place ?)
6
Travailler avec des variables aléatoires signifie qu’il faut introduire des variables indépendantes aléatoires dans
le but de tester la pertinence des variables indépendantes existantes et identifier de possibles variables oubliées.
Par exemple quels seraient les résultats d’une variable indépendante y, on peut l’observer une fois (pendant une
visite terrain) mais tous les mois ?
11
3.4. Outils de collecte des données
30.
L’équipe d’évaluation travaillera avec des données principales et secondaires
pertinentes des niveaux pays et global. Les données seront collectées de la façon suivante :
31.
Données secondaires : Une source importante d’information pour l’évaluation sera
les données secondaires, créées par d’autres que les évaluateurs. Ces données incluent les
documents (compte-rendu de réunions, rapports de situation, données de suivis, résultats
d’évaluations, statistiques existantes, documents d’appel d’offre etc.) mais aussi la
bibliographie pertinente fournie, au niveau pays et global, Les données seront récupérées de
différents parties pertinentes (par exemple Bibliothèque Web) et à travers des recherches.
32.
Données principales : Les évaluateurs vont créer des données principales grâce à
quatre outils principaux : interviews semi-structurés, observation directe, discussions avec les
populations affectées, et enquêtes. Du fait du cadre de l’évaluation, des ressources limitées,
du temps limité pour chaque étude de cas pays, il est impossible d’élaborer des données
techniques quantitatives principales. La plupart des données principales élaborées seront
qualitatives.
• Interviews semi-structurés : Les interviews seront guidées par les indicateurs de
l’évaluation et les questions clés liées (cf. Annexe 5). Ils auront pour but de compléter
les informations collectées via les analyses de données secondaires, de tester les
hypothèses, de croiser par triangulation les résultats, et de favoriser l’appropriation des
différentes parties prenantes. Des interviews seront menées aux niveaux, global
(Europe et New York), régional (Nairobi) et aux niveaux pays (Ouganda, Myanmar,
Tchad, oPT7, RDC). Autant que possibles, les personnes à interroger seront
sélectionnées de façon à couvrir différents types de parties de prenantes (voir la
cartographie des parties prenantes p. 14) et de clusters. De plus des sessions de
« retour d’informations (feedback) » seront mises en place à la fin de chaque mission
terrain avec les parties prenantes clés. Le but des ces groupes de discussion étant de
travailler ensemble sur les solutions possibles des faiblesses identifiés.
• Observations directes au niveau pays : Les évaluateurs vont sélectionner les
programmes à visiter pendant les missions terrain. Ce qui permettra des observations
directes du contexte de la crise, des activités des programmes, et des réussites. Ces
données permettront la triangulation des données secondaires et des informations
obtenues lors des interviews. De plus, les évaluateurs assisteront, comme observateurs,
à certaines réunions sélectionnées (par exemple les réunions de management, les
réunions des équipes humanitaires pays, les réunions intra ou inter-clusters), à des
ateliers et des formations pendant les missions terrain.
• Discussions avec les populations affectées & les communautés hôtes : Du fait de la
forme et du type de questions clés liées à l’évaluation, les interactions avec les
populations affectées seront limitées. Néanmoins, en particulier pour déterminer les
effets de l’approche cluster, les populations affectées et les communautés hôtes sont
des interlocuteurs très importants pour valider les conclusions, les illustrer et collecter
des témoignages. En particulier, les populations affectées, dans les crises prolongées
ou les catastrophes récurrentes, peuvent souvent témoigner des différences de la
7
Territoires Palestiniens Occupés
12
réponse humanitaire avant la mise en place de l’approche cluster et par conséquent,
représentent une source d’information importante concernant les changements de
l’assistance humanitaire dans le temps. Pour collecter les points de vue des
populations affectées, les évaluateurs sélectionneront plusieurs camps, sites, villages et
d’autres lieux dans chaque pays où l’assistance humanitaire est fournie, en espérant
ainsi couvrir différents circonstances et différents niveaux de performance (mais aussi,
où cela est possible, les zones où l’approche cluster a été mise en place et d’autres où
elle ne l’a pas été). Les évaluateurs mèneront des entretiens avec les représentants des
populations affectées. De plus, ils visiteront différents sites et interrogeront différents
individus de façon aléatoire. Les évaluateurs se réfèreront en particulier à trois outils :
la chronologie (une analyse des différentes phases de l’action humanitaire, en essayant
de suivre les changements et d’identifier les corrélations avec l’introduction de
l’approche cluster), les cartographies pour vérifier les oublis à combler, et le
diagramme de Venn pour montrer comment les populations affectées comprennent la
« coordination » et les relations inter-agences.
• Enquête auprès des parties prenantes aux niveaux global/siège : l’enquête comprendra
les organisations participantes, les acteurs humanitaires qui ne participent pas à
l’approche cluster, et dans les pays introduit ou non dans l’approche cluster. Ces
données seront utilisés pour compléter celles déjà collectées aux niveaux terrain et
global. Le questionnaire sera établi après le premier tour des missions terrain pour
combler les manques dans la collecte de données.
3.5. Organisation de l’évaluation
33.
Un consortium entre le « Global Public Policy Institut (GPPi) et le Groupe Urgence,
Réhabilitation, Développement (Groupe URD) mènera cette évaluation. L’équipe de huit
évaluateurs est dirigée par Julia Steets (responsable global de l’équipe) et François Grünewald
(responsable technique de l’équipe). L’évaluation est supervisée par une équipe référente
d’UN OCHA dirigée par Claude Hilfiker et le Comité de pilotage composé de parties
prenantes des Nations Unies, de bailleurs, et d’ONGs.
13
Illustration 3 : Parties prenantes de l’approche cluster
34.
L’équipe d’évaluation consultera les représentants des principaux groupes de parties
prenantes comme décrit dans l’illustration ci-dessus (illustration 3). Pour chaque étude pays,
une nouvelle cartographie des parties prenantes sera établie. Avant de partir de chaque pays,
l’équipe d’évaluation fera une session de débriefing aux principales parties prenantes.
35.
L’équipe d’évaluation se charge de convoquer un « groupe de conseil » qui a le rôle de
« testeur d’idées » et qui fournit des contacts et une expertise technique pertinente. Ce
« groupe de conseil » sera composé de huit membres, choisis pour compléter la composition
du Comité de Pilotage. Les membres confirmés du « groupe de conseil » à la date
d’aujourd’hui sont : Anne Bauer (ex-directrice du département international de la Croix
Rouge Norvégienne et ex-directrice de la Division Urgence de la FAO), Siobhàn Foran
(Conseiller Genre, actuellement conseiller GenCap aux Clusters Globaux à Genève et point
focal pour la révision des Standards SPHERE et des Standards Minimum INEE), Mukesh
Kapila (ex directeur de la branche humanitaire de DFID, ex-assistant du SRSG en
Afghanistan, ex- Coordinateur Régional / Coordinateur Humanitaire pour le Soudan, exconseiller spécial de l’Unité Santé en temps de crise de l’Organisation Mondiale de la Santé et
actuellement conseiller du Secrétaire Exécutif des Fédérations Internationales de la Croix
Rouge), Kate Farnsworth (OFDA, conseillère de l’équipe spéciale DART), Hugues Maury (ex
employé MSF, spécialiste en management de la Qualité, et conseiller spécialisé sur les
problématiques Qualité au Groupe URD).
14
4. Plan de travail et chronogramme
2009
Recherches générales
Elaboration des
indicateurs
2010
Phase II: Recherches terrain
(22 semaines)
Phase III: Synthèse
(8 semaines)
Mission
1
Mission
3
Mission
5
Mission
2
Mission
4
Mission
6
Construction et mise en œuvre du projet
Ecriture du rapport
de démarrage
Analyses de données : visites terrain,
documents et bibliographie, enquêtes
Compléments
et analyses
Vacances de fin d’année
Phase I:
Démarrage
(6 semaines)
Préparation logistique des visites terrains
6 rapports Ebauche du
rapport de
pays
synthèse
Rapport de
démarrage
TéléConférence
Atelier de
restitution
Atelier de
restitution
Rapport
de
synthèse
final
15
5. Rapports et diffusion
36.
Basée sur les Termes de Références, le cadre méthodologique de la Phase 2 de
l’Evaluation de l’Approche Cluster et le présent rapport de démarrage, l’équipe d’évaluation
soumettra les rapports au responsable référent et au Comité de Pilotage :
• Six rapports pays, contenant les résultats et les recommandations de chaque étude pays
• Le rapport de synthèse, contenant les conclusions communes aux différents pays, les
résultats de l’analyse du niveau global et les recommandations pour les parties
prenantes au niveau global.
• Le résumé des données des rapports, contenant les données pertinentes dans un format
« facile à utiliser ».
37.
L’équipe d’évaluation soumettra tous les rapports dans un bon Anglais Standard. De
plus, les Termes de Références de l’évaluation, le cadre méthodologique de la Phase 2 de
l’Evaluation de l’Approche Cluster, le rapport de démarrage, le résumé exécutif de tous les
rapports pays, le résumé exécutif du rapport de synthèse et les rapports complets sur le Tchad,
la RDC et Haïti, seront soumis en Français. L’ensemble de ces rapports seront conformes aux
Standards pour l’Evaluation du Système des Nations Unies et au proforma Qualité d’ALNAP.
38.
Les principales conclusions (résultats) et recommandations de l’évaluation seront
présentées au Comité de Pilotage de la Phase 2 de l’Evaluation Cluster, ainsi qu’au Groupe de
Travail du IASC. Après validation du Comité de Pilotage, les rapports, recommandations et
données seront rendus publiques sur www.gppi.net/consulting/cluster_approach/ . De plus,
GPPi et le Groupe URD diffuseront les résultats de l’évaluation à travers leurs réseaux
institutionnels et leurs organisations partenaires et pourront présenter les conclusions lors
d’autres réunions pertinentes.
16
Annexe 1 : Acronymes
Les acronymes étant des acronymes anglais, il est donné ci-après la correspondance dans la
langue originale puis en italique, sa traduction en français.
ALNAP
Active Learning Network for Accountability and Performance in
Humanitarian Action – Réseau pour l’apprentissage actif pour la
redevabilité et la performance de l’action humanitaire
CE2
cluster approach evaluation phase 2 – Phase 2 de l’évaluation de
l’approche Cluster
CE2StG
Cluster Evaluation phase 2 Steering Group – Comité de Pilotage de la
phase 2 de l’Evaluation Cluster
COB
close of business - Clôture (de phase ou contrat)
DRC/RDC
Democratic Republic of Congo – République Démocratique du Congo
ERC
Emergency Response Coordinator – Coordinateur de la Réponse
d’Urgence
ETC
Emergency Telecommunications – Télécommunications d’Urgence
GHP
Global Humanitarian Platform – Plateforme Globale Humanitaire
GPPi
Global Public Policy Institute – Institut de politiques publiques globales
HC
Humanitarian Coordinator – Coordinateur Humanitaire
IASC
Inter-Agency Steering Committee – Comité de Pilotage inter-agence
INGO
International Non-Governmental Organization
Internationales Non-Gouvernementale
IR
Inception Report – Rapport de démarrage
NGO / ONG
Non-Governmental Organization – Organisation Non-Gouvernementale
OCHA
United Nations Office for the Coordination of Humanitarian Affairs –
Bureau de Coordination des Affaires Humanitaires des Nations Unies
OCHA ESS
OCHA Evaluation and Studies Section - Section Etudes et Evaluation
d’OCHA
OECD-DAC
Organisation for Economic Co-operation and Development Development Assistance Committee – OCDE-CAD : Organisation de
Coopération et de Développement Economique – Comité d’Aide au
Développement
RC
Regional Coordinator – Coordinateur Régional
TORs
Terms of Reference - Termes de Références
UN
United Nations – Nations Unies
UNHCR
United Nations High Commissioner for Refugees – Haut Commissariat
aux réfugiés des Nations Unies
URD
Groupe Urgence – Réhabilitation – Développement
WHO
World Health Organisation – Organisation Mondiale de la Santé
–
Organisation
17
Annexe 2 : Résumé des discussions du Groupe de Pilotage
Le résumé suivant des discussions du Groupe de Pilotage a été envoyé à tous les participants
par UN OCHA :
• Mise à part certains points des discussions mentionnés ci-dessous, Le Groupe de
Pilotage est globalement d’accord avec le rapport de démarrage présenté (IR), et plus
particulièrement sur le chronogramme présenté, le cadre et les produits de
l’évaluation, mais aussi sur les limites indiquées dans le présent rapport de démarrage.
• Le CE2StG se réjouit de la réduction du nombre d’indicateurs proposée par le Groupe
URD & GPPi.
• Il a été accepté que GPPi & le Groupe URD affineront davantage les indicateurs
spécifiques cluster. Dans ce cadre, WHO et UNHCR ont exprimé leur souhait d’être
consulté à cet effet.
• Il a été accepté que la Phase 2 de l’évaluation devrait se concentrer sur les résultats de
l’approche Cluster, plutôt que sur les processus (comme défini dans le « modèle
logique » du « cadre méthodologique » de l’évaluation).
• Il a été discuté de la difficulté pour l’évaluation de générer des « baselines » pour de
futures évaluations et qu’il s’agit là d’un projet à part entière. Cependant, l’évaluation
développera des indicateurs qui pourront être utilisés pour le suivi de la performance
des Clusters à l’avenir.
• Les membres du CE2StG ont souligné que l’évaluation ne doit pas oublier aussi
d’évaluer les interactions avec les autres piliers de la réforme humanitaire.
• Il a été rappelé également que l’évaluation devra inclure une analyse « cout-bénéfice »
de l’approche cluster.
•
Le rapport de démarrage devrait plus développer les aspects stratégies d’inclusion des
problématiques croisées dans le travail des Clusters et développer avec plus de détails,
comment la problématique du « Genre » sera intégrée dans l’évaluation.
• Il a été conclu que le CE2StG et le consortium GPPi&Groupe URD devront informer
toutes les parties prenantes clés du terrain de l’évaluation à venir et que les indicateurs
spécifiques cluster devrait être discutés avec ces derniers.
• Il a été conclu également que le consortium GPPi&Groupe URD mette en place un
« groupe de conseiller technique », qui vérifiera l’approche méthodologique et
technique (fonction de vérification, d’aller-retour en paires)
18
Actions à mettre en œuvre :
1) Le CE2StG fournira les commentaires par écrits sur le rapport de démarrage à
OCHA ESS jusqu’à COB 31 Juillet.
2) Le consortium GPPi&Groupe URD incorporera ces commentaires, de la façon
la plus appropriée, dans le rapport de démarrage. Le rapport sera de nouveau à
partager avec le CE2StG.
3) Il a été conclu que la prochaine réunion CE2StG se tiendra le 27 Août, entre
15 :00 et 16 :30 avec comme objectif de finaliser le rapport de démarrage.
4) OCHA ESS se charge d’organiser de la traduction de la documentation
principale du CE2 en Français.
5) GPPi & Groupe URD transmettront une brochure (ébauche en pièce jointe) à
propos du projet au CE2StG qui pourrait le distribuer au différentes parties
prenantes. Si aucun commentaires sont reçu avant le 31 Juillet, nous
considérons que cette brochure est approuvée par le CE2StG3.
19
Annexe 3 : Ebauche de plan pour les rapports pays
(~ 25 pages)
Le résumé exécutif, comprenant les résultats clés et leurs sources (~3 pages)
1. Contexte du pays (~1 page)
• Nature et historique de l’urgence
• Description de la réponse humanitaire (Qui, quoi, pour combien de temps ?)
• Modalités de coordination avant la mise en place de l’approche cluster
• Modalités usuelles de l’approche cluster au niveau global
• Statuts de l’approche cluster (depuis quand est-elle mise en œuvre, quels sont les
clusters activés, dirigés par qui, principales activités ?)
2. Objet, cadre et méthode (~2 pages)
3. Résultats (conclusions) (~17 pages)
• Quel type de support des clusters globaux apporte aux clusters pays et terrain
(standards, bonnes pratiques, support opérationnel, conseils et formations) et comment
sont utilisés ces supports ?
• A quel point les mesures prises dans le cadre de la réforme permettent d’atteindre les
produits escomptés (prévisibilité du leadership, partenariat/cohérence, redevabilité)
• Comment l’approche cluster interagit avec les autres piliers de la réforme, et tout
particulièrement avec les Coordinateurs Humanitaires, les mécanismes de financement
et les principes de partenariats de la Plateforme Globale Humanitaire dans le contexte
de ce pays ?
• A quel point l’approche cluster renforce la réponse humanitaire (en termes d’oublis à
combler/meilleure couverture, appropriation/connectivité) ?
• La mise en œuvre de l’approche cluster a-t-elle des effets intermédiaires démontrés sur
les populations affectées pour chaque cluster et les problématiques croisées ?
• Quels effets, escomptés ou non, positifs ou non de l’approche cluster par rapport aux
populations affectées, à la coordination et aux interactions entre les organisations
participantes et le système humanitaire dans son ensemble, peuvent être démontrés ?
• Quels facteurs contribuent ou entravent une mise en œuvre efficace de l’approche
cluster pour cette étude de cas pays (incluant le support du global cluster) ?
• A travers quels mécanismes, l’approche cluster contribuent ou entravent la délivrance
d’une assistance plus efficace et plus efficiente dans cette étude de cas pays ?
20
4. Conclusions et recommandations (~2 pages)
• Il y a-t-il des preuves de relations causales adoptées entre les intrants, les résultats
escomptés et les objectifs de l’approche cluster / il y a-t-il des preuves que les activités
de l’approche cluster contribuent à augmenter la couverture, à permettre de combler
des oublis et à renforcer l’appropriation et la connectivité ?
• Est-ce que les résultats justifient les investissements (des clusters globaux et autres
acteurs comme le IASC, les agences UN, les ONG, les gouvernements et les bailleurs)
jusqu’ici ?
• Recommandations (en fonction du lieu) : Comment la réponse humanitaire et
l’approche cluster peuvent être renforcées dans le pays et le contexte terrain par des
actions de : les agences responsables de cluster global ; les agences responsables de
clusters pays et local ; le Coordinateur Humanitaire ; les ONG (internationales et
locales) ; les gouvernements hôtes (nationales et locales) ; autres acteurs
humanitaires ?
Annexe : Liste des personnes interviewée et consultée et les sites visités
Annexe : Original des Termes de Références pour l’évaluation
Annexe : Abréviations
21
Annexe 4 : Ebauche de plan pour le rapport de synthèse
(~36 pages)
Le résumé exécutif, comprenant les résultats clés et leurs sources (~4 pages)
Préface (~3 pages)
•
Quel était l’organisation de l’évaluation, comment a-t-elle été menée, comment estelle liée à d’autres évaluations (HRR et phase 1) ?
• Quelles furent les plus grands risques de l’évaluation ?
• Cadre, limites et méthodes de l’évaluation
1. Introduction (~2 pages)
• Pourquoi l’approche cluster a-t-elle été introduite et que cherchait-elle à
accomplir/réaliser ?
• Quels clusters existent et quels sont les autres éléments critiques de la réforme
humanitaire ?
• Où l’approche cluster a-t-elle été mise en place, en combien de temps et quelles sont
les modalités usuelles de mise en œuvre ?
• Où l’approche cluster n’a pas été introduite ? et pourquoi ?
• Qu’est-ce qui a été fait jusqu’à maintenant pour renforcer l’approche cluster et
améliorer son efficacité (en incluant : Quelles recommandations de l’évaluation phase
1 ont été mise en œuvre ?)
2. Résultats (~23 pages)
• Quel type de support apporte les clusters globaux et comment est-il utilisé aux niveaux
pays et terrain ?
• A quel point les mesures prises dans le cadre de la réforme permettent d’atteindre les
produits escomptés (prévisibilité du leadership, partenariat/cohérence, redevabilité)
• Comment l’approche cluster interagit avec les autres piliers de la réforme, et tout
particulièrement avec les Coordinateurs Humanitaires, les mécanismes de financement
et les principes de partenariats de la Plateforme Globale Humanitaire dans le contexte
de ce pays ?
• A quel point l’approche cluster renforce la réponse humanitaire (en termes d’oublis à
combler/meilleure couverture, appropriation/connectivité) ?
• La mise en œuvre de l’approche cluster a-t-elle des effets intermédiaires démontrés sur
les populations affectées pour chaque cluster et les problématiques croisées ?
22
• Quels effets, escomptés ou non, positifs ou non de l’approche cluster par rapport aux
populations affectées, à la coordination et aux interactions entre les organisations
participantes et le système humanitaire dans son ensemble, peuvent être démontrés ?
• Quels facteurs contribuent ou entravent une mise en œuvre efficace de l’approche
cluster pour cette étude de cas pays (incluant le support du global cluster) ?
3. Conclusions and recommandations (~ 4 pages)
• Qu’est-ce qui a été réalisé/atteint jusqu’ici ?
• Il y a-t-il des preuves de relations causales adoptées entre les intrants, les résultats
escomptés et les objectifs de l’approche cluster / il y a-t-il des preuves que les activités
de l’approche cluster contribuent à augmenter la couverture, à permettre de combler
des oublis et à renforcer l’appropriation et la connectivité ?
• Résumé des principales recommandations des niveaux pays et terrain
• Est-ce que l’approche cluster répond aux attentes des parties prenantes clés et est-ce
que les résultats et les effets justifient les investissements (des clusters globaux et
autres acteurs comme le IASC, les Agneces UN, les ONG, les gouvernements et les
bailleurs) jusqu’ici ?
• Recommandations (en fonction du lieu) : Comment la réponse humanitaire et
l’approche cluster peuvent être renforcées dans le pays et le contexte terrain par des
actions de : les agences responsables de cluster global ; les agences responsables de
clusters pays et local ; le Coordinateur Humanitaire ; les ONG (internationales et
locales) ; les gouvernements hôtes (nationales et locales) ; autres acteurs
humanitaires ?
• Recommandations pour chaque cluster, comprenant les responsables et co-responsable
de cluster, les membres de cluster, le IASC, les HCs et le ERC et OCHA : L’approche
cluster peut-elle et doit-elle être encore plus renforcée au niveau global pour améliorer
l’assistance humanitaire ? Si oui, pourquoi et comment ? Si non, pourquoi et quelles
sont les alternatives ? Qu’est-ce que les responsables de cluster global doivent faire
pour assurer le renforcement des clusters au niveau terrain et pour assurer leurs
activités et leur efficience ? Qu’est-ce que les autres organisations, comme les ONG,
les gouvernements hôtes ou les communautés doivent faire pour permettre une
meilleure efficacité de l’approche cluster ?
Annexe : compilation des données PPT
Annexe : Liste des personnes interviewée et consultée et les sites visités
Annexe : Original des Termes de Références pour l’évaluation
Annexe : Abréviations
23
Annexe 5 : Indicateurs (voir le fichier excel)
24
Descargar