B. DES ÉVALUATIONS TERRITORIALES ET THÉMATIQUES INCOMPLETES
1. La difficulté de dégager des constats transversaux à partir des évaluations locales
a- Les constats de la synthèse des évaluations à mi-parcours des contrats de ville
Les contrats de ville 2000-2006 ont fait l'objet d'évaluations locales à mi-parcours entre 2003 et 2004. Deux principaux constats peuvent être dégagés de la synthèse nationale de ces évaluations, réalisée en 2005 par la DIV :
En premier lieu, les objectifs de développement économique et d'aide à l'emploi ont, en pratique, été « rabattus sur l'insertion sociale » . Si cette thématique est affichée comme prioritaire dans la quasi-totalité des contrats de ville, cette priorité a eu du mal à se concrétiser. De nombreuses actions prévues dans les conventions-cadre n'ont pas été réalisées. La faiblesse voire l'absence d'actions à caractère économique ou tournées vers l'emploi est soulignée dans les évaluations des contrats de ville. La synthèse relève, cependant, que ce volet développement économique a pu être mis en oeuvre de façon plus dynamique pour certains contrats de ville. Des actions en faveur du développement économique et de l'emploi ont également pu être menées dans un autre cadre que celui du contrat de ville. La synthèse constate la fréquente séparation fonctionnelle de fait entre :
- D'une part, le PLIE 165 ( * ) , qui a vocation à traiter de l'articulation entre acteurs du service public de l'emploi ;
- D'autre part, le contrat de ville, « se consacrant exclusivement au développement d'une offre d'insertion » 166 ( * ) .
En second lieu, dans le domaine de la prévention et de la sécurité, un manque d'articulation entre contrat de ville et contrats locaux de sécurité est relevé.
Cependant, ainsi que le souligne le rapport d'information du Sénat sur l'avenir des contrats de ville 167 ( * ) , le bilan des contrats de ville 2000-2006 fait également apparaître des apports incontestables, notamment la capacité à mobiliser différents partenaires.
b- Des constats insuffisants en l'état pour avoir une vision fine de l'efficacité locale des interventions de la politique de la ville
Tout d'abord, les évaluations des contrats de ville ne donnent pas une vision suffisamment précise de cette efficacité.
- La synthèse nationale des évaluations à mi-parcours s'est heurtée à plusieurs difficultés de méthode.
|
La synthèse nationale des évaluations à mi-parcours : la difficulté d'une évaluation des contrats de ville - Cette synthèse ne s'appuie pas sur un échantillon représentatif. Elle s'appuie, en effet, sur 100 rapports relatifs à 247 contrats de ville, mais l'Ile-de-France (7 rapports pour 43 contrats de ville) et la région Nord-Pas-de-Calais (aucun rapport bien qu'il y ait 11 contrats de ville) sont sous-représentées. - Les documents transmis à la DIV ne sont pas homogènes. Les rapports d'évaluation intermédiaire sont minoritaires. La synthèse s'appuie sur une majorité de rapports d'étape, de rapports produits par des cabinets d'études sans formalisation du jugement de la maîtrise d'ouvrage, de notes de synthèse, de bilans ainsi que de quelques études et diagnostics. Ce corpus se caractérise, selon la synthèse nationale, par une forte hétérogénéité, sur le plan tant des approches évaluatives, des objets et des protocoles d'enquête que de la qualité des analyses présentées et des enseignements qui en sont tirés. - Sur le contenu des évaluations elles-mêmes, la synthèse nationale relève la faiblesse des évaluations de l'impact des contrats de ville sur les quartiers concernés 168 ( * ) . |
- Les évaluations finales des contrats de ville 2000-2006 n'ont pas donné lieu, quand elles ont été effectivement menées, à l'établissement d'une synthèse nationale. Cette synthèse aurait pourtant été d'une grande utilité avant la création d'un nouveau cadre pour la contractualisation, celui des CUCS.
Ensuite, les deux référentiels nationaux d'objectifs et d'indicateurs ne sont pas déclinés de façon à permettre des constats transversaux sur l'efficacité locale des interventions de la politique de la ville :
- Les objectifs et indicateurs de résultats de la loi du 1 er août 2003 ne sont suivis qu'au niveau national par l'ONZUS. Les observatoires locaux intervenant dans le champ de la politique de la ville suivent fréquemment des tableaux de bord spécifiques qui ne sont pas directement liés au référentiel de la loi de 2003 169 ( * ) . Dans ces conditions, il est très difficile d'établir des comparaisons entre les différents territoires d'intervention de la politique de la ville.
- Le volet performance du PAP du programme 147 n'a pas fait l'objet d'une déclinaison locale d'objectifs et d'indicateurs de pilotage complémentaires.
Enfin, la Cour a constaté, dans les trois départements visités, que les réactions des habitants des quartiers sur l'impact des actions mises en oeuvre ne sont que rarement analysées, bien que les habitants doivent être associés « à l'élaboration, à la mise en oeuvre et à l'évaluation en continu des actions » 170 ( * ) . Sous réserve de la mise en oeuvre d'une méthodologie adaptée, de telles études seraient pourtant utiles, comme le montrent les résultats d'un sondage réalisé en 2004 auprès des habitants de l'agglomération lyonnaise pour l'évaluation à mi-parcours des contrats de ville. Cette enquête, qui couvrait la période 1999-2004, s'est appuyée sur une méthodologie distinguant deux « panels d'habitants » : le premier résidant dans les quartiers d'intervention de la politique de la ville et le second résidant en dehors de ces quartiers. Elle a montré :
- Une amélioration globale des opinions des habitants des quartiers sur leur situation ;
- Des écarts entre les opinions des habitants des quartiers relevant de la politique de la ville et celles des habitants du reste de l'agglomération ;
- Des attentes centrées sur le vécu quotidien des habitants (sécurité, propreté, nuisances sonores, circulation et stationnement) et qui peuvent ne pas correspondre aux priorités assignées aux politiques publiques dans ces quartiers.
c- Les apports et les limites des CUCS pour l'appréciation de l'efficacité des interventions de la politique de la ville
Le volet évaluatif est mieux défini dans les circulaires relatives aux CUCS que dans celle relative à la dernière génération de contrats de ville.
|
Le volet évaluatif des CUCS Les circulaires du 24 mai 2006 et du 15 septembre 2006 prévoient une évaluation des contrats urbains de cohésion sociale (CUCS) après 3 ans. Cette évaluation doit s'appuyer sur des bilans annuels de réalisation préexistants et prévus par la loi du 1 er août 2003. La circulaire du 24 mai 2006 invitait les préfets à veiller « tout particulièrement à la définition de critères d'évaluation dès la signature des conventions » . La circulaire du 15 septembre 2006 insiste sur la nécessité d'intégrer cette préoccupation dès la phase d'élaboration des CUCS. Le guide méthodologique des CUCS 171 ( * ) distingue deux phases différentes d'appréciation des résultats du contrat : - Un « bilan » , institué par la circulaire du 24 mai 2006 et présenté comme un outil de pilotage des CUCS. Ce bilan doit présenter les éléments de suivi physique et financier du CUCS et se référer aux indicateurs de résultats du contrat ; - L' « évaluation » qui doit « reposer sur un portage politique fort » . Dans cette perspective, une « instance d'évaluation » doit être instituée et rassembler « les partenaires ainsi que des représentants des habitants et du secteur associatif » . Cette évaluation doit intervenir à l'échéance de trois ans. |
L'examen par la Cour des CUCS ou des projets de CUCS d'Amiens, Vaux-en-Velin, Clichy et Montfermeil a montré que la dimension évaluative est plus développée et plus précise que pour les précédents contrats de ville. Cependant, on relève une grande hétérogénéité dans le choix des objectifs et indicateurs d'un contrat à l'autre.
Les acteurs de terrain rencontrés par la Cour ont d'ailleurs très souvent déploré le manque d'accompagnement méthodologique pour la définition du volet évaluatif. Ce cadrage est en cours de définition :
- Une note de cadrage sur l'évaluation des CUCS a été diffusée par la DIV en février 2007 ;
- Cette note devrait être accompagnée de la publication d'un guide d'évaluation dans le courant de l'année 2007.
L'élaboration de ces outils postérieurement à la préparation et à la signature d'un nombre déjà important de CUCS fait courir le risque d'un renouvellement des difficultés de synthèse au niveau national, déjà constatées pour l'évaluation à mi-parcours des contrats de ville.
* 165 Les plans locaux pour l'insertion et l'emploi (PLIE) constituent des plates-formes de coordination locale (notamment entre agence locale pour l'emploi, PAIO, mission locale) destinées à favoriser l'accès ou le retour à l'emploi des personnes les plus en difficulté. Les PLIE ont été créés progressivement à l'initiative des collectivités locales à partir du début des années 1990 avant d'être consacrés par la loi n° 98-657 du 29 juillet 1998 d'orientation relative à la lutte contre les exclusions.
* 166 DIV, Synthèse nationale des évaluations à mi-parcours des contrats de ville 2000-2006, rapport final, 2005, p 19.
* 167 Rapport précité de M. Pierre André, fait au nom de la commission des affaires économiques, 2005.
* 168 « Les rapports d'évaluation portent plus souvent sur les effets indirects des contrats de ville (effets sur les politiques publiques) que sur leurs effets directs (impact sur les quartiers). La faiblesse des enseignements relatifs aux effets directs des contrats tient à deux raisons majeures : les outputs (ex. nombre de personnes touchées par une action) sont confondus avec les outcomes (effet de l'action sur ses bénéficiaires) ; les changements observés dans les quartiers sont imputés à la politique menée sans qu'aucune analyse ne vienne étayer ce lien. » , DIV, Synthèse nationale 2000-2006, rapport final, 2005.
* 169 Le répertoire des observatoires locaux de la politique de la ville établi en novembre 2005 par la DIV et la fédération nationale des agences d'urbanismes a recensé, ainsi, 37 systèmes d'observation des contrats de ville, situés au niveau de la ville, de l'agglomération, du pays, du département ou de la région.
* 170 La circulaire du Premier ministre du 31 décembre 1998 relative aux contrats de ville 2000-2006 estimait, à cet égard, qu'il convenait « d'organiser les démarches permettant aux habitants de se prononcer, en amont de l'élaboration des projets, sur les priorités des programmes d'action qui concernent le cadre de leur vie quotidienne, mais aussi de les associer à l'élaboration, à la mise en oeuvre et à l'évaluation en continu des actions qui seront décidées par les partenaires du contrat de ville » . Les circulaires relatives aux CUCS ont repris cet objectif de participation des habitants.
* 171 Élaboré par la DIV.