III. LE RESPECT DE QUELQUES RÈGLES PRATIQUES
L'organisation de l'évaluation des politiques publiques ne doit pas négliger deux exigences pratiques primordiales : l'impératif de qualité des travaux ; la nécessité de l'utilité.
A. UNE EXIGENCE DE QUALITÉ
Les travaux d'évaluation doivent atteindre un haut niveau de qualité.
C'est dire d'abord que les travaux d'évaluation doivent respecter des normes . De telles normes ont été définies par les milieux professionnels en charge de l'évaluation dans tous les pays où celle-ci s'est développée.
Ainsi, par exemple, le « Joint Committee on standards for educational evaluation » américain s'est attaché à définir un système de normes qui, adopté en 1981, comporte 30 critères.
LES NORMES ADOPTÉES PAR LE
« « JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL
EVALUATION » DES ETATS-UNIS
Les trente critères identifiés par le Comité peuvent être regroupés en quatre catégories :
Les critères d'utilité cherchent à garantir qu'une évaluation répondra aux besoins pratiques d'information des destinataires de l'évaluation. Ces critères incluent l'identification des destinataires, la crédibilité de l'évaluateur, la diversité et la sélectivité de l'information collectée, la capacité d'interprétation normative, la clarté du rapport, la diffusion du rapport, le fait que le rapport soit remis à temps et l'impact de l'évaluation.
Les critères de faisabilité cherchent à garantir qu'une évaluation sera réaliste, prudente, diplomatique, et « frugale » ( sic ). Ceci inclut des procédures pratiques, la viabilité politique, et un bon rapport coût/efficacité.
Les critères déontologiques cherchent à garantir qu'une évaluation sera conduite dans la légalité, dans le respect de l'éthique, et en prenant en considération le bien-être de ceux qui sont impliqués dans l'évaluation, aussi bien que de ceux qui sont affectés par ses résultats. Ceci inclut des obligations formelles, la gestion de conflits d'intérêt, une communication complète et franche des informations, le droit du public de savoir, le respect des droits de l'homme, les interactions humaines, un rapport rédigé de manière équilibrée, et le sens des responsabilités pour ce qui concerne l'affectation des deniers publics.
Les critères d'exactitude cherchent à garantir qu'une évaluation utilisera une information techniquement adéquate sur les caractéristiques de l'objet étudié, particulièrement lorsque ces caractéristiques déterminent sa valeur ou son mérite. Ceci inclut l'identification de l'objet, l'analyse du contexte, l'explicitation des objectifs et des procédures du programme, l'utilisation de sources d'information justifiables, des mesures valides, des mesures fiables, un contrôle systématique des données, une analyse de l'information quantitative, une analyse de l'information qualitative, des conclusions justifiées et un rapport objectif.
Le Conseil scientifique français de l'évaluation a également adopté une telle démarche, définissant cinq critères d'appréciation de la qualité d'une évaluation.
LES CRITÈRES DÉFINIS PAR LE CONSEIL
SCIENTIFIQUE
DE L'ÉVALUATION FRANÇAIS
Utilité-pertinence : c'est le fait que l'évaluation produise de l'information compréhensible et utile, non seulement pour les décideurs mais aussi pour les autres protagonistes de la politique publique. Pour cela, le rapport d'évaluation doit répondre de manière directe et compréhensible aux questions posées dans le projet. Le critère peut également inclure le respect des délais. Enfin, est également pris en compte l'intérêt de l'apport cognitif pour la société...
Fiabilité : l'évaluation doit être « digne de confiance » ( trustworthiness ). Cela renvoie à l'exactitude des informations collectées et à la valeur scientifique des imputations causales sur lesquelles se fonde le jugement évaluatif...
Objectivité : l'objectivité s'entend comme le fait que les conclusions de l'évaluation n'ont pas été influencées par les préférences personnelles ou les positions institutionnelles des responsables de l'évaluation (chargés d'étude ou membres de l'instance), ou du moins que ces préférences ont été suffisamment explicitées ou contrôlées pour que l'on puisse supposer qu'une autre évaluation répondant aux mêmes questions et utilisant les mêmes méthodes conduirait aux mêmes conclusions...
Possibilité de généralisation : il s'agit de savoir dans quelle mesure les conclusions portées sur les effets d'une action publique à partir d'observations faites sur un certain type de terrain pendant une période donnée peuvent être étendues à d'autres situations, à d'autres contextes, voire à des politiques différentes...
Transparence
: outre l'exigence d'un
exposé complet et rigoureux des méthodes mises en oeuvre, ce
critère inclut l'idée que l'évaluation doit expliciter son
propre « mode d'emploi » et ses limites...
En outre, on estime, en général, que le respect de ces critères de qualité réclame, idéalement, une validation par un tiers.
C'est la raison pour laquelle vos rapporteurs recommandent qu'une Haute Autorité de l'Evaluation soit chargée notamment d'assurer l'évaluation de l'évaluation.