C. UNE FIABILITÉ REMISE EN CAUSE PAR LA SURVENANCE D'« INCIDENTS » TECHNIQUES
1. Le « bug » SFR de 2013
La procédure d'actualisation réalisée chaque mois comporte quatre phases :
- l'appel à actualisation : les demandeurs d'emploi concernés sont contactés par Pôle emploi. Un formulaire de déclaration de situation mensuelle (DSM) papier est transmis aux demandeurs d'emploi ayant opté pour cette modalité de contact (environ 2 %) ;
- la période d'actualisation s'ouvre le 28 de chaque mois (le 26 pour le mois de février) et est close le 15 du mois suivant. Les demandeurs d'emploi doivent déclarer leur situation par internet (79 %), via l'application mobile Pôle emploi (6 %), par téléphone (14 %), par courrier (moins de 1 %), ou en agence (moins de 1 %) ;
- la relance : les demandeurs d'emploi n'ayant pas procédé à leur actualisation font l'objet d'un deuxième contact par SMS ou message vocal le 11 du mois suivant ou par courrier le septième jour ouvré du mois ;
- la clôture : intervient le 15 du mois suivant à minuit. Passée cette date, les demandeurs d'emploi non actualisés ne sont plus inscrits. Cette cessation d'inscription pour défaut d'actualisation leur est notifiée par courrier ou par internet.
La procédure de relance par SMS a été confiée à la société Jet Multimédia en 2004 dans le cadre d'un marché public. Cette société a été rachetée en 2008 par SFR. Depuis cette date, l'opérateur réalise cette prestation pour le compte de Pôle emploi.
Dans le cadre de la procédure d'actualisation pour le mois d'août 2013, un incident, connu sous le nom de « bug SFR », a eu pour effet une minoration du nombre de demandeurs d'emploi inscrits sur les listes de Pôle emploi.
La chronologie de cet incident a été rappelée par Jean Bassères, directeur général de Pôle emploi, lors de son audition 17 ( * ) : « en septembre 2013, nous avons enregistré un nombre très important d'absences d'actualisation au titre du mois d'août 2013 . Nous en avons recherché les causes, mais en nous concentrant sur des éléments de la chaîne très internes à Pôle emploi. N'ayant rien trouvé, nous avons signalé avec la Dares, dans notre publication mensuelle, qu'un nombre important de personnes n'avaient pas actualisé leur situation . Quelques jours après, nous apprenions que des SMS n'avaient pas été envoyés : SFR avait eu un incident technique, ne nous en avait pas informés , et nous-mêmes - je m'en fais encore le reproche - n'avions pas été en mesure de nous en rendre compte ».
Au total, près de 176.000 SMS de relance n'ont pas été acheminés par l'opérateur . Cet incident s'est traduit par une hausse des sorties pour défaut d'actualisation au titre du mois d'août 2013 et corrélativement, par une baisse du nombre de demandeurs d'emploi inscrits fin août 2013 , comprise, selon la mission menée par l'IGF, l'Igas et l'Insee précitée, entre 32.000 et 41.000 demandeurs d'emploi pour les catégories A, B, C.
Logiquement, cette baisse a été immédiatement suivie par une hausse du nombre d'inscriptions en septembre 2013 .
2. Des procédures mieux formalisées qui n'ont cependant pas empêché un nouvel incident en mai 2015
L'établissement des statistiques des demandeurs d'emploi en fin de mois résulte d'un travail réalisé conjointement par Pôle emploi et la Dares. Les rôles respectifs de chacun ont été précisés dans la convention Nostra du 23 janvier 2013 .
Le processus d'établissement des statistiques des DEFM débute à la fin de la période d'actualisation. Les dossiers ayant fait l'objet d'une modification sont extraits pour chaque direction régionale par la direction des systèmes d'information (DSI).
Après différents contrôles (lisibilité, cohérence, complétude, volumétrie des fichiers, etc.), la direction des statistiques, des études et de l'évaluation (DSEE) de Pôle emploi valide l'envoi par la DSI du fichier national à la Dares le quatrième jour ouvré après la clôture de l'actualisation. Ce fichier individuel, exhaustif et anonymisé, dit « fichier détail », est intégré simultanément dans les chaînes informatiques de Pôle emploi (chaîne STMT) et de la Dares (chaîne Nostra).
Pôle emploi et la Dares effectuent en parallèle différents traitements de ces bases (calcul des séries brutes et CVS-CJO, établissement de l'ensemble des données nécessaires à la publication et l'exploitation des statistiques).
Les statistiques ainsi produites font l'objet de contrôles parallèles de la part de Pôle emploi et de la Dares portant sur la cohérence et la vraisemblance des données. Si une évolution atypique ou inhabituelle est décelée, des analyses complémentaires sont menées. Les données obtenues par Pôle emploi d'un côté et la Dares de l'autre sont ensuite confrontées.
La Dares est chargée de la rédaction du « Dares Indicateurs » mensuel destiné à présenter ces chiffres et du communiqué de presse. Ces deux documents sont transmis à Pôle emploi ainsi qu'au cabinet du ministre du travail la veille du jour de la publication.
La publication et le communiqué de presse sont mis en ligne simultanément sur le site internet de la Dares et de Pôle emploi le septième jour ouvré après le 15 du mois à 18 heures.
L'ensemble des indicateurs statistiques obtenus entre le quatrième jour ouvré après la clôture de l'actualisation et le jour de la publication du « Dares indicateurs » et du communiqué de presse sont mis sous embargo .
Le « bug SFR » a permis de remettre en question les procédures de contrôle suivies par Pôle emploi et la Dares tout au long du processus d'élaboration des statistiques des DEFM et, notamment, au cours du processus d'actualisation (cf. graphique infra ).
Contrôles mis en oeuvre par Pôle emploi durant le processus d'actualisation
Source : Pôle emploi
En particulier, au stade de :
- l'appel à actualisation , un contrôle est effectué du volume d'appels par rapport au mois précédent ;
- l'actualisation , des contrôles quotidiens sont réalisés (comparaison du volume d'actualisation par rapport au mois précédent et à l'année précédente, contrôles des flux reçus et traités par les sous-traitants, surveillance de l'intégrité de ces flux, etc.) ;
- la relance , des vérifications relatives à l'aboutissement des relances, du taux de retour et à d'autres paramètres sont menées ;
- la clôture , un suivi des actualisations par rapport au nombre de personnes appelées et aux campagnes précédentes est réalisé.
Par ailleurs, un plan d'actions spécifique SFR/Pôle emploi a été mis en oeuvre dès octobre 2013 poursuivant trois objectifs :
- améliorer la sécurisation de la phase de relance à travers le renforcement des points de contrôle et des échanges entre les équipes, l'amélioration des indicateurs de suivi et la formation des résultats ;
- améliorer le suivi et le pilotage des opérations quotidiennes via le renforcement du suivi des différentes étapes de l'actualisation par la DSI, le suivi continu des mouvements (entrées et sorties), etc. ;
- renforcer la sécurisation d'ensemble du fonctionnement du système d'information et des services internet grâce à un contrôle accru des traitements informatiques par la DSI et à une meilleure prise en compte des changements de logiciels ou d'applications.
Enfin, de manière plus générale, une cartographie des risques a été mise en place. Pour chacun des risques ainsi identifiés, une procédure spécifique a été définie pour y répondre.
Cartographie des risques liés à l'établissement des statistiques des DEFM
|
Type de risque |
Risques |
Dispositifs mis en place pour prévenir le risque |
|
1. Remontée des données opérationnelles |
Panne informatique (serveur, réseau) |
- Deux types de sauvegardes quotidiennes sont réalisés : les sauvegardes de production qui restent sur site et les sauvegardes de secours sur un site externalisé. |
|
Problème dans l'inscription
|
- Surveillance quotidienne par la direction des systèmes d'information ()DSI de l'inscription et actualisation des demandeurs d'emploi. En particulier, différents contrôles sont installés sur toutes les phases du processus d'actualisation. En cas d'erreur d'un traitement journalier, les non-traités sont repris le lendemain automatiquement. - Un suivi renforcé du taux d'aboutissement des SMS et appels vocaux a été mis en place à la suite du « bug SFR ». |
|
|
2. Constitution ou transmission des fichiers statistiques |
Problème informatique
|
- La supervision technique des systèmes d'information est renforcée sur la chaîne STMT. Un système d'astreinte est en place à la DSI ainsi qu'une surveillance continue des batchs tout au long de la production. - Un système de contrôles automatisés sur la volumétrie et la cohérence des données est en place à Pôle emploi. Le feu vert pour la constitution des fichiers et leur transmission n'est donné qu'à l'issue de ces contrôles. |
|
Problème informatique
|
- La supervision technique du système d'information a été renforcée. - Un système d'astreinte du bureau de l'information et des systèmes d'information (BISI) et de la DSI est en place sur les périodes de production. Dès qu'un problème est détecté, le BISI déclenche le processus. - Un système de contrôles automatisé de la volumétrie et de la cohérence des données permet une détection des problèmes au plus tôt, permettant de régénérer le fichier si besoin dans les quatre jours de production. |
|
|
3. Risques humains dans les traitements |
Indisponibilité (maladie, grève) des agents en
charge de la production des statistiques
|
- Pour l'ensemble des postes (DSI, DSEE), au moins trois personnes, dont deux présentes pendant la période de production, ont les compétences et le savoir-faire nécessaires pour réaliser la production intégrale des données (depuis la réception des fichiers jusqu'à la production des indicateurs). |
|
4. Risques statistiques |
Problème technique dans l'exploitation des fichiers (logiciel, serveur) |
- Process de production en double commande Pôle emploi/Dares. - Licences SAS en local (indépendante de serveurs) disponibles à Pôle emploi. |
|
Indicateur erroné (redressement statistique) |
- Redressement : référentiels historisés, procédures de redressement archivées. - Automatisation des chaînes statistiques pour repérer le plus rapidement possible les évolutions suspectes. |
|
|
Risques de mauvaise interprétation
|
- Des procédures sont mises en place pour assurer la bonne circulation de l'information, notamment des données nécessaires aux estimations d'impact. - Certains évènements ne peuvent être détectés qu'au moment de la production de la statistique : des procédures de détection automatique d'évolutions atypiques sont mises en place. - Un processus formalisé d'échanges d'informations entre Pôle emploi et la Dares durant les trois jours de réalisation de la publication. |
|
|
5. Protection et confidentialité des données |
Risque informatique (virus, attaque
|
- Les fichiers de données sont cryptés et transmis par la DSI de façon sécurisée. |
|
Fuite des données pendant la période d'embargo |
- À Pôle emploi, un nombre limité de personnes (deux chargés de production, le chef de département et son adjoint, le directeur de la DSEE et son adjoint) ont accès aux données portant sur la période traitée pendant la période d'embargo : restriction des droits d'accès au serveur et habilitation restreinte à ces personnes au répertoire bureautique dédié. - À la Dares, un nombre limité de personnes (quatre chargés de production, le chef de département, le sous-directeur) ont accès aux données sous embargo : les fichiers de données et de la publication sont stockés dans un répertoire dont les droits d'accès sont limités aux seules personnes autorisées. |
|
|
Rupture d'embargo par un organisme de presse |
- La convention Nostra (Dares, Pôle emploi, Insee) décrit précisément les règles de respect de l'embargo (conditions et nature des données accessibles selon les profils, depuis la mise à jour des fichiers jusqu'à la levée de l'embargo). |
Source : Pôle emploi, réponse au questionnaire de votre rapporteur
Sur la base des travaux du comité du label - instance de travail technique interne à l'Insee - et des conclusions de la mission conjointe menée par l'IGF, l'Igas et l'Insee, l'autorité de la statistique publique (ASP) a labellisé ces statistiques le 26 mars 2014 18 ( * ) , les estimant conformes aux principaux principes posés par le code de bonnes pratiques de la statistique européenne du 28 septembre 2011 (indépendance, méthodologie solide, secret statistique, etc.).
La mise en place de procédures et de contrôles renforcés à la suite du « bug SFR » de 2013 n'a toutefois pas empêché la survenance d'un nouvel incident en mai 2015 .
Comme l'a rappelé François Rebsamen lors de son audition par votre commission d'enquête 19 ( * ) , « le deuxième épisode date de mai 2015. Pôle emploi a constaté alors que le nombre de demandeurs d'emploi ayant actualisé leur situation était plus faible que d'ordinaire. Voyant qu'il y avait moins de chômeurs, Pôle emploi a paniqué : il en avait perdu l'habitude ! Cela arrivait pourtant après un trimestre lui aussi surprenant affichant 0,7 % de croissance - il était logique que cela se voie quelque part dans les chiffres de Pôle emploi. Ce dernier a toutefois considéré, sans en référer à personne - m'a-t-on dit - qu'un deuxième SMS de relance devait être envoyé . De mémoire, il y avait 45.000 demandeurs d'emploi inscrits en moins. Ce deuxième SMS n'ayant rien donné le dimanche soir, veille ou avant-veille de l'annonce du chiffre, un troisième a été envoyé le lundi. Résultat, il y a eu beaucoup plus d'inscrits nouveaux que d'habitude, ce qui - à mon avis de ministre - ne correspondait pas à la situation économique. Je n'ai jamais su qui avait pris la responsabilité d'envoyer ces SMS supplémentaires ».
Lors de la visite du siège de Pôle emploi le 30 mai 2016, il a été indiqué à votre commission d'enquête que la décision d'effectuer deux relances supplémentaires avait été prise de manière discrétionnaire par la DSI sans avoir été validée au préalable par la direction générale.
À la suite de cet épisode, il a été décidé qu'à l'avenir, la procédure de relance ne comporterait qu'une seule relance, à date fixe, quelle que soit l'évolution constatée du nombre de demandeurs inscrits à cette date 20 ( * ) .
* 17 Audition du 17 mai 2016.
* 18 Avis n° 2014-01 du 26 mars 2014 de l'autorité de la statistique publique sur la labellisation des statistiques mensuelles des demandeurs d'emploi inscrits à Pôle emploi, publié au Journal officiel du 5 juin 2014 ; NOR : FCPO1411248V.
* 19 Audition du 25 mai 2016.
* 20 Note du directeur général de Pôle emploi au ministre du travail, de l'emploi, de la formation professionnelle et du dialogue social du 28 juillet 2015.