III. LA RÉGLEMENTATION PROPOSÉE DEVRAIT ÊTRE RENFORCÉE AFIN DE PESER DAVANTAGE SUR LES GRANDS ACTEURS DU NUMÉRIQUE
Les technologies d'intelligence artificielle sont pour l'instant, la plupart des cas, déployées en dehors de tout cadre juridique clair, y compris dans l'Union européenne, hormis quelques secteurs particuliers qui ont déjà fait l'objet d'une réglementation ad hoc et quelques dispositions du RGPD (voir ci-dessus). En outre, les grands principes du RGPD concernant le recueil et le traitement de données à caractère personnel (définition de la finalité et détermination de la base légale de traitement, principes de minimisation, droit d'opposition...) s'appliquent, dans les conditions du droit commun, pour les systèmes d'IA qui se servent de ce type de données.
En conséquence, pour combler les lacunes de ces règles, il convient de saluer l'initiative de la Commission de réguler le secteur de l'IA, dont certaines utilisations sont en effet susceptibles d'affecter gravement la santé, la sécurité et les droits fondamentaux des citoyens européens.
Même si, par son fonctionnement même, ainsi qu'il a été rappelé précédemment, l'IA présente certains risques inhérents à la protection des droits fondamentaux - notamment d'importants risques de biais discriminatoires, en l'absence de mesures de contrôle et atténuation appropriés, il convient de rappeler que même du point de vue de la protection des droits fondamentaux, l'IA peut recevoir des applications favorables.
A. LA PROTECTION RÈGLEMENTAIRE DEVRAIT ÊTRE DAVANTAGE DIFFÉRENCIÉE EN FONCTION DES CARACTÉRISTIQUES SPÉCIFIQUES DES CHAÎNES DE VALEUR DE L'IA ET DES DIFFÉRENTS CAS D'USAGE, AFIN DE TIRER LE MEILLEUR PARTI DE CETTE TECHNOLOGIE
1. Les applications d'IA à haut risque devraient être mieux définies, pour plus de sécurité juridique
Sur les systèmes d'IA à haut risque
Il est nécessaire de mieux qualifier ce qu'est une application « à haut risque », afin d'une part que les fournisseurs de telles applications se soumettent à leurs obligations au titre du règlement, mais aussi pour éviter tout risque de surconformité, qui risquerait de faire peser les obligations introduites par le règlement sur des fournisseurs d'application qui ne seraient en fait pas concernés. Un tel phénomène de surconformité serait en effet susceptible de décourager non seulement les entreprises, mais aussi les éventuels investisseurs.
Si la Commission européenne a constamment indiqué que l'établissement d'une liste des domaines d'applications à haut risque à l'annexe III ne signifiait pas que toutes les applications qui en relevaient étaient concernées, mais que l'évaluation devrait se faire au cas par cas, cette analyse n'a pas été étayée clairement, et les interprétations sur ce point ont continué à diverger, au Parlement européen et au sein du Conseil notamment. Dans ce contexte, afin d'éviter d'imposer des charges et contraintes inutiles, les rapporteurs de la commission des affaires européennes appellent les co-législateurs européens à affiner le verbatim de l'annexe III, afin de supprimer ou modifier les expressions qui pourraient amener à inclure dans les applications à haut risque des champs excessivement vastes d'applications d'IA.
L'exemple a été donné aux rapporteurs, au point 8 (a) de l'annexe III, des systèmes « destinés à aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits ». Visant - de manière tout à fait justifiée au regard des risques pour les droits fondamentaux - les usages de justice prédictive, la formulation amenait à exclure l'ensemble des moteurs de recherche de données de justice (de type Doctrine ou Lexbase). Le travail effectué sous présidence française du Conseil de l'Union européenne a permis au Conseil de s'accorder sur la suppression du terme « recherche », permettant de recentrer le champ des applications à haut risque sur la justice prédictive.
De manière générale, les rapporteurs de la commission des affaires européennes estiment que la classification des systèmes d'IA à haut risque devrait reposer sur l'analyse de risques pour les droits fondamentaux, tant individuels - comme c'est le cas dans la proposition - que systémiques. En effet, même en l'absence d'atteinte avérée ou de risque d'atteinte aux droits individuels, une absence de transparence de systèmes d'IA, par exemple, pourrait avoir des conséquences indirectes sur l'ensemble des droits des individus, qui pourraient être portés à l'autocensure, s'ils craignaient d'être surveillés.
Devraient également être classés comme à haut risque les systèmes susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables, en particulier des enfants.
Ainsi qu'exposé précédemment, afin de garantir l'adaptabilité du règlement aux évolutions technologiques et d'usages ultérieures, la proposition prévoit que la Commission puisse, par le biais d'actes délégués, étendre la liste de ces systèmes classés « à haut risque »30(*). Dans la mesure où, aux termes de l'article 290 du TFUE, les actes délégués « complètent ou modifient certains éléments non essentiels de l'acte législatif », le recours à des actes délégués pour modifier la liste des applications à haut risque peut être questionné. Les rapporteurs de la commission des affaires européennes reconnaissent néanmoins la nécessité de pouvoir adapter le règlement avec une certaine régularité, en faisant preuve de réactivité, afin de ne pas laisser d'angle mort susceptible d'affecter les droits fondamentaux. Il serait cependant a minima nécessaire de garantir que les modifications soient faites sur la base d'éléments objectifs et documentés, et que cette réglementation ne soit pas élaborée uniquement par des juristes, mais se fonde également sur le recueil d'avis de scientifiques et de praticiens de l'IA. La composition du comité de l'intelligence artificielle, qui devrait être consulté pour de telles modifications, devrait donc être revue en ce sens.
Dans une démarche de transparence, il semblerait également souhaitable de dresser une liste des systèmes d'IA à haut risque utilisés dans la sphère publique31(*), notamment dans le domaine de la justice, afin que les citoyens soient parfaitement informés de la nature des décisions prises (qui devraient en tout état de cause être toujours prises in fine par un humain).
Sur les systèmes d'IA interdits
En ce qui concerne les systèmes d'IA interdits, les rapporteurs de la commission des affaires européenne estiment, de manière générale, que les pratiques interdites au secteur public devraient pareillement l'être pour le secteur privé, dans la mesure où le potentiel d'atteinte aux droits fondamentaux ne dépend pas du fournisseur ou de l'utilisateur du système, mais de la finalité de ce dernier. De manière générale, l'usage d'un système d'IA ne devrait jamais pouvoir porter substantiellement atteinte à l'essence même d'un droit fondamental.
Ainsi, les systèmes de notation sociale devraient être totalement interdits, qu'ils soient mis en oeuvre par le secteur public ou le secteur privé32(*), de même que les systèmes d'identification biométrique à distance en temps réel - sauf exceptions (cf. paragraphe suivant).
Les rapporteurs de la commission des affaires européennes sont sensibles à l'argument de la « pente glissante », et reconnaissent la nécessité de résister à la tentation d'une utilisation excessive de l'IA, malgré ses performances et son utilité parfois remarquables, dans les cas où cette utilisation contrevient à des principes fondamentaux de l'Union, tels que les systèmes de notation sociale, qui contreviennent au principe de solidarité. Ainsi Google, qui s'était engagé il y a quelques années à ne pas utiliser la reconnaissance faciale, a, depuis, assoupli sa position. Ainsi que l'a exprimé devant les rapporteurs de la commission des affaires européennes le représentant du Comité sur l'Intelligence Artificielle du Conseil de l'Europe, « le diable est dans les détails », et il se trouvera probablement toujours une bonne raison d'ajouter des dérogations à l'interdiction. Les récents débats sur l'usage de logiciels de reconnaissance d'image utilisant l'intelligence artificielle dans le cadre du projet de loi sur les jeux olympiques de Paris se sont fait l'écho de cette difficulté à trouver une ligne de crête.
Plus fondamentalement, l'extension de l'utilisation des systèmes d'IA pose la question quasi-philosophique de la liberté de choix et du droit à l'erreur : est-il souhaitable de permettre aux individus de ne pas suivre les recommandations d'un système d'IA, même si les performances de ce dernier sont jugées meilleures que celles des êtres humains ? A contrario, serait-il souhaitable de supprimer toute possibilité de choix ?
Compte tenu des risques particuliers posés pour les droits fondamentaux, les rapporteurs de la commission des affaires européennes estiment que devraient également faire l'objet d'une interdiction générale :
- les systèmes de reconnaissance des émotions - que la proposition de règlement ne place même pas parmi les applications à haut risque -, sauf à des fins de recherche ou d'applications de santé ;
- tous les systèmes ayant pour objet la catégorisation de personnes dans l'espace public, par exemple aux fins de publicité ciblée dans l'espace public ;
- tous les systèmes visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles (origine ethnique, sexe, etc.)
2. Les capacités d'action des forces de sécurité et les usages régaliens de l'IA devraient être préservés, tout en étant assortis des garanties appropriées
Les auditions menées par les rapporteurs de la commission des affaires européennes ont fait émerger deux difficultés sectorielles majeures, tenant à la nature horizontale de la proposition de règlement, concernant l'usage de systèmes d'IA d'une part à des fins militaires, d'autre part par les autorités répressives.
Si le texte initial de la Commission excluait du champ d'application du règlement les systèmes d'IA développés ou utilisés à des fins « exclusivement militaires » (art. 2), cette formulation impliquait que les systèmes d'IA duaux, de plus en plus fréquents, étaient, eux, bien couverts par le règlement, ce qui posait des difficultés notamment en matière de transparence. Dans l'Orientation générale adoptée le 25 novembre 2022, le Conseil a donc choisi d'étendre l'exclusion du champ d'application de la législation aux systèmes d'IA développés ou utilisés à des fins « militaires » (art. 2) ; par conséquent, ces systèmes ne seront plus soumis à des vérifications de conformité a priori, mais y resteront assujettis préalablement à tout usage civil.
Le Conseil a également exclu explicitement de la législation sur l'IA les champs de la « défense » et de la « sécurité nationale », au sens de l'article 4 du traité sur l'Union européenne ; les rapporteurs de la commission des affaires européennes soutiennent pleinement cette évolution.
S'agissant de l'usage de l'IA par les autorités répressives, le cadre juridique posé par le règlement soulève un certain nombre de difficultés opérationnelles. En effet, dès lors qu'ils sont utilisés par des forces de sécurité intérieure, de nombreux systèmes sont automatiquement inclus dans la liste des systèmes d'IA à haut risque, ce qui a pour conséquence de soumettre les fournisseurs et les utilisateurs de ces systèmes à des obligations supplémentaires. Tel est notamment le cas des systèmes :
- visant à l'évaluation, par les autorités répressives, de la commission d'une infraction ou d'une récidive, pour l'auteur ou la victime potentielle, que l'analyse soit individuelle ou se fasse sur la base du profilage (« police prédictive ») ;
- de détecteurs d'émotions ;
- visant à évaluer la fiabilité des preuves au cours d'enquêtes ou poursuites pénales ;
- permettant aux autorités répressives d'effectuer des recherches dans de vastes jeux de données non liés entre eux afin de découvrir des relations cachées entre ces données ;
- destinés à aider les autorités judiciaires à rechercher et interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits ;
- d'identification biométrique à distance en temps réel et a posteriori des personnes physiques, sauf exception.
De manière générale, les rapporteurs estiment que des aménagements doivent être trouvés s'agissant des règles régissant l'utilisation des systèmes d'IA par les autorités répressives, afin de ne pas obérer les capacités d'action de ces dernières.
En matière de transparence notamment (art. 13), les rapporteurs considèrent que l'utilisation des systèmes d'IA par les autorités répressives doit faire l'objet de règles spécifiques, pour tenir compte de la nécessité de respecter la confidentialité de certaines données opérationnelles sensibles. De fait, une transparence absolue pourrait être exploitée par les délinquants pour obtenir des informations précieuses, voire même provoquer des attaques adverses. En pratique, les rapporteurs estiment qu'un haut degré de transparence peut être exigé des autorités répressives sur leur utilisation des systèmes d'IA, à l'égard des Parlements nationaux et des autorités de contrôle, mais que des obligations comparables n'ont pas toujours lieu d'être vis-à-vis du public.
À cet égard, si les rapporteurs sont favorables à l'enregistrement obligatoire des autorités ou organismes publics utilisant des systèmes d'IA à haut risque dans la base de données dédiée de l'UE (art. 51,2) - dont les informations sont accessibles au public (art. 60) -, ils estiment que les autorités répressives ou exerçant leurs activités dans le domaine du contrôle aux frontières, de l'immigration ou de l'asile devraient se voir exemptées de cette obligation.
Les rapporteurs relèvent que la question du recours à la reconnaissance faciale par les forces de l'ordre demeure un point particulièrement sensible. En effet, la proposition interdit l'usage, pour les pouvoirs publics ou pour leur compte, de l'identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives, sauf exceptions33(*).
Il convient de préciser que l'identification et l'authentification sont deux notions distinctes : la première consiste à identifier une personne en comparant ses caractéristiques biométriques à une base de données, tandis que la seconde permet de vérifier qu'une personne est bien celle qu'elle prétend être, afin de pouvoir accéder à un matériel (téléphone), un lieu (bureau) ou un service (comptes bancaires). La proposition de législation sur l'IA ne cible que l'identification biométrique dans l'espace public, afin de prévenir le risque de surveillance de masse.
À cet égard, les rapporteurs estiment que dans un contexte marqué par le développement du métavers, la notion d'espace public gagnerait à être étoffée, afin de soumettre l'espace public virtuel aux mêmes restrictions en matière d'usage de l'IA que l'espace public physique.
Par ailleurs, la proposition initiale de la Commission conditionne l'exploitation par les autorités répressives des identifications résultant des systèmes d'identification biométrique des personnes physiques à distance (en temps réel et a posteriori) à un double contrôle humain (art. 14). Or, les auditions menées par les rapporteurs ont montré que cette mesure risquait de se révéler très onéreuse et peu opérante du point de vue de la protection des droits fondamentaux, l'article 22 du RGPD prohibant d'ores et déjà la prise de décision sur le seul fondement d'une information automatisée.
Les rapporteurs considèrent donc peu réaliste d'imposer de manière systématique le recours à cette pratique, qu'il semblerait plus approprié de réserver pour des applications à très haut risque. Dès lors, les rapporteurs soutiennent pleinement l'exception introduite dans l'orientation générale du Conseil, au terme de laquelle l'exigence d'un tel double contrôle ne s'applique pas aux systèmes d'identification biométrique à distance utilisés dans le secteur pénal, de la gestion des migrations, de l'asile et des contrôles aux frontières.
Le maintien d'exceptions aux interdictions générales d'emploi de certains systèmes d'IA, au bénéfice des autorités répressives, n'est cependant pas incompatible avec un renforcement des garanties accordées afin de minimiser l'impact de cet emploi sur les droits et libertés des personnes.
Ainsi, les rapporteurs de la commission des affaires européennes estiment que le fait qu'un système d'identification biométrique à distance fonctionne en temps réel ou permette seulement une identification a posteriori est indifférent, du point de vue de son caractère intrusif. En permettant de traquer des personnes a posteriori, le second pourrait même l'être davantage.
Ils soulignent en outre la nécessité de mieux définir les critères permettant d'activer les exceptions à l'interdiction prévue, au risque que celles-ci soient, dans la pratique, exagérément élargies34(*).
Ils estiment opportun, enfin, d'inclure, parmi les systèmes d'IA considérés à haut risque, les applications destinées à établir des priorités dans l'envoi des services de police, aux côtés des systèmes d'intervention d'urgence (annexe III, point 5), afin que ces dernières soient soumises à des évaluations préalables, eu égard à leur caractère potentiellement très discriminatoire.
3. Les personnes affectées par l'IA sans en être utilisatrices devraient être mieux prises en compte
La proposition de règlement concerne principalement les fournisseurs de systèmes d'IA, et dans une moindre mesure les « utilisateurs », ce terme s'entendant, dans la version française du texte, comme personnes mettant en oeuvre un système d'IA. Il conviendrait d'y ajouter les personnes qui, sans être utilisatrices, sont affectées par un système d'IA, par exemple en faisant l'objet d'une décision de la part d'un système d'IA.
Si ces dernières se voient reconnaître certaines garanties en matière de transparence, pour les systèmes à haut risque, mais aussi pour les systèmes visés à l'article 52 (titre IV, « Obligation de transparence pour certains systèmes d'IA »), il conviendrait de renforcer les droits spécifiques de ces personnes. Elles devraient a minima disposer d'une information intelligible sur leur exposition potentielle à des systèmes d'IA et être en mesure de signaler aux régulateurs, aux fournisseurs ou aux utilisateurs les éventuels usages abusifs ou performances défaillantes de ces systèmes. Il serait également opportun que les personnes affectées par les systèmes d'IA bénéficient de voies de recours auprès d'une autorité administrative ou judiciaire, en cas d'utilisation non conforme ou de préjudice du fait de ces systèmes.
À cet égard, les rapporteurs relèvent que les deux directives tendant à adapter les règles de responsabilité civile applicables aux produits et à l'intelligence artificielle35(*), présentées par la Commission le 28 septembre 2022, ont notamment pour objectif de garantir une indemnisation équitable aux personnes ayant subi un préjudice du fait de systèmes d'IA. En pratique, les nouvelles règles doivent garantir que les victimes bénéficient des mêmes normes de protection lorsqu'elles sont lésées par des produits ou systèmes d'IA que dans d'autres circonstances.
Si l'adoption de cette proposition de directive permettra une meilleure prise en compte des personnes affectées par l'IA, les rapporteurs regrettent néanmoins que le sujet de la responsabilité du fait des systèmes d'IA ait fait l'objet d'un texte distinct du règlement IA, dans la mesure où cette fragmentation altère la portée de l'approche coordonnée que la Commission entend promouvoir au niveau de l'Union en matière d'IA.
4. La dynamique des processus d'innovation devrait être mieux intégrée
Plusieurs des personnes auditionnées, expertes et représentantes des entreprises du secteur de l'intelligence artificielle, ont souligné l'inadéquation de l'obligation d'évaluation de la conformité ex ante, telle que proposée par la Commission, avec la dynamique de recherche produit telle que pratiquée, dans le secteur de l'IA notamment. Cette dernière nécessite en effet un va-et-vient entre le développement en milieu fermé et le marché, avec des phases de prototypes, qui ne constituent pas à proprement parler une mise sur le marché. Il semblerait donc nécessaire de préciser cette obligation, afin d'apporter aux développeurs davantage de sécurité juridique.
* 30 Les conditions de cette extension sont précisées à l'article 7 de la proposition. Les systèmes d'IA qui pourront être ajoutés à la liste des systèmes à haut risque devront notamment présenter un risque de préjudice pour la santé et la sécurité ou un risque d'incidence négative sur les droits fondamentaux équivalent ou supérieur au risque présenté par les systèmes d'IA déjà présents dans la liste de l'annexe III, au regard de la gravité et de la probabilité d'occurrence desdits risques.
* 31 Des exceptions devraient être prévues pour les systèmes d'IA utilisés dans le cadre des activités relevant de la sécurité nationale et par les autorités répressives.
* 32 Le Conseil est convenu d'introduire cette modification dans sa position (art. 5).
* 33 Voir supra (recherche ciblée de victimes potentielles spécifiques de la criminalité, prévention de menaces spécifiques, substantielles et imminentes pour des personnes ou prévention d'attaques terroristes, détection, localisation, identification ou poursuite contre l'auteur ou le suspect d'une infraction pénale grave).
* 34 Aux termes du 2 de l'article, l'utilisation de systèmes d'identification biométriques à distance « en temps réel » dérogatoire pour les autorités répressives tient compte de « la nature de la situation [...], en particulier la gravité, la probabilité et l'ampleur du préjudice causé en l'absence d'utilisation du système ».
* 35 Proposition de directive relative à l'adaptation des règles en matière de responsabilité civile extracontractuelle au domaine de l'intelligence artificielle, COM(2022) 496 final et proposition de directive révisant la directive 85/374/CEE du 25 juillet 1985 relative au régime de responsabilité du fait des produits défectueux, COM(2022) 495 final.