Pour un déploiement de l'intelligence artificielle conforme aux valeurs européennes

Rapports d'information

Rapport d'information n° 483 (2022-2023), déposé le

N° 483

SÉNAT

SESSION ORDINAIRE DE 2022-2023

Enregistré à la Présidence du Sénat le 30 mars 2023

RAPPORT D'INFORMATION

FAIT

au nom de la commission des affaires européennes (1) relatif à la proposition de législation européenne sur l'intelligence artificielle,

Par M. André GATTOLIN, Mme Catherine MORIN-DESAILLY,
M. Cyril PELLEVAT et Mme Elsa SCHALCK,

Sénateurs et Sénatrices

(1) Cette commission est composée de : M. Jean-François Rapin, président ; MM. Alain Cadec, Cyril Pellevat, André Reichardt, Didier Marie, Mme Gisèle Jourda, MM. Claude Kern, André Gattolin, Pierre Laurent, Mme Colette Mélot, M. Jacques Fernique, Mme Véronique Guillotin, vice-présidents ; M. François Calvet, Mme Marta de Cidrac, M. Jean-Yves Leconte, Mme Amel Gacquerre, secrétaires ; MM. Pascal Allizard, Jean-Michel Arnaud, Mme Florence Blatrix Contat, M. Philippe Bonnecarrère, Mme Valérie Boyer, MM. Jean-Pierre Corbisez, Pierre Cuypers, Christophe-André Frassa, Mme Joëlle Garriaud-Maylam, M. Daniel Gremillet, Mmes Pascale Gruny, Laurence Harribey, MM. Ludovic Haye, Jean-Michel Houllegatte, Patrice Joly, Mme Christine Lavarde, MM. Dominique de Legge, Pierre Louault, Victorin Lurel, Franck Menonville, Mme Catherine Morin-Desailly, MM. Louis-Jean de Nicolaÿ, Pierre Ouzoulias, Mmes Elsa Schalck, Patricia Schillinger.

L'ESSENTIEL

FAVORISER LE DÉVELOPPEMENT D'UNE INTELLIGENCE ARTIFICIELLE DE CONFIANCE

La proposition de législation européenne sur l'intelligence artificielle (IA), annoncée par la présidente de la Commission européenne, Mme Ursula von der Leyen, dès le début de son mandat, s'inscrit dans la continuité de la stratégie européenne en matière d'IA présentée en 20181(*).

Dans le cadre de l'action de l'Union européenne en faveur de la transition numérique, et alors que l'IA ne fait l'objet d'aucune réglementation générale au niveau européen, le projet de règlement vise à promouvoir une numérisation conforme aux valeurs européennes, en faisant de l'Europe « le pôle mondial d'une intelligence artificielle digne de confiance ».

En effet, l'IA n'est en elle-même ni une opportunité, ni un danger : comme toutes les technologies, sa valeur dépend de l'usage qu'on en fait. Cependant, mal utilisée, elle peut aboutir, virtuellement, à la violation de l'ensemble des droits fondamentaux. Par ailleurs, l'Europe souffre d'un considérable déficit d'investissement dans le domaine de l'IA.

Dans ce contexte, la proposition de règlement poursuit un double objectif : mieux protéger les citoyens européens, mais aussi, en accroissant la confiance dans l'IA des utilisateurs et la sécurité du cadre juridique qui la concerne, stimuler les investissements et l'innovation dans l'IA.

Il s'agit de la troisième grande réglementation numérique horizontale que l'Union européenne entend mettre en place, après le Digital Markets Act2(*) et le Digital Services Act3(*), entrés en vigueur à l'automne 2022.

LA MISE EN PLACE D'UN NOUVEAU CADRE JURIDIQUE HORIZONTAL POUR L'IA, FONDÉ SUR UNE APPROCHE PAR LE RISQUE

La proposition de règlement sur l'intelligence artificielle repose sur une approche fondée sur le risque, en distinguant les systèmes d'IA qui génèrent un risque inacceptable, ceux qui génèrent un haut risque, et ceux dont l'utilisation présente un risque faible.

Cette nouvelle réglementation est conçue comme un instrument horizontal, qui pourra être complété par des réglementations spécifiques dans un certain nombre de secteurs.

· En premier lieu, certaines utilisations de l'IA, jugées particulièrement dangereuses car contraires aux valeurs de l'Union européenne et susceptibles d'affecter gravement les droits fondamentaux, seraient interdites. Il s'agit notamment des systèmes qui influencent de manière subliminale les comportements, qui exploitent les vulnérabilités dues à l'âge ou au handicap physique ou mental de l'utilisateur d'une manière susceptible de lui porter préjudice, aux systèmes de notation sociale, ou d'identification biométrique à distance en temps réel dans des espaces publics, à des fins répressives - la Commission prévoyant néanmoins des exceptions dans ce dernier cas.

· En parallèle, certains systèmes d'IA présentant un risque élevé pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, seraient soumis à des obligations spécifiques, visant à garantir leur mise sur le marché en toute sécurité.

La classification des systèmes d'IA en systèmes « à haut risque » ne reposerait pas sur leur mode de fonctionnement et leurs fonctionnalités in abstracto, mais sur leur finalité et leurs modalités d'utilisation dans leur environnement. Ainsi, pourraient être classés parmi les systèmes d'IA à haut risque des systèmes appartenant aux domaines suivants : l'identification biométrique ; les infrastructures critiques ; l'éducation et la formation professionnelle ; l'emploi ; l'accès aux services publics (y compris les prestations sociales) et aux services privés essentiels ; la migration, l'asile et le contrôle aux frontières ; la justice et les processus démocratiques.

La proposition de règlement prévoit que les fournisseurs de systèmes d'IA à haut risque soient soumis à d'importantes obligations d'évaluation ex ante de la conformité de leurs systèmes, mais aussi de surveillance après commercialisation et tout au long de leur cycle de vie.

· Enfin, certains systèmes d'IA jugés sensibles sans être à haut risque (notamment les systèmes d'IA destinés à interagir avec les personnes ou à manipuler des images ou contenus audio ou vidéo et les systèmes de reconnaissance des émotions ou de catégorisation biométrique) seraient soumis à des obligations de transparence renforcée vis-à-vis de l'utilisateur.

Le contrôle de la mise en oeuvre du règlement incomberait aux autorités nationales compétentes désignées par les États membres. En outre, afin d'harmoniser la mise en oeuvre du règlement, la proposition prévoit la création d'un « Comité européen de l'intelligence artificielle », chargé d'assister les autorités de contrôle nationales et la Commission dans la mise en oeuvre du règlement.

DAVANTAGE DIFFÉRENCIER LE DEGRÉ DE PROTECTION POUR TENIR COMPTE DES DIFFÉRENTS CAS D'USAGE ET DES CARACÉTRISTIQUES SPÉCIFIQUES DES CHAÎNES DE VALEUR DE L'IA

· Mieux définir les applications d'IA à haut risque, pour plus de sécurité juridique

Ø Affiner le verbatim de l'annexe III, afin de supprimer ou modifier les expressions qui pourraient amener à inclure dans les applications à haut risque des champs excessivement vastes d'applications d'IA.

Ø Prendre en compte les risques systémiques dans la définition des systèmes d'IA à haut risque.

Ø Classer parmi les systèmes à haut risques, les systèmes :

o susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables, en particulier des enfants ;

o susceptibles d'avoir un impact direct sur l'état de santé des personnes ;

o utilisés pour déterminer les primes d'assurance ;

o utilisés pour évaluer des traitements médicaux ou à des fins de recherche médicale ;

o composantes d'applications de santé et de bien-être ;

o destinés à établir des priorités dans l'envoi des services de police ;

Ø Soumettre les modifications apportées à la liste des systèmes à haut risque à un examen de scientifiques et praticiens de l'IA.

Ø Dresser une liste des systèmes d'IA à haut risque utilisés dans la sphère publique.

· Étendre la liste des pratiques interdites 

Ø Préciser qu'en matière d'IA, les pratiques interdites pour le secteur public le sont également pour le secteur privé, afin que l'usage d'un système d'IA ne puisse jamais substantiellement porter atteinte à l'essence même d'un droit fondamental.

Ø Interdire les pratiques susceptibles d'exploiter les éventuelles vulnérabilités économiques et sociales d'un groupe de personnes et risquant d'entraîner un préjudice social ou économique.

Ø Interdire totalement, compte tenu des risques particuliers posés pour les droits fondamentaux, les systèmes :

o de reconnaissance des émotions ;

o de notation sociale ;

o ayant pour objet la catégorisation des personnes dans l'espace public ;

o visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles.

Ø Généraliser le principe d'une interdiction des systèmes d'identification biométrique à distance dans l'espace public, sauf exceptions.

· Préserver les capacités d'action des forces de sécurité et les usages régaliens de l'IA

Ø Exclure du champ d'application du règlement les systèmes d'IA développés ou utilisés :

o à des fins militaires, y compris les systèmes d'IA duaux ;

o aux fins d'activités ayant trait à la défense et à la sécurité nationale.

Ø Apporter des aménagements, sous réserve de garanties appropriées pour la protection des droits fondamentaux, aux règles régissant l'utilisation des systèmes d'IA par les autorités répressives.

Ø Ne pas soumettre systématiquement l'exploitation des résultats obtenus à l'aide de systèmes d'identification biométrique à distance à l'exigence d'un double contrôle humain dans le secteur répressif et celui de la gestion des migrations, de l'asile et des contrôles aux frontières.

Ø Dans le contexte du développement du métavers, réfléchir à l'intégration de la notion d'espace public virtuel, afin qu'y soient appliquées les mêmes restrictions que dans l'espace public physique.

Ø Mieux définir les critères permettant d'activer les exceptions prévues à l'interdiction des systèmes d'identification biométrique à distance « en temps réel » par les autorités répressives, afin de prévenir toute dérive en ce domaine.

· Mieux prendre en compte les personnes affectées par l'IA sans en être utilisatrices

La proposition de règlement concerne principalement les fournisseurs de systèmes d'IA, et dans une moindre mesure les « utilisateurs », ce terme s'entendant, dans la version française du texte, comme personnes mettant en oeuvre un système d'IA. Il conviendrait d'y ajouter les personnes qui, sans être utilisatrices, sont affectées par un système d'IA, par exemple parce qu'elles font l'objet d'une décision de la part d'un système d'IA.

Ø Garantir la mise à disposition, par les fournisseurs et utilisateurs de systèmes d'IA, d'une information intelligible et accessible à tous, afin que les personnes exposées à un tel système en soient systématiquement informées.

Ø Réfléchir à l'élaboration d'un mécanisme d'alerte permettant aux personnes affectées par les systèmes d'IA de signaler aux régulateurs, aux fournisseurs ou aux utilisateurs les éventuels usages abusifs ou performances défaillantes de ces systèmes.

RENFORCER LES MESURES DE SOUTIEN À L'INNOVATION,
AFIN DE GARANTIR LA COMPÉTITIVITÉ DE L'UNION EUROPÉENNE EN MATIÈRE D'IA

· Accroître les exigences en matière de documentation sur les données exploitées par les systèmes d'IA

· Garantir une bonne articulation entre le règlement IA et le règlement général sur la protection des données (RGPD)

Ø Expliciter que la conformité d'un système d'IA au règlement sur l'IA n'implique pas automatiquement sa conformité au RGPD et réciproquement.

Ø Demander au Comité européen de la protection des données ou aux autorités nationales de protection des données de produire des lignes directrices relatives à l'articulation entre le règlement sur l'IA et le RGPD, permettant notamment d'expliciter le degré de souplesse avec lequel ce dernier peut être interprété dans le contexte du développement de l'IA en Europe.

· Renforcer la possibilité d'effectuer des expérimentations contrôlées en conditions dérogatoires

Ø Soumettre les modalités et conditions de mise en place et de fonctionnement de bacs à sable réglementaires à l'avis du Comité européen de l'intelligence artificielle.

Ø OEuvrer à un fonctionnement aussi homogène que possible de ces bacs à sable réglementaires, afin de garantir une concurrence équitable et d'encourager l'innovation.

AMÉLIORER LA GOUVERNANCE DU RÈGLEMENT AFIN DE GARANTIR SA MISE EN oeUVRE UNIFORME ET EFFICACE

· Donner aux autorités nationales et européennes les moyens de contrôler efficacement la mise en oeuvre du règlement

Ø Désigner la CNIL comme autorité compétente pour la surveillance de l'application du règlement sur l'IA, hors cas spécifiques prévus par le règlement.

Ø Octroyer aux autorités nationales de contrôle des moyens humains et matériels suffisants pour remplir leurs missions.

· Étoffer les missions du Comité européen de l'intelligence artificielle afin de renforcer son autonomie

Ø Revoir la composition du Comité, pour y inclure notamment des scientifiques et des praticiens de l'IA, capables de produire des expertises techniques et de fournir des conseils opérationnels dans des délais restreints.

Ø Élargir les compétences consultatives du Comité, afin que ce dernier soit étroitement associé aux modifications apportées au règlement ultérieurement à son adoption, a fortiori quand elles se rapportent à la liste des applications à haut risque figurant à l'annexe III.

Ø Octroyer au Comité un droit d'initiative lui permettant de formuler des avis et recommandations sans saisine préalable de la Commission, dans le but de renforcer le caractère prospectif de ses travaux.

Ø Densifier les liens du Comité avec les diverses autorités nationales compétentes et l'ensemble des acteurs de l'IA, pour garantir une bonne intégration de cette nouvelle instance dans l'écosystème existant et conforter sa légitimité à l'échelle de l'Union.

La Commission européenne a présenté en avril 2021 une proposition de « législation sur l'intelligence artificielle »4(*) portant dispositions réglementaires harmonisées à l'échelle européenne. Ces dispositions visent à garantir que les systèmes d'intelligence artificielle (IA) mis sur le marché dans l'Union soient sûrs et respectueux des droits fondamentaux ainsi qu'à favoriser le développement et l'adoption de l'intelligence artificielle en Europe.

I. ÉLÉMENT-CLÉ DE LA CONSTRUCTION D'UNE LÉGISLATION EUROPÉENNE HARMONISÉE SUR LE NUMÉRIQUE, LA RÉGLEMENTATION SUR L'INTELLIGENCE ARTIFICIELLE (IA) VISE À FAVORISER LE DÉVELOPPEMENT D'UNE IA DE CONFIANCE

A. LA LÉGISLATION SUR L'INTELLIGENCE ARTIFICIELLE S'INTÈGRE DANS UN CADRE EUROPÉEN PLUS LARGE VISANT À RÉGULER LES USAGES DU NUMÉRIQUE

1. Priorité de la mandature de l'actuelle Commission européenne, la régulation numérique vise à inventer un modèle européen respectueux des droits fondamentaux et conforme aux valeurs européennes, tout en encourageant le développement des technologies et usages numériques

La proposition de législation européenne sur l'intelligence artificielle, annoncée par la présidente de la Commission européenne, Mme Ursula von der Leyen, dès le début de son mandat, s'inscrit dans la continuité de la stratégie européenne en matière d'IA présentée en 20185(*). Elle s'appuie sur les conclusions du Livre blanc sur l'intelligence artificielle de février 20206(*), qui fixait le double objectif pour l'Union européenne de promouvoir le développement et l'utilisation de l'IA en Europe, tout en tenant compte des risques associés à certaines utilisations de l'IA et en les maîtrisant. À cet égard, le Livre blanc relevait notamment les lacunes de la réglementation européenne sur la sécurité des produits, au regard de l'intégration croissante des nouvelles technologies dans ces derniers.

Dans le cadre de l'action de l'Union européenne en faveur de la transition numérique, le projet de règlement participe de la volonté de cette dernière de réguler différents aspects du secteur numérique, en vue de promouvoir une numérisation conforme aux valeurs européennes. Ainsi le « paquet IA » présenté en 2021 vise, selon la Commission européenne, à « faire de l'Europe le pôle mondial d'une intelligence artificielle digne de confiance ». Il s'agit de la troisième grande réglementation numérique horizontale que l'Union européenne entend mettre en place, après le Digital Markets Act7(*) et le Digital Services Act8(*), entrés en vigueur à l'automne 2022.

Ce faisant, l'Union affiche un double objectif : mieux protéger les citoyens européens, mais aussi, en accroissant la confiance dans l'IA des utilisateurs et la sécurité du cadre juridique qui la concerne, stimuler les investissements et l'innovation dans l'IA, pour faire de l'Europe un pôle mondial en la matière.

2. L'intelligence artificielle, gisement de valeur particulièrement peu régulé jusqu'à maintenant, fait l'objet d'une attention soutenue de la part de la Commission européenne

D'après une cartographie des startups françaises de l'IA publiée en novembre 2021 par France Digitale, il y avait à cette date 502 startups françaises actives dans le domaine de l'IA, en croissance de 11 % par rapport à l'année précédente. On estime qu'en France, entre 30 à 40 % des « licornes » font usage de l'IA9(*). Pour M. Renaud Vedel, coordonnateur national pour l'intelligence artificielle, interrogé par les rapporteurs de la commission des affaires européennes, l'IA, technologie disséminable dans toute l'économie, pourrait constituer la base d'une quatrième révolution industrielle. Elle représente des gisements de croissance considérables.

La « boussole numérique »10(*) récemment adoptée au niveau européen11(*) cite d'ailleurs le développement de l'intelligence artificielle parmi ses objectifs généraux12(*), en se fixant en particulier comme objectif, à l'horizon 2030, l'utilisation par au moins 75 % des entreprises européennes de l'IA, de l'exploitation de mégadonnées ou de services d'informatique en nuage13(*).

Or, ainsi que le relevait déjà la commission des affaires européennes du Sénat en 201914(*), l'Europe souffre d'un considérable déficit d'investissement dans le domaine de l'IA. Selon une étude de la Commission européenne et de la Banque européenne d'investissement publiée en 2021, les petites et moyennes entreprises d'IA sont deux fois et demie plus nombreuses aux États-Unis que dans l'Union européenne15(*). En nombre de petites et moyennes entreprises dans le domaine de l'IA rapporté à la population, l'Union européenne est également devancée par le Royaume-Uni et le Canada. Si ce déficit est en partie lié, plus globalement, aux modalités de financement des entreprises au sein de l'Union, le nouveau règlement IA entend aussi lever des obstacles réglementaires qui peuvent, selon la Commission, handicaper les investissements dans ce domaine.

Actuellement, l'IA ne fait l'objet d'aucune réglementation générale au niveau européen, sauf pour certains secteurs présentant des risques particuliers. Les fournisseurs et utilisateurs de systèmes d'IA sont néanmoins tenus de se conformer à certains aspects de la réglementation qui encadre l'utilisation des outils numériques dans l'Union, notamment le Règlement général sur la protection des données (RGPD)16(*). La base juridique choisie pour la proposition de règlement est d'ailleurs, outre l'article 114 du traité sur le fonctionnement de l'Union européenne (TFUE), qui concerne le marché intérieur, son article 16, qui concerne le droit à la protection des données à caractère personnel.

La Déclaration européenne sur les droits et principes pour la Décennie numérique, présentée par la Commission en parallèle de la « boussole » et approuvée par le Parlement européen, le Conseil de l'Union européenne et la Commission le 15 décembre 2022, comporte également des dispositions spécifiques à l'IA : appelant au développement d'une IA au service de l'humain, fiable, éthique et conforme aux valeurs européennes, les co-législateurs s'accordent sur plusieurs grands principes, dont la mise à disposition d'une information adéquate des personnes appelées à interagir avec des systèmes d'IA, le refus que l'IA n'aboutisse à préempter les choix des personnes, notamment dans les domaines de la santé, de l'éducation ou de l'emploi, ou dans leur vie privée et, plus fondamentalement, la mise en oeuvre de garanties visant à assurer la sûreté de l'usage de l'IA et son utilisation dans le plein respect des droits fondamentaux17(*).

En outre, la Commission européenne a présenté en octobre 2022 une proposition de directive sur la responsabilité en matière d'IA18(*), visant à adapter les règles de responsabilité et les procédures légales applicables pour les particuliers ou les entreprises lésés par le fonctionnement de systèmes d'IA, notamment concernant la charge de la preuve et les modalités d'obtention de preuves. Le texte obligerait notamment les fournisseurs de systèmes d'IA à haut risque, tels que définis dans le règlement sur l'IA, à divulguer tout élément permettant d'expliquer le dommage et les mécanismes y ayant putativement conduit. Il prévoit également, dans certaines conditions, l'application d'une présomption de causalité entre la faute du défendeur et le résultat produit par le système d'IA.

B. DANS CERTAINS CONTEXTES, L'IA EST SUSCEPTIBLE DE CAUSER DE GRAVES ATTEINTES AUX DROITS FONDAMENTAUX, CE QUI NÉCESSITE DE LA RÉGULER AFIN DE MAINTENIR UN HAUT DEGRÉ DE PROTECTION POUR LES EUROPÉENS

L'IA n'est en elle-même ni une opportunité ni un danger : comme toutes les technologies, sa valeur dépend de l'usage qu'on en fait. Pour les représentants de l'Agence des droits fondamentaux de l'Union, comme pour les représentants du Comité sur l'intelligence artificielle du Conseil de l'Europe, l'IA est même globalement propice à la protection des droits fondamentaux des personnes, par exemple en contribuant à la lutte contre les usurpations d'identité, en soutenant l'action des autorités répressives contre certains types de criminalité ou en améliorant l'efficacité de la gestion des flux migratoires et demandes d'asile.

Cependant, mal utilisée, elle peut aboutir, virtuellement, à la violation de l'ensemble des droits fondamentaux, et plus particulièrement des droits suivants, identifiés par l'Agence des droits fondamentaux dans une étude menée en 201919(*) :

- le respect de la vie privée et la protection des données à caractère personnel, dans la mesure où les systèmes d'IA traitent souvent de telles données ;

- l'accès à la justice, si la personne affectée par une décision prise par un système d'IA susceptible de porter atteinte à ses droits fondamentaux n'est pas informée de l'utilisation d'un système d'IA et des modalités de contestation et de plainte ;

- la non-discrimination.

Ce dernier point doit faire l'objet d'une attention toute particulière, dans la mesure où la discrimination qui peut découler de l'usage de systèmes d'IA du fait de la présence de biais peut se faire à l'insu des créateurs et des utilisateurs du système. En effet, la non-utilisation de données sensibles (telles que l'origine ethnique, l'âge, le sexe, etc.), ne garantit pas les systèmes contre tout risque de biais, car de telles données peuvent dans une large mesure être inférées automatiquement (à juste titre ou non) par le système, à partir des données non-sensibles qui leur sont reliées (« proxies »).

L'absence générale de tout cadre juridique clair dans laquelle est jusqu'à présent déployée l'IA constitue sans aucun doute un risque pour les droits fondamentaux.

1. Reposant sur des modèles statistiques et susceptible de continuer à « apprendre » après sa mise en service, l'IA s'accommode mal des schémas classiques de prévention et d'atténuation des risques

Ainsi que plusieurs interlocuteurs l'ont souligné auprès des rapporteurs de la commission des affaires européennes, l'IA, par nature, donne des résultats qui sont d'ordre probabiliste, et ne peuvent en aucun cas parvenir à une robustesse parfaite. Si cette imperfection inhérente au fonctionnement même de l'IA est, dans la plupart des cas d'usage, sans conséquence, dans des usages critiques - lorsqu'il s'agit, notamment, de la sécurité ou des droits des personnes - toute erreur, même unique, peut avoir des conséquences importantes, voire vitale, sur les personnes. Il est donc nécessaire de mettre au point des protocoles afin de déterminer dans quels cas et comment il est possible d'utiliser l'IA dans ces activités critiques.

À cet égard, il convient de souligner, comme le rappelle la CNIL dans les réponses écrites fournies aux rapporteurs de la commission des affaires européennes, que « si la définition donnée à l'intelligence artificielle est généralement large [...], ce sont les systèmes reposant sur l'apprentissage automatique (machine learning) qui posent le plus de questions »20(*). Les principaux enjeux posés par ce type de systèmes concernent :

- la qualité des données utilisées pour les entraîner et les faire fonctionner, en terme d'exactitude et de représentativité, avec, en cas de mauvaise qualité, des risques de biais et de discrimination ;

- la quantité des données nécessaires pour les faire fonctionner, qui peut notamment entrer en conflit, pour les données à caractère personnel, avec le principe de minimisation de la collecte des données posé par le RGPD ;

- en ce qui concerne spécifiquement les données à caractère personnel, les risques de profilage pouvant conduire à un enfermement des individus sur la base de leurs données initialement récoltées.

Compte tenu de leur complexité et de leur opacité (effet « boîte noire »), les systèmes d'IA représentent également un défi en termes de transparence, qu'il s'agisse de l'information des utilisateurs et des personnes affectées par des systèmes d'IA, ou de la capacité des organismes de contrôle à exercer leur mission.

Plus fondamentalement, la « délégation du pouvoir »21(*) de choisir à des systèmes d'IA peut déboucher sur une véritable perte de contrôle des individus, et donc à un amoindrissement dommageable de leur liberté.

Enfin, comme tous les systèmes numériques, les systèmes d'IA présentent des risques de cybervulnérabilité, qui sont accrus par leur nature même, notamment la nécessité de disposer d'un grand nombre de données.

2. Les systèmes d'IA constituent un défi particulier en matière de protection des données à caractère personnel

Tous les systèmes d'IA n'utilisent pas des données à caractère personnel, y compris parmi ceux classés « à haut risque » dans la proposition de règlement. Cependant, ainsi que souligné dans l'avis conjoint sur la proposition du Contrôleur européen de la protection des données et du Comité européen de la protection des données, c'est le cas de la plupart d'entre eux.

Le Règlement général sur la protection des données (RGPD)22(*) , texte technologiquement neutre, s'applique aux systèmes d'IA ; sont particulièrement pertinents pour ces derniers les principes de finalité, licéité, transparence, proportionnalité, minimisation, limitation de la durée de conservation, sécurité et confidentialité, ainsi que, plus spécifiquement, les dispositions de l'article 22 sur les prises de décision automatisées, qui prévoit que toute personne « a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l'affectant de manière significative », sauf si ce traitement est fondé sur le consentement, s'il est nécessaire à l'exécution d'un contrat ou s'il est autorisé par le droit de l'Union ou de l'Etat membre compétent. Dans les deux premiers cas, la personne concernée doit pouvoir obtenir une intervention humaine et contester la décision prise sur la base du système d'IA. Dans tous les cas, sauf exceptions, les systèmes d'IA ne peuvent utiliser de données sensibles23(*).

La CNIL considère que le principe de consentement à l'utilisation des données, qui n'est pas la seule base légale prévue par le RGPD, et le principe de minimisation des données, qui s'apprécie au regard de la finalité du système, en lien avec le principe de proportionnalité, ne sont pas des obstacles en soi au fonctionnement de systèmes d'IA.

II. LA COMMISSION PROPOSE UN NOUVEAU CADRE JURIDIQUE HORIZONTAL POUR L'IA, FONDÉ SUR UNE APPROCHE PAR LE RISQUE ET REPOSANT SUR DES OBLIGATIONS DE CONFORMITÉ A PRIORI DES SYSTÈMES D'IA

A. LA PROPOSITION DE LÉGISLATION SUR L'IA REPOSE SUR UNE APPROCHE FONDÉE SUR LE RISQUE, AVEC DES OBLIGATIONS DIFFÉRENCIÉES SELON SON NIVEAU

La proposition de règlement sur l'intelligence artificielle repose sur une approche fondée sur le risque, en distinguant les systèmes d'IA qui génèrent un risque inacceptable (titre II), ceux qui génèrent un haut risque (titre III) et ceux dont l'utilisation présente un risque faible (titre IV). Les systèmes d'IA dits «  à haut risque » font l'objet essentiel du règlement.

Cette nouvelle réglementation est conçue comme un instrument horizontal, qui pourra être complété par des réglementations spécifiques dans un certain nombre de secteurs.

1. Certaines pratiques d'IA seraient interdites

Certaines utilisations de l'IA, jugées particulièrement dangereuses, car contraires aux valeurs de l'Union européenne et susceptibles d'affecter gravement les droits fondamentaux, seraient interdites. Il s'agit des systèmes :

- qui influencent de manière subliminale les comportements ;

- qui exploitent les vulnérabilités dues à l'âge ou au handicap physique ou mental de l'utilisateur d'une manière susceptible de lui porter préjudice ;

- de notation sociale (uniquement lorsque ces systèmes seraient utilisés par ou pour le compte des pouvoirs publics) ;

- d'identification biométrique à distance en temps réel dans des espaces publics, à des fins répressives.

Dans ce dernier cas, le texte de la Commission prévoit néanmoins de exceptions : de tels systèmes d'identification biométrique pourraient être utilisés pour certains motifs spécifiques, tels que la recherche d'enfants disparus, la prévention d'une menace « spécifique, substantielle et imminente pour la vie ou la sécurité des personnes physiques » ou d'une attaque terroriste, ou dans des cas d'infractions pénales graves24(*). La possibilité de recourir à ces systèmes dans ces cas dérogatoires serait cependant subordonnée à l'autorisation d'un juge ou d'une autorité administrative indépendante, et soumise à des limitations dans le temps et dans l'espace. En outre, ces usages dérogatoires devraient préalablement avoir été autorisés par les législations nationales.

2. Certains systèmes d'IA jugés sensibles sans être à haut risque seraient soumis à des obligations de transparence renforcée

Sans être soumises aux mêmes obligations de conformité que les systèmes classés à haut risque, certaines catégories de systèmes d'IA, comme les systèmes d'IA destinés à interagir avec les personnes, ou à manipuler des images ou contenus audio ou vidéo (« deepfakes ») et les systèmes de reconnaissance des émotions ou de catégorisation biométrique, seraient soumises à des obligations de transparence renforcée vis-à-vis de l'utilisateur (titre IV, art. 52) : ce dernier devrait être informé qu'il interagit avec un système d'IA dans les deux premiers cas, et du fonctionnement du système dans les deux derniers cas.

3. Les systèmes d'IA jugés « à haut risque » seraient soumis à un certain nombre d'obligations spécifiques, visant à garantir leur mise sur le marché en toute sécurité

Aux termes du texte de la Commission européenne, constitueraient des systèmes d'IA « à haut risque », c'est-à-dire présentant un risque élevé pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, tous les systèmes d'IA utilisés en tant que composants de sécurité de produits déjà couverts par une des législations harmonisées de l'Union sur la sécurité des produits (tels que les jouets, machines ou dispositifs médicaux)25(*) (titre III, chap. 6, art. 6).

En outre, pourraient être classés parmi les systèmes d'IA à haut risque d'autres systèmes d'IA autonomes appartenant à un nombre limitatif de domaines énumérés dans l'annexe III, à savoir : l'identification biométrique ; les infrastructures critiques ; l'éducation et la formation professionnelle ; l'emploi ; l'accès aux services publics (y compris les prestations sociales) et aux services privés essentiels ; la migration, l'asile et le contrôle aux frontières ; la justice et les processus démocratiques. De fait, si l'utilisation des technologies d'IA a d'abord concerné des activités jugées non-critiques, - comme l'optimisation de certains processus industriels, la détection anticipée de pannes, la segmentation de clientèle, ou les recommandations sur les réseaux sociaux -, d'une part, elle gagne à présent, à mesure que sa maturité augmente, des secteurs de plus en plus divers et critiques, d'autre part, certaines de ces activités non-critiques ont depuis été réévaluées, par exemple les recommandations sur les réseaux sociaux.

La classification des systèmes d'IA en systèmes « à haut risque » ne repose donc pas sur leur mode de fonctionnement et leurs fonctionnalités in abstracto, mais sur leur finalité et leurs modalités d'utilisation dans leur environnement.

Afin de garantir l'adaptabilité du règlement aux évolutions technologiques et d'usages ultérieures, la proposition prévoit que la Commission puisse, par le biais d'actes délégués, d'une part étendre la liste de ces systèmes classés « à haut risque »26(*), d'autre part, modifier les techniques et approches visées à l'annexe I pour définir les systèmes d'IA27(*). Pour rappel, aux termes de l'article 290 du TFUE, les actes délégués « complètent ou modifient certains éléments non essentiels de l'acte législatif ». S'agissant de la définition même de l'objet de la proposition de règlement, à savoir la définition des systèmes d'IA, les rapporteurs jugent donc inadéquat le recours à des actes délégués. Il semblerait préférable d'intégrer directement dans le texte du règlement la définition choisie, qui devra, comme celle proposée par la Commission, demeurer technologiquement neutre, afin de ne pas risquer de devenir rapidement obsolète. En l'absence de définition universellement acceptée des systèmes d'IA, les rapporteurs de la commission des affaires européennes proposent, ainsi qu'avancé par un certain nombre de leurs interlocuteurs, de reprendre la définition établie par l'Organisation de coopération et de développement économiques (OCDE)28(*). L'orientation générale du Conseil, adoptée le 25 novembre 2022, a d'ailleurs prévu la suppression de l'annexe I et, corrélativement, de la possibilité pour la Commission de modifier la définition de l'IA par actes délégués ultérieurement à l'entrée en vigueur du règlement.

B. LES SYSTÈMES D'IA JUGÉS « À HAUT RISQUE » SERAIENT SOUMIS À UN CERTAIN NOMBRE D'OBLIGATIONS A PRIORI, INCOMBANT PRINCIPALEMENT AUX FOURNISSEURS

1. Les fournisseurs de systèmes d'IA à haut risque seraient soumis à d'importantes obligations d'évaluation ex ante de la conformité de leurs systèmes

Les fournisseurs de systèmes d'IA classés « à haut risque » seraient soumis à un certain nombre d'obligations ex ante, et seraient contraints de mettre en place un système d'évaluation de conformité de leurs systèmes avant leur mise sur le marché, mais aussi tout au long de leur cycle de vie (titre III, chap. 2 et 3). L'évaluation obligatoire de la conformité du système préalable à toute mise sur le marché devrait en effet être renouvelée à chaque fois que le système ferait l'objet d'une « modification substantielle » (art. 43, 4).

Ces obligations qui s'imposent aux fournisseurs de systèmes d'IA à haut risque comprennent notamment :

- la mise en place d'un système d'identification, d'évaluation et de gestion des risques susceptibles d'apparaître non seulement au cours d'une utilisation conforme du système, mais également au cours de toute mauvaise utilisation « raisonnablement prévisible » ;

- la mise en place de mesures d'atténuation des risques et de contrôle des risques résiduels, prenant en compte l'environnement dans lequel le système est utilisé et les caractéristiques des utilisateurs ;

- des exigences en matière de qualité des jeux de données utilisées pour l'entraînement des systèmes, et de gouvernance de ces données, ainsi que d'exactitude et de robustesse du système tout au long de son cycle de vie ;

- l'établissement et la tenue à jour d'une documentation technique pour chaque système ainsi que la traçabilité des événements survenus pendant leur fonctionnement (journaux automatiques) ;

- la fourniture aux utilisateurs du système de toutes les informations nécessaires sur les caractéristiques de ce dernier, y compris les risques résiduels qu'il comporte ;

- une conception des systèmes telle que le fonctionnement de ces derniers est suffisamment transparent pour permettre à leurs utilisateurs de l'utiliser de manière appropriée, en particulier d'interpréter correctement leurs résultats (art. 13).

Afin de certifier la conformité de leurs systèmes aux spécifications détaillées dans la proposition de règlement, les fournisseurs de systèmes d'IA seraient tenus de les faire évaluer avant leur mise sur le marché (art. 43).

Les systèmes composants de produits déjà couverts par une des législations harmonisées de l'Union sur la sécurité des produits seraient soumis aux mêmes mécanismes de conformité et d'application que les produits dont ils font partie, qui intégreraient donc désormais le respect des exigences établies par le nouveau règlement. 

Les autres systèmes d'IA pourraient être évalués soit par une procédure fondée sur le contrôle interne, soit par un organisme notifié - excepté pour les systèmes d'identification biométrique à distance, qui devraient obligatoirement être soumis à une évaluation de la conformité réalisée par un tiers.

Les systèmes évalués avec succès disposeraient ensuite d'un marquage « CE » (art. 19 et 49), et seraient enregistrés par les fournisseurs dans une base de données européenne (art. 51 et 60).

Les fournisseurs de systèmes d'IA devraient en outre être en mesure d'apporter des preuves de conformité du système d'IA à haut risque au règlement, en cas de demande en ce sens d'une autorité nationale compétente.

Enfin, les fournisseurs seraient tenus de mettre en oeuvre des systèmes de surveillance après commercialisation et, tout au long de la vie du système d'IA, d'informer les autorités nationales compétentes des incidents ou dysfonctionnements graves qui constituent une violation des obligations en matière de droits fondamentaux dès qu'ils en auront connaissance (art. 22 et 62).

2. Le contrôle de la mise en oeuvre du règlement incomberait aux autorités nationales compétentes

Les États membres devraient désigner une (ou plusieurs) autorité(s) nationale(s) chargée(s) de contrôler l'application du règlement (art. 59), qui pourrai(en)t, si elle(s) considère(nt) qu'un système d'IA présente un risque pour la santé, la sécurité ou les droits fondamentaux, procéder à toutes les vérifications utiles et, si le risque se confirme, inviter le fournisseur à prendre les mesures correctives appropriées, voire retirer le système du marché. Un mécanisme de partage de l'information avec toutes les autorités nationales chargées de la protection des droits fondamentaux qui pourraient être affectés par ce risque est également prévu (par exemple, en France, la CNIL devrait être avertie en cas de risque pour la protection des données à caractère personnel, y compris si l'autorité nationale compétente concernée était une autre autorité29(*)).

L'autorité nationale compétente pourrait également, en cas de non mise en conformité, prendre les mesures provisoires appropriées pour interdire ou restreindre la mise à disposition du système d'IA de son marché national. En outre, elle aurait le pouvoir d'enquêter sur les incidents notifiés par les fournisseurs et de transmettre leurs conclusions à la Commission.

Les sanctions applicables aux violations du règlement, qui seraient déterminées par les États compétents, pourraient aller (art. 71) :

- jusqu'à 30 M € ou 6 % du chiffre d'affaires mondial annuel du fournisseur en cas de pratique d'IA interdite par le règlement ou de non-conformité d'un système d'IA à haut risque concernant les jeux de données ;

- de 10 à 20 M € ou 4 à 6 % du chiffre d'affaire en cas de non-respect des autres obligations posées par le règlement.

En outre, afin d'harmoniser la mise en oeuvre du règlement, la proposition prévoit la création d'un « Comité européen de l'intelligence artificielle » (titre VI, chap. 1, art. 56 à 58), composé de représentants des autorités de contrôle nationales et du Contrôleur européen de la protection des données, et présidé par la Commission.

Ce Comité serait principalement chargé d'assister les autorités de contrôle nationales et la Commission dans la mise en oeuvre du règlement, afin d'en assurer une application cohérente, mais pourrait également formuler des avis et recommandations sur toutes questions liées à la mise en oeuvre du règlement, notamment relativement aux normes et spécifications techniques, ainsi qu'aux lignes directrices qui devraient être élaborées au titre du règlement.

III. LA RÉGLEMENTATION PROPOSÉE DEVRAIT ÊTRE RENFORCÉE AFIN DE PESER DAVANTAGE SUR LES GRANDS ACTEURS DU NUMÉRIQUE

Les technologies d'intelligence artificielle sont pour l'instant, la plupart des cas, déployées en dehors de tout cadre juridique clair, y compris dans l'Union européenne, hormis quelques secteurs particuliers qui ont déjà fait l'objet d'une réglementation ad hoc et quelques dispositions du RGPD (voir ci-dessus). En outre, les grands principes du RGPD concernant le recueil et le traitement de données à caractère personnel (définition de la finalité et détermination de la base légale de traitement, principes de minimisation, droit d'opposition...) s'appliquent, dans les conditions du droit commun, pour les systèmes d'IA qui se servent de ce type de données.

En conséquence, pour combler les lacunes de ces règles, il convient de saluer l'initiative de la Commission de réguler le secteur de l'IA, dont certaines utilisations sont en effet susceptibles d'affecter gravement la santé, la sécurité et les droits fondamentaux des citoyens européens.

Même si, par son fonctionnement même, ainsi qu'il a été rappelé précédemment, l'IA présente certains risques inhérents à la protection des droits fondamentaux - notamment d'importants risques de biais discriminatoires, en l'absence de mesures de contrôle et atténuation appropriés, il convient de rappeler que même du point de vue de la protection des droits fondamentaux, l'IA peut recevoir des applications favorables.

A. LA PROTECTION RÈGLEMENTAIRE DEVRAIT ÊTRE DAVANTAGE DIFFÉRENCIÉE EN FONCTION DES CARACTÉRISTIQUES SPÉCIFIQUES DES CHAÎNES DE VALEUR DE L'IA ET DES DIFFÉRENTS CAS D'USAGE, AFIN DE TIRER LE MEILLEUR PARTI DE CETTE TECHNOLOGIE

1. Les applications d'IA à haut risque devraient être mieux définies, pour plus de sécurité juridique

Sur les systèmes d'IA à haut risque

Il est nécessaire de mieux qualifier ce qu'est une application « à haut risque », afin d'une part que les fournisseurs de telles applications se soumettent à leurs obligations au titre du règlement, mais aussi pour éviter tout risque de surconformité, qui risquerait de faire peser les obligations introduites par le règlement sur des fournisseurs d'application qui ne seraient en fait pas concernés. Un tel phénomène de surconformité serait en effet susceptible de décourager non seulement les entreprises, mais aussi les éventuels investisseurs.

Si la Commission européenne a constamment indiqué que l'établissement d'une liste des domaines d'applications à haut risque à l'annexe III ne signifiait pas que toutes les applications qui en relevaient étaient concernées, mais que l'évaluation devrait se faire au cas par cas, cette analyse n'a pas été étayée clairement, et les interprétations sur ce point ont continué à diverger, au Parlement européen et au sein du Conseil notamment. Dans ce contexte, afin d'éviter d'imposer des charges et contraintes inutiles, les rapporteurs de la commission des affaires européennes appellent les co-législateurs européens à affiner le verbatim de l'annexe III, afin de supprimer ou modifier les expressions qui pourraient amener à inclure dans les applications à haut risque des champs excessivement vastes d'applications d'IA.

L'exemple a été donné aux rapporteurs, au point 8 (a) de l'annexe III, des systèmes « destinés à aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits ». Visant - de manière tout à fait justifiée au regard des risques pour les droits fondamentaux - les usages de justice prédictive, la formulation amenait à exclure l'ensemble des moteurs de recherche de données de justice (de type Doctrine ou Lexbase). Le travail effectué sous présidence française du Conseil de l'Union européenne a permis au Conseil de s'accorder sur la suppression du terme « recherche », permettant de recentrer le champ des applications à haut risque sur la justice prédictive.

De manière générale, les rapporteurs de la commission des affaires européennes estiment que la classification des systèmes d'IA à haut risque devrait reposer sur l'analyse de risques pour les droits fondamentaux, tant individuels - comme c'est le cas dans la proposition - que systémiques. En effet, même en l'absence d'atteinte avérée ou de risque d'atteinte aux droits individuels, une absence de transparence de systèmes d'IA, par exemple, pourrait avoir des conséquences indirectes sur l'ensemble des droits des individus, qui pourraient être portés à l'autocensure, s'ils craignaient d'être surveillés.

Devraient également être classés comme à haut risque les systèmes susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables, en particulier des enfants.

Ainsi qu'exposé précédemment, afin de garantir l'adaptabilité du règlement aux évolutions technologiques et d'usages ultérieures, la proposition prévoit que la Commission puisse, par le biais d'actes délégués, étendre la liste de ces systèmes classés « à haut risque »30(*). Dans la mesure où, aux termes de l'article 290 du TFUE, les actes délégués « complètent ou modifient certains éléments non essentiels de l'acte législatif », le recours à des actes délégués pour modifier la liste des applications à haut risque peut être questionné. Les rapporteurs de la commission des affaires européennes reconnaissent néanmoins la nécessité de pouvoir adapter le règlement avec une certaine régularité, en faisant preuve de réactivité, afin de ne pas laisser d'angle mort susceptible d'affecter les droits fondamentaux. Il serait cependant a minima nécessaire de garantir que les modifications soient faites sur la base d'éléments objectifs et documentés, et que cette réglementation ne soit pas élaborée uniquement par des juristes, mais se fonde également sur le recueil d'avis de scientifiques et de praticiens de l'IA. La composition du comité de l'intelligence artificielle, qui devrait être consulté pour de telles modifications, devrait donc être revue en ce sens.

Dans une démarche de transparence, il semblerait également souhaitable de dresser une liste des systèmes d'IA à haut risque utilisés dans la sphère publique31(*), notamment dans le domaine de la justice, afin que les citoyens soient parfaitement informés de la nature des décisions prises (qui devraient en tout état de cause être toujours prises in fine par un humain).

Sur les systèmes d'IA interdits

En ce qui concerne les systèmes d'IA interdits, les rapporteurs de la commission des affaires européenne estiment, de manière générale, que les pratiques interdites au secteur public devraient pareillement l'être pour le secteur privé, dans la mesure où le potentiel d'atteinte aux droits fondamentaux ne dépend pas du fournisseur ou de l'utilisateur du système, mais de la finalité de ce dernier. De manière générale, l'usage d'un système d'IA ne devrait jamais pouvoir porter substantiellement atteinte à l'essence même d'un droit fondamental.

Ainsi, les systèmes de notation sociale devraient être totalement interdits, qu'ils soient mis en oeuvre par le secteur public ou le secteur privé32(*), de même que les systèmes d'identification biométrique à distance en temps réel - sauf exceptions (cf. paragraphe suivant).

Les rapporteurs de la commission des affaires européennes sont sensibles à l'argument de la « pente glissante », et reconnaissent la nécessité de résister à la tentation d'une utilisation excessive de l'IA, malgré ses performances et son utilité parfois remarquables, dans les cas où cette utilisation contrevient à des principes fondamentaux de l'Union, tels que les systèmes de notation sociale, qui contreviennent au principe de solidarité. Ainsi Google, qui s'était engagé il y a quelques années à ne pas utiliser la reconnaissance faciale, a, depuis, assoupli sa position. Ainsi que l'a exprimé devant les rapporteurs de la commission des affaires européennes le représentant du Comité sur l'Intelligence Artificielle du Conseil de l'Europe, « le diable est dans les détails », et il se trouvera probablement toujours une bonne raison d'ajouter des dérogations à l'interdiction. Les récents débats sur l'usage de logiciels de reconnaissance d'image utilisant l'intelligence artificielle dans le cadre du projet de loi sur les jeux olympiques de Paris se sont fait l'écho de cette difficulté à trouver une ligne de crête.

Plus fondamentalement, l'extension de l'utilisation des systèmes d'IA pose la question quasi-philosophique de la liberté de choix et du droit à l'erreur : est-il souhaitable de permettre aux individus de ne pas suivre les recommandations d'un système d'IA, même si les performances de ce dernier sont jugées meilleures que celles des êtres humains ? A contrario, serait-il souhaitable de supprimer toute possibilité de choix ?

Compte tenu des risques particuliers posés pour les droits fondamentaux, les rapporteurs de la commission des affaires européennes estiment que devraient également faire l'objet d'une interdiction générale :

- les systèmes de reconnaissance des émotions - que la proposition de règlement ne place même pas parmi les applications à haut risque -, sauf à des fins de recherche ou d'applications de santé  ;

- tous les systèmes ayant pour objet la catégorisation de personnes dans l'espace public, par exemple aux fins de publicité ciblée dans l'espace public ;

- tous les systèmes visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles (origine ethnique, sexe, etc.) 

2. Les capacités d'action des forces de sécurité et les usages régaliens de l'IA devraient être préservés, tout en étant assortis des garanties appropriées

Les auditions menées par les rapporteurs de la commission des affaires européennes ont fait émerger deux difficultés sectorielles majeures, tenant à la nature horizontale de la proposition de règlement, concernant l'usage de systèmes d'IA d'une part à des fins militaires, d'autre part par les autorités répressives.

Si le texte initial de la Commission excluait du champ d'application du règlement les systèmes d'IA développés ou utilisés à des fins « exclusivement militaires » (art. 2), cette formulation impliquait que les systèmes d'IA duaux, de plus en plus fréquents, étaient, eux, bien couverts par le règlement, ce qui posait des difficultés notamment en matière de transparence. Dans l'Orientation générale adoptée le 25 novembre 2022, le Conseil a donc choisi d'étendre l'exclusion du champ d'application de la législation aux systèmes d'IA développés ou utilisés à des fins « militaires » (art. 2) ; par conséquent, ces systèmes ne seront plus soumis à des vérifications de conformité a priori, mais y resteront assujettis préalablement à tout usage civil.

Le Conseil a également exclu explicitement de la législation sur l'IA les champs de la « défense » et de la « sécurité nationale », au sens de l'article 4 du traité sur l'Union européenne ; les rapporteurs de la commission des affaires européennes soutiennent pleinement cette évolution.

S'agissant de l'usage de l'IA par les autorités répressives, le cadre juridique posé par le règlement soulève un certain nombre de difficultés opérationnelles. En effet, dès lors qu'ils sont utilisés par des forces de sécurité intérieure, de nombreux systèmes sont automatiquement inclus dans la liste des systèmes d'IA à haut risque, ce qui a pour conséquence de soumettre les fournisseurs et les utilisateurs de ces systèmes à des obligations supplémentaires. Tel est notamment le cas des systèmes :

- visant à l'évaluation, par les autorités répressives, de la commission d'une infraction ou d'une récidive, pour l'auteur ou la victime potentielle, que l'analyse soit individuelle ou se fasse sur la base du profilage (« police prédictive ») ;

- de détecteurs d'émotions ;

- visant à évaluer la fiabilité des preuves au cours d'enquêtes ou poursuites pénales ;

- permettant aux autorités répressives d'effectuer des recherches dans de vastes jeux de données non liés entre eux afin de découvrir des relations cachées entre ces données ;

- destinés à aider les autorités judiciaires à rechercher et interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits ;

- d'identification biométrique à distance en temps réel et a posteriori des personnes physiques, sauf exception.

De manière générale, les rapporteurs estiment que des aménagements doivent être trouvés s'agissant des règles régissant l'utilisation des systèmes d'IA par les autorités répressives, afin de ne pas obérer les capacités d'action de ces dernières.

En matière de transparence notamment (art. 13), les rapporteurs considèrent que l'utilisation des systèmes d'IA par les autorités répressives doit faire l'objet de règles spécifiques, pour tenir compte de la nécessité de respecter la confidentialité de certaines données opérationnelles sensibles. De fait, une transparence absolue pourrait être exploitée par les délinquants pour obtenir des informations précieuses, voire même provoquer des attaques adverses. En pratique, les rapporteurs estiment qu'un haut degré de transparence peut être exigé des autorités répressives sur leur utilisation des systèmes d'IA, à l'égard des Parlements nationaux et des autorités de contrôle, mais que des obligations comparables n'ont pas toujours lieu d'être vis-à-vis du public.

À cet égard, si les rapporteurs sont favorables à l'enregistrement obligatoire des autorités ou organismes publics utilisant des systèmes d'IA à haut risque dans la base de données dédiée de l'UE (art. 51,2) - dont les informations sont accessibles au public (art. 60) -, ils estiment que les autorités répressives ou exerçant leurs activités dans le domaine du contrôle aux frontières, de l'immigration ou de l'asile devraient se voir exemptées de cette obligation.

Les rapporteurs relèvent que la question du recours à la reconnaissance faciale par les forces de l'ordre demeure un point particulièrement sensible. En effet, la proposition interdit l'usage, pour les pouvoirs publics ou pour leur compte, de l'identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives, sauf exceptions33(*).

Il convient de préciser que l'identification et l'authentification sont deux notions distinctes : la première consiste à identifier une personne en comparant ses caractéristiques biométriques à une base de données, tandis que la seconde permet de vérifier qu'une personne est bien celle qu'elle prétend être, afin de pouvoir accéder à un matériel  (téléphone), un lieu (bureau) ou un service (comptes bancaires). La proposition de législation sur l'IA ne cible que l'identification biométrique dans l'espace public, afin de prévenir le risque de surveillance de masse.

À cet égard, les rapporteurs estiment que dans un contexte marqué par le développement du métavers, la notion d'espace public gagnerait à être étoffée, afin de soumettre l'espace public virtuel aux mêmes restrictions en matière d'usage de l'IA que l'espace public physique.

Par ailleurs, la proposition initiale de la Commission conditionne l'exploitation par les autorités répressives des identifications résultant des systèmes d'identification biométrique des personnes physiques à distance (en temps réel et a posteriori) à un double contrôle humain (art. 14). Or, les auditions menées par les rapporteurs ont montré que cette mesure risquait de se révéler très onéreuse et peu opérante du point de vue de la protection des droits fondamentaux, l'article 22 du RGPD prohibant d'ores et déjà la prise de décision sur le seul fondement d'une information automatisée.

Les rapporteurs considèrent donc peu réaliste d'imposer de manière systématique le recours à cette pratique, qu'il semblerait plus approprié de réserver pour des applications à très haut risque. Dès lors, les rapporteurs soutiennent pleinement l'exception introduite dans l'orientation générale du Conseil, au terme de laquelle l'exigence d'un tel double contrôle ne s'applique pas aux systèmes d'identification biométrique à distance utilisés dans le secteur pénal, de la gestion des migrations, de l'asile et des contrôles aux frontières.

Le maintien d'exceptions aux interdictions générales d'emploi de certains systèmes d'IA, au bénéfice des autorités répressives, n'est cependant pas incompatible avec un renforcement des garanties accordées afin de minimiser l'impact de cet emploi sur les droits et libertés des personnes.

Ainsi, les rapporteurs de la commission des affaires européennes estiment que le fait qu'un système d'identification biométrique à distance fonctionne en temps réel ou permette seulement une identification a posteriori est indifférent, du point de vue de son caractère intrusif. En permettant de traquer des personnes a posteriori, le second pourrait même l'être davantage.

Ils soulignent en outre la nécessité de mieux définir les critères permettant d'activer les exceptions à l'interdiction prévue, au risque que celles-ci soient, dans la pratique, exagérément élargies34(*).

Ils estiment opportun, enfin, d'inclure, parmi les systèmes d'IA considérés à haut risque, les applications destinées à établir des priorités dans l'envoi des services de police, aux côtés des systèmes d'intervention d'urgence (annexe III, point 5), afin que ces dernières soient soumises à des évaluations préalables, eu égard à leur caractère potentiellement très discriminatoire.

3. Les personnes affectées par l'IA sans en être utilisatrices devraient être mieux prises en compte

La proposition de règlement concerne principalement les fournisseurs de systèmes d'IA, et dans une moindre mesure les « utilisateurs », ce terme s'entendant, dans la version française du texte, comme personnes mettant en oeuvre un système d'IA. Il conviendrait d'y ajouter les personnes qui, sans être utilisatrices, sont affectées par un système d'IA, par exemple en faisant l'objet d'une décision de la part d'un système d'IA.

Si ces dernières se voient reconnaître certaines garanties en matière de transparence, pour les systèmes à haut risque, mais aussi pour les systèmes visés à l'article 52 (titre IV, « Obligation de transparence pour certains systèmes d'IA »), il conviendrait de renforcer les droits spécifiques de ces personnes. Elles devraient a minima disposer d'une information intelligible sur leur exposition potentielle à des systèmes d'IA et être en mesure de signaler aux régulateurs, aux fournisseurs ou aux utilisateurs les éventuels usages abusifs ou performances défaillantes de ces systèmes. Il serait également opportun que les personnes affectées par les systèmes d'IA bénéficient de voies de recours auprès d'une autorité administrative ou judiciaire, en cas d'utilisation non conforme ou de préjudice du fait de ces systèmes.

À cet égard, les rapporteurs relèvent que les deux directives tendant à adapter les règles de responsabilité civile applicables aux produits et à l'intelligence artificielle35(*), présentées par la Commission le 28 septembre 2022, ont notamment pour objectif de garantir une indemnisation équitable aux personnes ayant subi un préjudice du fait de systèmes d'IA. En pratique, les nouvelles règles doivent garantir que les victimes bénéficient des mêmes normes de protection lorsqu'elles sont lésées par des produits ou systèmes d'IA que dans d'autres circonstances.

Si l'adoption de cette proposition de directive permettra une meilleure prise en compte des personnes affectées par l'IA, les rapporteurs regrettent néanmoins que le sujet de la responsabilité du fait des systèmes d'IA ait fait l'objet d'un texte distinct du règlement IA, dans la mesure où cette fragmentation altère la portée de l'approche coordonnée que la Commission entend promouvoir au niveau de l'Union en matière d'IA.

4. La dynamique des processus d'innovation devrait être mieux intégrée

Plusieurs des personnes auditionnées, expertes et représentantes des entreprises du secteur de l'intelligence artificielle, ont souligné l'inadéquation de l'obligation d'évaluation de la conformité ex ante, telle que proposée par la Commission, avec la dynamique de recherche produit telle que pratiquée, dans le secteur de l'IA notamment. Cette dernière nécessite en effet un va-et-vient entre le développement en milieu fermé et le marché, avec des phases de prototypes, qui ne constituent pas à proprement parler une mise sur le marché. Il semblerait donc nécessaire de préciser cette obligation, afin d'apporter aux développeurs davantage de sécurité juridique.

B. LES MESURES DE SOUTIEN À L'INNOVATION, NOTAMMENT LA POSSIBILITÉ D'EFFECTUER DES EXPÉRIMENTATIONS CONTRÔLÉES EN CONDITIONS DÉROGATOIRES, DEVRAIENT ÊTRE RENFORCÉES, AFIN DE GARANTIR LA COMPÉTITIVITÉ EUROPÉENNE EN MATIÈRE D'IA

1. Certaines obligations figurant dans le texte initial de la Commission sont inapplicables, de par la nature même des technologies d'intelligence artificielle

Le processus d'apprentissage des systèmes d'IA repose en grande partie sur le recours à des jeux de données, c'est-à-dire de vastes ensembles d'informations numériques, qui peuvent être très difficiles à concevoir au vu de leur taille et de complexité. L'article 10 de la proposition de règlement prévoit que « [l]es jeux de données d'entraînement, de validation et de test sont pertinents, représentatifs, exempts d'erreurs et complets » (3). Prenant acte de l'impossibilité matérielle de parvenir à de telles caractéristiques, la présidence française du Conseil de l'Union européenne a introduit une atténuation à ces exigences, en ajoutant l'expression « dans la mesure du possible »36(*).

Afin, cependant, de ne pas amoindrir exagérément les garanties posées par la proposition, il serait souhaitable de renforcer les exigences en matière de documentation sur les données exploitées par les systèmes d'IA, notamment les conditions de collecte (telles que la zone géographique et la temporalité) et les éventuelles lacunes identifiées au sein des jeux de données. Le recours à des normes ou standards techniques, qui restent à établir, pourrait à ce titre être encouragé.

Concernant la qualité des jeux de données, il est nécessaire de distinguer, pour les systèmes d'IA reposant sur l'apprentissage automatique, la phase d'apprentissage de la phase de production (déploiement opérationnel du système) : ces deux étapes, qui n'ont pas le même objectif, doivent être bien séparées, notamment, en ce qui concerne les données à caractère personnel, du point de vue de la détermination de la finalité du traitement. En effet, le RGPD trouve à s'appliquer différemment dans chacune de ces deux phases, la phase d'apprentissage nécessitant souvent un accès à des données plus nombreuses, mais susceptibles de moindres conséquences sur les individus, notamment du fait de leur moindre exposition (accès limité, moindre vulnérabilité à des cyberattaques du fait d'un fonctionnement souvent en circuit fermé).

Les rapporteurs insistent sur l'importance de garantir que les données utilisées pour l'apprentissage des systèmes d'IA soient obtenues de manière licite et conforme à la réglementation européenne en matière de protection des données. Dans cette perspective, obligation pourrait être faite aux fournisseurs, préalablement à l'utilisation de toutes données à caractère personnel ou non, de vérifier les conditions dans lesquelles ces dernières ont été acquises.

Enfin, le RGPD comprend des dispositions spécifiques à la recherche scientifique, qui trouvent la plupart du temps à s'appliquer dans la phase d'apprentissage des systèmes d'IA.

En ce qui concerne l'articulation avec le RGPD, les rapporteurs de la commission des affaires européennes recommandent, au vu de l'éclairage apporté par les représentants de la CNIL, l'édiction de lignes directrices par le Comité européen de la protection des données (EDPB) ou, à défaut, par les autorités nationales de protection des données, afin, sans modifier ce texte fondateur, d'expliciter ses marges de manoeuvre et la souplesse avec laquelle il peut être interprété, dans le but de ne pas entraver le développement de l'IA en Europe. Cependant, afin de ne pas amoindrir le haut degré de protection dont jouissent les citoyens européens en ce qui concerne la protection de leurs données à caractère personnel, il devrait être précisé explicitement dans le texte du règlement sur l'IA que celui-ci est sans préjudice du RGPD, et que la conformité d'un système au règlement IA n'implique pas sa conformité au RGPD37(*), qui ne repose pas sur les mêmes acteurs38(*).

L'article 10, point 5, de la proposition de règlement prévoit que « les fournisseurs [de systèmes d'IA] peuvent traiter des catégories particulières de données à caractère personnel » aux fins de surveillance, détection et correction de biais éventuels du système. La CNIL, tout comme l'EDPB et l'EDPS, considèrent qu'il s'agit là d'une nouvelle base légale, en plus de celles prévues par le RGPD, permettant de déroger à l'interdiction de traitement de données sensibles prévue à l'article 9 du RGPD. Cependant, dans la mesure où cette dérogation vise précisément à lutter contre les biais et le caractère potentiellement discriminatoire du fonctionnement de certains systèmes d'IA, il convient de la soutenir, tout en l'encadrant suffisamment pour qu'elle ne serve pas d'alibi à une utilisation détournée, notamment commerciale, de ces données sensibles.

Parmi les autres obligations pesant sur les fournisseurs qui paraissent concrètement impossibles à mettre en place, figurent d'une part, l'obligation, pour ces derniers, de fournir la liste de toutes les mauvaises utilisations prévisibles du système, obligation qui devrait être mieux caractérisée pour pouvoir être mise en oeuvre ; d'autre part, l'obligation de gestion et d'atténuation des risques par le fournisseur,  obligation qui ne devrait, logiquement, concerner que les risques identifiés, et non l'intégralité des risques.

Il importe, enfin pour les rapporteurs, que les obligations pesant sur les fournisseurs soient précisées, afin que dès l'étape du développement, les systèmes d'IA respectent un socle de normes éthiques, selon les principes de legacy et de safety by design.

2. Les mesures de soutien à l'innovation, notamment la possibilité d'effectuer des expérimentations contrôlées en conditions dérogatoires, devraient être renforcées, afin de garantir la compétitivité de l'Union européenne en matière d'IA

Si les rapporteurs de la commission des affaires européennes approuvent le principe d'une réglementation visant à encadrer le déploiement et les usages de l'IA, ils partagent les préoccupations exprimées par plusieurs de leurs interlocuteurs concernant la capacité de l'Union européenne, qui n'est actuellement pas leader en matière d'IA, à résister à la compétition mondiale, a fortiori en imposant à ses développeurs des conditions plus contraignantes que dans d'autres régions du monde39(*). Malgré ce risque, la Commission européenne estime qu'une absence de réglementation, en minant la confiance dans l'IA, serait in fine encore plus préjudiciable à son développement, et à terme plus coûteuse économiquement.

Pour cette raison, les rapporteurs de la commission des affaires européennes souhaitent souligner l'importance pour l'Union européenne et ses États membres d'investir également les instances de normalisation internationales, afin de promouvoir à cette échelle des normes ambitieuses en matière de robustesse, de cybersécurité et de protection des droits fondamentaux répondant à la conception européenne de l'IA, afin d'éviter que ces exigences pèsent seulement sur les fournisseurs ciblant le marché européen, et de favoriser au contraire les industriels européens.

Afin de soutenir l'innovation en Europe, le titre V de la proposition de règlement encourage les autorités nationales des différents États membres à mettre en place des bacs à sable réglementaires, qui offriraient « un environnement contrôlé pour mettre à l'essai des technologies novatrices sur une durée limitée »40(*). Cependant, leur valeur ajoutée ne semblait pas évidente, à première vue, dans la proposition initiale de la Commission, dans la mesure où les utilisateurs semblaient rester soumis, y compris dans le cadre du « bac à sable », à l'intégralité de leurs obligations au titre du règlement et du reste de la législation européenne : seul un accès privilégié aux autorités de régulations, propres à leur fournir des conseils, semblait en fait garanti. Les discussions au Conseil, notamment sous présidence française au premier semestre 2022, ont permis de modifier significativement le fonctionnement des bacs à sable réglementaires.

En vue de favoriser l'innovation, notamment de la part de petits acteurs et startups, les rapporteurs de la commission des affaires européennes soutiennent également l'accès préférentiel aux bacs à sables réglementaires pour ces derniers - qui pourrait également passer par des coûts moindres, voire inexistants. L'accès à des facilités de ce type semble en effet préférable, de manière générale, à des exonérations d'obligations réglementaires, car, dans le domaine numérique plus peut-être que dans tout autre, les dommages susceptibles d'être causés par un algorithme largement diffusé peuvent être sans commune mesure avec la taille de l'entreprise, mesurée en chiffre d'affaires ou en nombre de salariés, qui sont les indicateurs retenus dans la réglementation européenne.

Les modalités et conditions de fonctionnement des bacs à sables réglementaires seront déterminées par la Commission européenne, par la voie d'actes d'exécution. Il conviendra donc que ces modalités, si leurs principes ne sont pas inscrits « en dur » dans l'article 53 du règlement IA, soient soumises pour avis au Comité européen de l'intelligence artificielle. En tout état de cause, il importe que le fonctionnement de ces bacs à sables réglementaires soit aussi homogène que possible à travers les États membres, afin de garantir une concurrence équitable et d'encourager l'innovation.

Les rapporteurs de la commission des affaires européennes souhaitent également souligner les bénéfices à attendre d'un soutien accru à la recherche en matière de risques. Le développement de capacités d'analyse des risques au cas par cas permettrait ainsi, dans la logique même de la proposition de la Commission, de renforcer la confiance dans l'IA et son adoption, stimulant ainsi le marché correspondant.

C. LA GOUVERNANCE DOIT SE FONDER SUR DES AUTORITÉS NATIONALES CLAIREMENT IDENTIFIÉES ET SUR UN COMITÉ EUROPÉEN RENFORCÉ, TRAVAILLANT DE CONCERT

1. Les autorités nationales et européennes doivent se donner les moyens de contrôler efficacement la mise en oeuvre du règlement

Le contrôle de la mise en oeuvre du règlement pose la question sous-jacente de l'articulation des rôles entre la Commission et les autorités nationales. Pour les rapporteurs de la commission des affaires européennes, deux écueils principaux sont à éviter s'agissant du mode de gouvernance retenu : une concentration excessive des pouvoirs au sein de la Commission, et une distribution trop importante des prérogatives dans chaque État membre, ces deux scénarios étant peu compatibles avec une régulation efficace du secteur.

En accord avec l'EDPB et l'EDPS, les rapporteurs de la commission des affaires européennes recommandent la désignation de la CNIL comme autorité nationale compétente pour la surveillance de l'application du règlement sur l'IA, compte tenu de l'expertise acquise par cette dernière dans la régulation des systèmes d'IA impliquant des données à caractère personnel, majoritaires parmi ceux concernés par la proposition de règlement. Une telle désignation aurait en outre l'avantage d'offrir un cadre cohérent aux professionnels du numérique, en identifiant un interlocuteur unique, permettant une régulation sectorielle fluide avec les différents acteurs impliqués.

Les rapporteurs soulignent néanmoins que, pour remplir efficacement ces nouvelles missions de surveillance, la CNIL devrait bénéficier d'un renforcement progressif de ses ressources humaines, impliquant notamment le recrutement d'ingénieurs spécialisés en IA et de juristes en droit des nouvelles technologies.

Au terme de l'article 65 de la proposition de règlement, le contrôle de l'application du règlement IA est une prérogative détenue exclusivement par l'autorité de surveillance de marché, à qui revient l'initiative de procéder à l'évaluation des systèmes présentant un risque pour la santé, la sécurité ou les droits fondamentaux, ou susceptibles de présenter un tel risque, afin d'inviter le cas échéant l'opérateur à prendre des mesures correctives, voire à retirer le système du marché.

Dans le cadre de ses activités, l'autorité de surveillance se voit garantir un droit d'accès aux données et à la documentation, y compris au code source lorsque cet accès est nécessaire pour évaluer la conformité d'un système au règlement (art. 64), l'article 70 précisant que ces droits d'accès s'entendent dans le respect des droits de la propriété intellectuelle. À cet égard, les rapporteurs estiment qu'il serait opportun d'expliciter que le respect de la propriété intellectuelle et le secret des affaires impliquent une obligation, de la part des autorités de régulation, de non-divulgation des données dont elles ont ainsi connaissance, et non un droit d'opposition des entreprises concernées à l'accès des autorités de régulation aux données.

Enfin, l'article 64 prévoit la possibilité, pour les autorités chargées de la protection des droits fondamentaux au titre du règlement de présenter aux autorités nationales de contrôle une demande motivée d'organiser des tests sur les systèmes d'IA à haut risque, si la documentation produite ne suffit pas à caractériser les violations des obligations au titre du droit de l'Union visant à protéger les droits fondamentaux. Les rapporteurs considèrent que le recours à ce type de tests organisés sur saisine de l'autorité de contrôle pourrait avantageusement être facilité, dans le but de garantir une protection plus effective des droits fondamentaux des citoyens.

2. Le Comité européen de l'intelligence artificielle devrait être renforcé, notamment en vue de pouvoir accompagner la Commission européenne dans une réflexion prospective sur les futures évolutions du règlement

Cheville ouvrière de l'application du règlement IA, le Comité européen de l'intelligence artificielle ne pourra remplir ses fonctions d'assistance aux États membres et de conseil à la Commission que s'il parvient à asseoir sa légitimité dans le secteur de l'IA.

À cet égard, les rapporteurs soutiennent les évolutions apportées par les États membres à la composition du Comité afin de renforcer son autonomie. Alors que dans la proposition initiale de la Commission, le Comité devait être composé des autorités de contrôle nationales et du Contrôleur européen de la protection des données (CEPD) sous présidence de la Commission, il intègre dans la version du Conseil, des représentants des États membres ainsi que des experts, le CEPD et la Commission ne se voyant plus octroyer qu'un rôle d'observateur (art. 56).

Pour les rapporteurs, cette nouvelle architecture constitue également un gage de cohérence et de coordination dans l'application du règlement IA. En effet, la création d'un sous-groupe permanent constitué d'experts, destiné à assister les États membres, a vocation à pallier les capacités et compétences insuffisantes de certains de ces États en matière d'IA, de façon à garantir une mise en oeuvre effective et uniforme du règlement. Les rapporteurs approuvent par ailleurs les modifications du Conseil tendant à étendre les compétences consultatives du Comité, et lui confiant notamment à ce titre la tâche de conseiller la Commission lors de la préparation des actes délégués ou des actes d'exécution pris en vertu du règlement sur l'IA. L'orientation générale du Conseil prévoit également que le Comité soit systématiquement consulté sur la nécessité éventuelle de modifier l'annexe III listant les systèmes d'IA à haut risque, pour que soient pris en compte les éléments de preuve disponibles et les dernières évolutions technologiques (art. 58, d). Les rapporteurs soutiennent pleinement cette disposition, permettant de garantir le caractère collégial et documenté des modifications qui devront inévitablement être apportées à l'annexe III.

Les rapporteurs estiment par ailleurs que le rôle prospectif du Comité gagnerait à être renforcé. À cet égard, ils sont favorables à ce que le Comité se voie explicitement accorder la possibilité de s'autosaisir de toute question pertinente en lien avec l'application du règlement sur l'IA, afin de formuler des recommandations ou des avis sans saisine préalable de la Commission. La reconnaissance d'un tel droit d'initiative constituerait un gage fort d'autonomie pour le Comité sur l'IA.

Enfin, il pourrait être opportun de densifier les liens du Comité avec les diverses autorités nationales compétentes et l'ensemble des acteurs de l'IA, afin de garantir une bonne intégration de cette nouvelle instance dans l'écosystème existant et de conforter sa légitimité à l'échelle de l'Union. À titre d'exemple, il semblerait envisageable de recourir à des consultations périodiques associant toutes les parties prenantes (organisations de la société civile, entreprises, industriels, chercheurs, laboratoires, etc.) autour d'une thématique spécifique.

CONCLUSION

Les rapporteurs de la commission des affaires européennes partagent les objectifs de la proposition de législation européenne sur l'IA et soulignent la pertinence de l'approche retenue, qui vise à protéger d'une manière adéquate les droits des citoyens européens, tout en soutenant au maximum l'innovation en matière d'IA.

Au-delà des améliorations de la proposition de règlement qui sont présentées dans la proposition de résolution européenne qu'ils soumettent à la commission des affaires européennes, les rapporteurs soulignent la nécessité d'accompagner l'approche réglementaire - qui n'en est pas moins indispensable - d'un soutien affirmé à l'investissement, à la formation et à l'élaboration des normes internationales dans le domaine de l'IA.

EXAMEN EN COMMISSION

La commission des affaires européennes s'est réunie le jeudi 30 mars 2023, sous la présidence de M. Jean-François Rapin, président, pour l'examen du présent rapport.

M. Jean-François Rapin, président. - Nous examinons ce matin une proposition de résolution européenne sur un projet de législation européenne destiné à encadrer l'intelligence artificielle (IA). Il s'agit d'un pan d'innovation numérique gigantesque, que l'Union européenne ne régule pas encore. Les récentes avancées en la matière font couler beaucoup d'encre, je pense bien sûr à l'outil de conversation automatisé ChatGPT dont les performances sont impressionnantes et représentent un défi, d'abord en matière d'emploi - puisque Goldman Sachs estime que l'IA menacerait 300 millions d'emplois dans le monde, tout en pouvant aussi contribuer à terme à augmenter le PIB mondial annuel de 7 % - mais aussi en matière d'enseignement... On peut aussi évoquer les technologies permettant de générer des images par l'intelligence artificielle, qui constituent une menace pour l'information. Bref, l'IA nous conduit-elle à notre perte ?

Hier était publiée une lettre ouverte qui a eu un retentissement médiatique mondial : le patron de Tesla et Twitter, le cofondateur d'Apple et plus d'un millier d'universitaires et de spécialistes de l'IA alertent sur les graves risques pour la société et l'humanité que représentent les systèmes d'IA dotés d'une intelligence capables de concurrencer celle de l'homme. Ils appellent à suspendre pour au moins six mois le développement de systèmes d'IA plus puissants que la dernière version du robot conversationnel d'OpenAI. Faut-il donc faire une pause sur les expériences géantes d'intelligence artificielle ?

Faut-il en accélérer la régulation, comme le propose l'Union européenne au travers du texte que nous examinons aujourd'hui, encadrer ces technologies émergentes pour accompagner le développement de celles dont les effets seront positifs et dont les risques seront gérables, dans un sens conforme à nos valeurs ?

M. Cyril Pellevat, rapporteur. - La proposition de législation européenne sur l'intelligence artificielle que nous examinons aujourd'hui constitue la troisième grande réglementation numérique horizontale que l'Union européenne entend mettre en place, après le Digital Markets Act (DMA) et le Digital Services Act (DSA).

Ce règlement est le fruit de travaux initiés dès 2018 par la Commission européenne ; il s'inscrit dans la continuité de la stratégie européenne d'IA et s'appuie sur les conclusions du Livre blanc sur l'intelligence artificielle de 2020, qui fixait le double objectif pour l'Union de promouvoir le développement de l'IA en Europe, tout en tenant compte des risques qui peuvent y être associés.

Alors même que l'intelligence artificielle représente des gisements de croissance importants, l'Europe souffre d'un déficit d'investissement considérable dans ce domaine. Pour ne prendre qu'un exemple, les petites et moyennes entreprises d'IA sont deux fois et demie plus nombreuses aux États-Unis que dans l'Union européenne.

En parallèle, force est de constater que, mal utilisée, l'IA est susceptible de causer de graves atteintes aux droits fondamentaux, qu'il s'agisse du respect de la vie privée, de l'accès à la justice ou encore du respect du principe de non-discrimination. Entendons-nous bien : l'IA n'est en elle-même ni une opportunité ni un danger. En réalité, comme toutes les technologies, sa valeur dépend de l'usage qui en est fait. Jusqu'à présent, l'absence de toute réglementation générale sur l'IA à l'échelon européen constituait donc, sans aucun doute, un risque pour les droits fondamentaux.

La Commission européenne entend remédier à cette situation en faisant de l'Europe « le pôle mondial d'une intelligence artificielle digne de confiance ». En pratique, le nouveau règlement sur l'IA vise à mieux protéger les citoyens, en appelant au développement d'une IA au service de l'humain, fiable, éthique et conforme aux valeurs européennes, mais aussi à stimuler les investissements et l'innovation dans l'IA, en accroissant la confiance dans l'IA des utilisateurs et la sécurité du cadre juridique applicable.

Mme Elsa Schalck, rapporteure. - La proposition de règlement sur l'IA repose sur une approche fondée sur le risque, en distinguant trois catégories de systèmes d'IA : ceux qui génèrent un risque inacceptable et sont à ce titre interdits ; ceux qui génèrent un haut risque pour la santé, la sécurité ou les droits fondamentaux des personnes physiques et dont l'utilisation est fortement encadrée ; ceux qui présentent un risque faible et sont donc uniquement soumis à des obligations de transparence renforcée.

Je ne m'attarderai pas sur les pratiques d'IA interdites par le règlement ; il va de soi que les systèmes qui influencent de manière subliminale les comportements, qui exploitent les vulnérabilités dues à l'âge ou au handicap ou encore les systèmes de notation sociale sont parfaitement contraires aux valeurs de l'Union européenne et posent des risques majeurs du point de vue de la protection des droits fondamentaux.

L'enjeu de la proposition législative européenne en matière d'IA se situe davantage au niveau des systèmes d'IA à haut risque, qui font l'objet de l'essentiel du règlement.

Le texte de la Commission répond à deux questions cruciales : sur quels critères faut-il considérer qu'un système d'IA est à « haut risque » ? Et quelles garanties spécifiques poser à la mise sur le marché et l'utilisation de ces systèmes, afin de protéger les droits fondamentaux ?

S'agissant du premier point, la classification retenue dans le règlement repose sur la finalité et les modalités d'utilisation des systèmes d'IA, et non sur leur mode de fonctionnement et leurs fonctionnalités in abstracto. En pratique, pourront être classés parmi les systèmes à haut risque les systèmes appartenant à un nombre limitatif de domaines : l'identification biométrique, les infrastructures critiques, l'éducation et la formation professionnelle, l'emploi, l'accès aux services publics et aux services privés essentiels, la migration, l'asile et le contrôle aux frontières, enfin la justice et les processus démocratiques.

S'agissant du second point, à savoir le cadre juridique applicable, le projet de règlement prévoit que les fournisseurs soient soumis à d'importantes obligations ex ante, avec notamment la mise en place d'un système d'identification, d'évaluation et de gestion des risques, mais aussi des exigences en matière de qualité des jeux de données utilisées pour l'entraînement des systèmes.

Par ailleurs, les fournisseurs seront tenus de faire évaluer la conformité de leurs systèmes au règlement IA avant leur mise sur le marché, mais également de mettre en oeuvre des systèmes de surveillance après commercialisation, et tout au long de la vie du système, afin notamment de pouvoir alerter les autorités compétentes en cas d'incidents ou de dysfonctionnements graves.

La mise en oeuvre de ces différentes obligations doit se faire sous le contrôle d'une autorité nationale désignée par chaque État membre, habilitée, si elle considère qu'un système d'IA présente un risque, à procéder à toutes les vérifications utiles, à enjoindre au fournisseur de prendre des mesures correctives appropriées et, dans certains cas, à retirer le système du marché.

Enfin, la proposition de règlement prévoit la création d'un Comité européen de l'intelligence artificielle, composé de représentants des autorités de contrôle nationales et du Contrôleur européen de la protection des données, et présidé par la Commission. Ce Comité a vocation à assister les autorités de contrôle et la Commission dans la mise en oeuvre du règlement, afin d'en assurer une application cohérente.

Mme Catherine Morin-Desailly, rapporteure. - Je vais vous présenter la proposition de résolution européenne que nous vous soumettons, fruit de nombreuses auditions.

Nous ne pouvons tout d'abord que saluer l'initiative de la Commission de réguler le secteur de l'IA, puisque les technologies d'intelligence artificielle sont actuellement déployées en dehors de tout cadre juridique clair.

Cela étant dit, le texte de la Commission demeure perfectible ; nos travaux ont permis d'identifier un certain nombre de points de vigilance et de pistes d'amélioration.

Il nous semble, en premier lieu, que les applications directement visées par le règlement devraient être mieux définies, afin de garantir une plus grande sécurité juridique.

Nous demandons ainsi que les fournisseurs de systèmes d'IA à usage générique, jusqu'à présent exclus du champ d'application du règlement, soient également soumis à des obligations spécifiques. Alors que la presse se fait très régulièrement l'écho des prouesses de systèmes d'IA tels que ChatGPT, il est indispensable de réglementer les systèmes d'IA capables d'accomplir une très grande variété de tâches, comme créer des contenus généraux, images et textes, à partir de grandes quantités de données existantes.

Nous appelons également à la prise en compte, dans la définition des systèmes d'IA à haut risque, des risques systémiques, c'est-à-dire concernant les individus dans leur ensemble. La liste des systèmes d'IA à haut risque pourrait de la sorte être étendue aux applications susceptibles de causer des préjudices environnementaux ou aux algorithmes de recommandation de contenus qui promeuvent des contenus clivants ou de désinformation - en somme, tous les réseaux sociaux.

Nous avons également relevé un certain nombre de lacunes préjudiciables dans la liste des systèmes d'IA à haut risque et demandons que cette dernière soit étendue aux systèmes susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables - notamment les enfants -, mais également sur leur santé, de même que les systèmes destinés à établir des priorités dans l'envoi des services de police, eu égard au caractère potentiellement très discriminant de telles applications.

De toute évidence, cette liste sera amenée à être complétée, au gré des évolutions de technologies et d'usages, afin de ne pas laisser d'angle mort susceptible d'affecter les droits fondamentaux. Il importe cependant que ces modifications soient soumises à un examen attentif de scientifiques et de praticiens de l'IA, afin d'être fondées sur des éléments objectifs et documentés.

Dans un souci de transparence, il nous semble également opportun de prévoir la création d'un registre public des organismes ou autorités publics utilisant les systèmes d'IA à haut risque, sauf évidemment dans les cas où une telle transparence se révélerait préjudiciable à l'action des autorités répressives.

J'en viens à présent aux systèmes d'IA interdits par le règlement. Nous sommes convaincus qu'il faut résister à la tentation d'une utilisation excessive de l'IA, en dépit de ses performances, dans les cas où cette dernière contrevient à des principes fondamentaux de l'Union européenne.

Nous estimons, par conséquent, que les pratiques interdites au secteur public devraient l'être aussi pour le secteur privé, puisque le potentiel d'atteinte aux droits fondamentaux ne dépend pas du fournisseur ou de l'utilisateur du système, mais de la finalité de ce dernier. Nous appelons également à l'interdiction générale des systèmes de notation sociale et de reconnaissance des émotions, mais aussi des systèmes ayant pour objet la catégorisation des personnes dans l'espace public et de tous les systèmes visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles. Nous sommes également favorables à une interdiction des systèmes d'identification biométrique à distance dans l'espace public, sauf dans certains cas bien précis.

En parallèle, nos travaux ont montré que le cadre juridique posé par le règlement soulevait un certain nombre de difficultés opérationnelles s'agissant de l'usage de l'IA par les autorités régaliennes et les forces de sécurité.

Nous souhaitons donc, d'une part, que les champs de la défense et de la sécurité nationale soient explicitement exclus de la législation sur l'IA et d'autre part, que des aménagements soient trouvés en ce qui concerne l'utilisation de l'IA par les autorités répressives. Il ne s'agit pas de lever les obligations posées par le règlement, mais de les adapter, sous réserve des garanties appropriées. Je pense notamment aux règles applicables en matière de transparence, ou à l'exigence d'un double contrôle humain pour pouvoir exploiter les données issues de systèmes d'identification biométrique des personnes physiques dans l'espace public.

S'agissant de l'usage de l'IA dans l'espace public, nous estimons que, dans un contexte marqué par le développement du métavers, la notion d'espace public virtuel doit absolument être intégrée, afin qu'y soient appliquées les mêmes restrictions que dans l'espace public physique.

Enfin, il nous paraît primordial que les personnes affectées par l'IA sans en être utilisatrices soient davantage prises en compte. Nous souhaitons que ces personnes disposent a minima d'une information intelligible sur leur exposition potentielle à des systèmes d'IA et qu'elles soient en mesure de signaler les éventuels usages abusifs ou performances défaillantes des systèmes d'IA aux régulateurs, aux fournisseurs ou aux utilisateurs.

M. André Gattolin, rapporteur. - Nos travaux ont également mis en exergue la nécessité de préciser les obligations pesant sur les fournisseurs.

Il nous semble tout d'abord essentiel de renforcer les exigences en matière de documentation sur les données exploitées par les systèmes d'IA, notamment les conditions de collecte et les éventuelles lacunes identifiées. Nous demandons également que les fournisseurs soient tenus de vérifier que ces données ont été acquises de manière licite et conforme à la réglementation européenne en matière de protection des données. J'insiste sur ce point. Lorsqu'on parle de qualité des jeux de données, on pense à une qualité intrinsèque ; or rien ne ressemble plus à une donnée acquise de manière licite et avec consentement qu'une donnée volée. Nos services de renseignement nous font régulièrement part de vols de données publiques ou parapubliques par une grande puissance internationale qui développe du machine learning, ce qui nécessite une importante masse de données. Le règlement ne précise pas ce point.

Plus généralement, l'articulation du règlement IA avec le règlement général sur la protection des données (RGPD) doit être explicitée. Nous invitons donc le Comité européen de la protection des données à élaborer des lignes directrices, afin de préciser le degré de souplesse avec laquelle le RGPD peut être interprété, dans le but de ne pas entraver le développement de l'IA en Europe. En parallèle, pour ne pas amoindrir le haut degré de protection dont jouissent les citoyens européens en ce qui concerne la protection de leurs données à caractère personnel, nous souhaitons qu'il soit clairement énoncé dans le règlement IA que celui-ci s'applique sans préjudice du RGPD, et que la conformité d'un système au règlement IA n'implique pas de facto sa conformité au RGPD.

Nous avons, mes chers collègues, assez longuement détaillé les garde-fous posés par le texte afin de protéger les droits fondamentaux des citoyens. Je souhaite aborder à présent les mesures de soutien à l'innovation puisque, comme nous l'avons indiqué en introduction, le règlement IA poursuit un double objectif : non seulement mieux protéger les citoyens, mais également renforcer la compétitivité européenne en matière d'IA.

Dans cette perspective, la proposition de règlement encourage les autorités nationales à mettre en place des bacs à sable réglementaires, qui offriraient « un environnement contrôlé pour mettre à l'essai des technologies novatrices sur une durée limitée », soit un cadre pour expérimenter. Nous estimons non seulement que le développement de ces bacs à sable réglementaires doit être encouragé, mais en plus que le caractère dérogatoire de ces facilités mériterait d'être renforcé.

Nous demandons par ailleurs que les modalités et conditions de fonctionnement des bacs à sable réglementaires, qui seront déterminées par la Commission par la voie d'actes d'exécution, soient soumises pour avis au Comité européen de l'intelligence artificielle. Nous souhaitons, en tout état de cause, que le fonctionnement de ces bacs à sable réglementaires soit aussi homogène que possible à travers les États membres, afin de garantir une concurrence équitable. Enfin, nous soutenons l'accès préférentiel aux bacs à sable réglementaires pour les petits acteurs et les start-up, souvent à la pointe de l'innovation.

Il importe que les États soient en mesure de veiller à la mise en oeuvre effective des différentes obligations énoncées, sans quoi le règlement restera lettre morte. À cet égard, nous regrettons que les moyens techniques et humains alloués aux autorités de contrôle nationales au sein de l'Union demeurent très hétérogènes, dans la mesure où cette situation pourrait faire obstacle à une application uniforme, donc efficace, du règlement sur l'IA.

À l'échelle nationale, nous recommandons la désignation de la Commission nationale de l'informatique et des libertés (Cnil) comme autorité compétente pour la surveillance de l'application du règlement, compte tenu de l'expertise acquise par cette autorité dans la régulation des systèmes d'IA impliquant des données à caractère personnel. Une telle désignation offrirait un cadre cohérent aux professionnels du numérique, en identifiant un interlocuteur unique et en permettant une régulation sectorielle fluide avec les différents acteurs impliqués.

À l'échelle européenne, le Comité européen de l'intelligence artificielle sera la cheville ouvrière de l'application du règlement IA ; or cette instance ne pourra remplir ses fonctions d'assistance aux États membres et de conseil à la Commission que si elle parvient à asseoir sa légitimité dans le secteur de l'IA.

Dans cette optique, nous demandons que la composition du Comité soit revue, afin d'intégrer des scientifiques et des praticiens de l'IA qui seraient en mesure, par leur assistance, de pallier les capacités et compétences insuffisantes de certains États membres en matière d'IA, de façon à garantir une mise en oeuvre effective et uniforme du règlement.

Nous appelons également à un accroissement des compétences consultatives du Comité et à un renforcement de son rôle prospectif. Nous souhaitons notamment que le Comité se voie explicitement accorder la possibilité de s'autosaisir de toute question pertinente en lien avec l'application du règlement sur l'IA, afin de formuler des recommandations ou des avis sans saisine préalable de la Commission. La reconnaissance d'un tel droit d'initiative constituerait un gage fort d'autonomie pour le Comité sur l'IA.

Nous partageons les objectifs de cette proposition de législation. Cependant, cette approche réglementaire de l'IA est nécessaire, mais pas suffisante, et doit être complétée par un soutien affirmé à l'investissement, à la formation et à l'élaboration des normes internationales dans le domaine de l'IA.

M. Jean-François Rapin, président. - Les géants du numérique et les centaines d'universitaires ayant demandé un moratoire ont-ils raison ?

M. André Gattolin, rapporteur. - Je ne suis jamais opposé aux moratoires, mais il faut s'interroger : alors que nous vivons une période de transformation rapide, quels sont ces acteurs qui demandent un moratoire ? Google n'est pas l'acteur d'internet le plus respectueux des régulations européennes. Il réalise plus de 50 % de son chiffre d'affaires avec son moteur de recherche. Or, il est menacé par l'émergence de ChatGPT et son utilisation sur Bing, le moteur de recherche de Microsoft : Google veut donc six mois supplémentaires pour riposter contre son concurrent.

M. Jean-François Rapin, président. - Que penser alors de la mobilisation des nombreux universitaires ?

M. André Gattolin, rapporteur. - L'IA est un concurrent redoutable pour les universitaires et les politiques. Le secteur universitaire se trouve déjà confronté à une abondance de publications, nécessaires pour avoir un bon ranking, notamment dans le classement de Shanghai. Or les comités de lecture et de validation sont de plus en plus tenus de publier rapidement les articles, pour une bonne rentabilité économique des revues. Mais cela ne va pas pouvoir se réguler au niveau européen, d'autant que la Chine a pris le dessus sur l'IA.

M. Jean-François Rapin, président. - En bref, certains veulent un moratoire pour gagner plus ou perdre moins...

Mme Catherine Morin-Desailly, rapporteure. - L'Union européenne s'est enfin saisie du sujet avec ces trois textes. La régulation est devenue nécessaire et sa mise au point peut impliquer une pause pour examiner davantage le sujet... Cette lettre ouverte témoigne de l'inquiétude généralisée sur la puissance transformatrice des nouvelles technologies. Prenons-la comme une alerte, un appel à la vigilance. Travaillons pour avoir des réglementations qui seront capables de s'adapter. En effet, lorsqu'une directive est votée, combien d'années faut-il attendre pour la rouvrir et la modifier ?

Nous avons essayé d'être sur une ligne de crête entre le développement de potentialités et la prévention des risques de l'IA. Les autorités doivent faire preuve d'une vigilance permanente.

M. André Reichardt. - Je me félicite du projet de règlement et de la proposition de résolution européenne dont je rejoins les différentes recommandations.

Je ferai deux observations.

Première observation, la protection des citoyens. J'ai été rapporteur pour la commission des lois sur le projet de loi de mise en oeuvre du règlement « lutte contre le terrorisme en ligne » l'été dernier, et corapporteur dans notre commission sur la proposition de réglementation pour lutter contre la pédopornographie en ligne. Désormais, nous débattons d'une proposition de résolution européenne sur l'intelligence artificielle. Il s'agit du même combat, auquel il faut les mêmes solutions : une meilleure régulation et une meilleure harmonisation des pratiques des autorités des différents États. Il faudra, à un moment, mettre de l'ordre dans tout cela. Il faut davantage contrôler le numérique.

J'ai le sentiment que la Commission européenne n'anticipe pas assez et se contente de suivre le mouvement. Une certaine usine à gaz se crée. Mettons tout à plat pour dégager des lignes de conduite.

Seconde observation, il faut favoriser l'innovation et l'Union européenne ne peut rester en retard. Comment protéger les citoyens face à une technologie éminemment évolutive ? Jusqu'où blinder pour éviter que l'obus ne nous traverse ? Les domaines d'activités cernés par le règlement et envisagés par la proposition de résolution européenne seront très vite dépassés par d'autres domaines auxquels nous n'avons pas pensé. Je crains que nous soyons toujours en retard, faute d'anticiper suffisamment.

Je suis totalement opposé à un moratoire, que les acteurs privés ne respecteront pas. Et la Chine ne nous attendra pas...

M. Pierre Ouzoulias. - Je remercie les rapporteurs pour leur travail de très grande qualité. Je partage totalement leurs observations.

L'IA est une intelligence de compilation : la machine n'invente rien, elle va rechercher les informations, les classe et fait remonter celles qui sont les plus présentes. La véritable intelligence, c'est celle qui crée et donc qui n'est pas reconnue par l'IA - je doute que le premier article d'Einstein sur la relativité restreinte puisse être remonté par l'algorithme de l'IA.

Les conséquences pour les méthodes d'apprentissage sont gigantesques. Ancien professeur à l'université, je proposais à mes étudiants de licence deux examens : pour le premier, ils arrivaient en classe avec tout leur cours et je notais uniquement leur argumentation. Pour le second, ils laissaient leur cours à la maison et je notais aussi le contenu. Tous les étudiants préféraient la deuxième solution, plus simple. Avec ChatGPT, la seconde solution n'existera plus, puisque, lors d'un partiel, l'étudiant pourra récupérer ce qu'il a demandé à ChatGPT.

Il faut transformer complètement les méthodes d'apprentissage et les formes d'examen en notant de façon beaucoup plus importante la structuration de l'esprit, l'innovation. C'est un changement radical dans les façons d'enseigner. Il faut aussi développer l'esprit critique.

L'IA, c'est la dictature de la tautologie. La machine répète tout ce que tout le monde dit déjà ; je ne suis pas sûr que cela puisse être un puissant ferment d'innovation. Nous avons besoin d'intelligence naturelle pour sortir des paradigmes de la répétition de l'IA.

Je suis par ailleurs très sensible aux passages de cette PPRE relatifs aux droits des individus. J'estime qu'en la matière, il nous faut revenir à l'article 15 de la Déclaration des droits de l'homme et du citoyen : « La société a le droit de demander compte à tout agent public de son administration. »

Nous devons garantir aux citoyens le droit de savoir comment une décision qui s'impose à eux a été traitée par l'intelligence artificielle. Contre qui les citoyens pourront-ils se retourner pour contester une décision ? Est-ce l'algorithme, la personne qui l'a conçu ou celle qui l'a utilisé qui est responsable ?

M. Louis-Jean de Nicolaÿ. - Je comprends que l'Europe se saisisse du sujet, mais il sera sans doute difficile de faire appliquer une réglementation européenne dans un contexte mondialisé.

S'agissant de la lutte contre la cybercriminalité, l'Union parlementaire avait fait le constat que l'organisation des Nations unies devait être partie prenante des décisions qui pourraient être prises. De même, en matière d'intelligence artificielle, si nous voulons viser une efficacité mondiale, il importe que les travaux des différents comités européens soient communiqués aux Nations unies.

M. Jacques Fernique. - La volonté européenne de réguler l'intelligence artificielle est une évolution positive, et les points de vigilance pointés par la PPRE sont utiles. Si mon groupe approuve en grande partie la rédaction proposée, je suis toutefois en désaccord avec les points 62 et 64, qui concernent les migrations et la répression, dont je propose la suppression.

En juin, la Défenseure des droits avait alerté sur la nécessité de respecter le principe de non-discrimination et appelé à ce que des études d'impact sur les droits humains soient menées à intervalles réguliers tout au long du cycle de vie de ces systèmes d'intelligence artificielle. Il convient en particulier de s'assurer que des mécanismes de recours en cas de violation des droits des personnes résultant de l'utilisation de ces systèmes soient établis dans tous les pays.

Les systèmes d'intelligence artificielle utilisés dans le domaine des migrations sont classés « à haut risque », alors que certains, notamment l'identification biométrique à distance, l'usage des drones ou les systèmes d'analyse prédictive des flux de migration, qui pourraient se heurter au droit d'asile, relèvent selon moi du « risque inacceptable ».

Je crains par ailleurs que la rédaction proposée crée un double standard en matière de droits humains. C'est pourquoi je propose de modifier la rédaction du point 28 de manière à préciser qu'il convient de ne pas amoindrir les droits fondamentaux, non seulement des Européens, mais de l'ensemble des personnes.

Concernant le secteur répressif, enfin, le point 62 pourrait ouvrir la porte à des abus.

Mme Valérie Boyer. - Comment rendre des copies innovantes si l'on ne dispose pas d'un minimum de connaissances ? À défaut d'un socle d'apprentissages fondamentaux, n'assisterons-nous pas à un abaissement du niveau des connaissances ?

Dans un contexte mondialisé, les bons sentiments ne suffiront pas à garantir l'application des mesures proposées. Comment s'assurer de leur efficacité ?

M. André Gattolin, rapporteur. - Afin d'assurer une meilleure régulation et de pallier la fixité de toute taxonomie, nous proposons d'élargir le Comité sur l'intelligence artificielle à des scientifiques et à des praticiens dotés d'un droit d'autosaisine. Plus agile et réactif, ce comité pourra prendre en compte les innovations et requalifier les risques sans attendre d'être saisi. Nous observons par exemple que la frontière entre les technologies civiles et militaires évolue rapidement.

En l'absence de règles internationales, nous estimons que l'édiction de règles européennes est une première étape pour commencer à dialoguer avec les pays de l'OCDE, avant d'envisager, dans un second temps, des négociations qui seront nécessairement plus âpres avec des pays comme la Chine et la Russie.

J'en viens aux impacts de l'intelligence artificielle sur les savoirs. De fait, nous n'enseignons pas de la même manière qu'il y a vingt ans, quand les élèves n'étaient pas équipés de micro-ordinateurs. Il est clair que les changements qui vont intervenir ne seront pas sans effet sur le développement cognitif et qu'il faudra sans doute insister sur la propédeutique. Pour autant, j'estime que l'interdiction n'est pas une solution et qu'il faut nous adapter au développement de l'intelligence artificielle.

Mme Elsa Schalck, rapporteure. - J'estime qu'en dépit des nombreuses interrogations que cela suscite - ce qui, compte tenu du champ très vaste que recouvre l'intelligence artificielle, est tout à fait normal -, il est nécessaire d'adopter une réglementation. Celle-ci doit permettre de trouver un équilibre entre le respect des droits fondamentaux et la protection des citoyens, mais elle doit également encourager l'innovation et la formation.

Nous préconisons par ailleurs la désignation de la Commission nationale de l'informatique et des libertés (Cnil) comme autorité compétente pour la surveillance de l'application du règlement sur l'intelligence artificielle à l'échelon national. Nous estimons en effet que les compétences et l'expertise que la Cnil a acquises au fil des années lui permettront de s'acquitter de cette mission de contrôle, mais aussi de répondre au besoin de cohérence entre les différents acteurs.

Mme Catherine Morin-Desailly, rapporteure. - J'estime qu'il faut réaffirmer l'exigence d'un socle de savoirs et d'apprentissages fondamentaux, en dehors de toute technologie. Les recherches menées sur l'impact des nouvelles technologies sur les processus cognitifs sont trop peu nombreuses.

Je regrette, comme André Reichardt, le manque d'harmonisation et parfois de cohérence entre des textes dont les champs sont connexes.

La PPRE précise bien que la régulation doit s'accompagner d'une politique industrielle et d'innovation extrêmement ambitieuse à l'échelon européen. L'ère de la naïveté est terminée. Par l'Inflation Reduction Act, les États-Unis ont investi 348 milliards d'euros dans l'innovation. Il nous faut nous aussi investir massivement, notamment dans l'IA, et construire nos systèmes souverains.

En complément à ce qu'a indiqué André Gattolin sur la composition du comité, j'ajoute que l'Annexe III, qui porte sur les applications à haut risque, précise que ce règlement pourra être modifié par acte délégué afin de l'adapter aux évolutions et innovations.

J'en viens aux propositions de modification de Jacques Fernique.

En ce qui concerne l'alinéa 28, je vous propose, mon cher collègue, de supprimer les mots « des Européens » après les mots « droits fondamentaux », de remplacer le mot « ils » avant le mot « jouissent » par les mots « les Européens ». Une telle rédaction me paraît de nature à affirmer l'ambition d'une protection des droits fondamentaux pour toute personne.

Il en est ainsi décidé.

Pour ce qui concerne l'alinéa 62, je précise que la Cour de justice de l'Union européenne veillera aux « garanties appropriées pour la protection des droits fondamentaux » en cas d'utilisation des systèmes d'IA par les autorités répressives. En tout état de cause, je ne suis pas favorable à la suppression de ce point.

L'alinéa 62 est maintenu.

Enfin, l'alinéa 64 introduit une disposition pragmatique. Il ne s'agit pas de supprimer le contrôle humain, mais le double contrôle qui imposerait un doublement des effectifs et qui, de l'avis des services du ministère de l'intérieur, n'est pas très opérant.

M. Jacques Fernique. - Dans ce cas, il serait préférable d'affirmer que l'on impose un contrôle humain.

Mme Catherine Morin-Desailly, rapporteure. - Je vous propose de remplacer les mots « ne soit pas soumise à l'exigence d'un double contrôle humain, onéreuse et peu opérante du point de vue de la protection des droits fondamentaux » par les mots « soit soumise à un contrôle humain mais non pas double, ce qui serait onéreux et peu opérant du point de vue de la protection des droits fondamentaux  ».

Il en est ainsi décidé.

J'ajoute que l'Agence des droits fondamentaux de l'Union européenne, que nous avons interrogée, nous a indiqué que l'IA avait également des effets positifs sur la gestion des flux migratoires et des demandes d'asile. Je vous renvoie sur ce point à notre rapport.

M. André Gattolin, rapporteur. - Le recours à l'IA permet notamment de réduire les délais de traitement.

La commission autorise la publication du présent rapport d'information et adopte la proposition de résolution européenne dans la rédaction issue de ses travaux, disponible en ligne sur le site internet du Sénat, ainsi que l'avis politique qui en reprend les termes et qui sera adressé à la Commission européenne.

PROPOSITION DE RÉSOLUTION EUROPÉENNE

relative à la proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l'intelligence artificielle et modifiant certains actes législatifs de l'Union COM(2021) 206 final

Le Sénat,

Vu l'article 88-4 de la Constitution,

Vu le traité sur l'Union européenne, en particulier ses articles 4, 10 et 26,

Vu le traité sur le fonctionnement de l'Union européenne, en particulier ses articles 16 et 114,

Vu la Charte des droits fondamentaux de l'Union européenne, 2000/C 364/01, en particulier ses articles 7, 8, 20 et 21,

Vu la convention de sauvegarde des droits de l'Homme et des libertés fondamentales, en particulier ses articles 6, 8, 13 et 14 et le protocole n° 12,

Vu la convention du Conseil de l'Europe pour la protection des personnes à l'égard du traitement automatisé des données à caractère personnel du 28 janvier 1981 et son protocole additionnel du 8 novembre 2001 (« Convention 108 + »), notamment son article 6,

Vu le règlement du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation des données, abrogeant la directive 95/46/CE, dit règlement général sur la protection des données - RGPD,

Vu la décision (UE) 2022/2481 du Parlement européen et du Conseil du 14 décembre 2022 établissant le programme d'action pour la décennie numérique à l'horizon 2030,

Vu la proposition de règlement du Parlement européen et du Conseil du 21 avril 2021 établissant des règles harmonisées concernant l'intelligence artificielle (législation sur l'intelligence artificielle) et modifiant certains actes législatifs de l'Union, COM(2021) 206 final,

Vu l'orientation générale du Conseil sur ladite proposition de règlement, adoptée le 25 novembre 2022, 14954/22,

Vu la proposition de directive du Parlement européen et du Conseil du 28 septembre 2022 relative à l'adaptation des règles en matière de responsabilité civile extracontractuelle au domaine de l'intelligence artificielle (Directive sur la responsabilité en matière d'IA), COM(2022) 496 final,

Vu la communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions du 25 avril 2018, intitulée « L'intelligence artificielle pour l'Europe », COM(2018) 237 final,

Vu la communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions du 19 février 2020, intitulée « Façonner l'avenir numérique de l'Europe », COM(2020) 67 final,

Vu la communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions du 9 mars 2021, intitulée « Une boussole numérique pour 2030 : l'Europe balise la décennie numérique », COM(2021) 118 final,

Vu la communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions du 21 avril 2021, intitulée « Favoriser une approche européenne en matière d'intelligence artificielle », COM(2021) 205 final,

Vu la communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions du 26 janvier 2022 établissant une déclaration européenne sur les droits et principes numériques pour la décennie numérique, COM(2022) 27 final,

Vu la Déclaration européenne sur les droits et principes numériques pour la décennie numérique, publiée le 23 janvier 2023,

Vu le Livre blanc du 19 février 2020 intitulé « Intelligence artificielle. Une approche européenne axée sur l'excellence et la confiance », COM(2020) 65,

Vu l'avis conjoint 05/2021 du Contrôleur européen de la protection des données et du Comité européen de la protection des données du 18 juin 2021,

Vu la résolution du Parlement européen du 20 octobre 2020 concernant un cadre pour les aspects éthiques de l'intelligence artificielle, de la robotique et des technologies connexes, 2020/2012(INL),

Vu la résolution du Parlement européen du 20 octobre 2020 sur le régime de responsabilité civile pour l'intelligence artificielle, 2020/2014(INL),

Vu le rapport d'information du Sénat n° 279 (2018-2019) de MM. André GATTOLIN, Claude KERN, Cyril PELLEVAT et Pierre OUZOULIAS, fait au nom de la commission des affaires européennes, intitulé Intelligence artificielle : l'urgence d'une ambition européenne, déposé le 31 janvier 2019,

Vu le rapport d'information du Sénat n° 627 (2021-2022) de MM. Marc-Philippe DAUBRESSE, Arnaud de BELENET et Jérôme DURAIN, fait au nom de la commission des lois, intitulé La reconnaissance biométrique dans l'espace public : 30 propositions pour écarter le risque d'une société de surveillance, déposé le 10 mai 2022,

Vu la résolution européenne du Sénat n° 76 (2018-2019) du 8 mars 2019 sur les investissements dans l'intelligence artificielle en Europe,

Vu la résolution européenne du Sénat n° 138 (2021-2022) du 22 juillet 2022 sur le programme d'action numérique de l'Union européenne à l'horizon 2030,

Considérant l'importance cruciale des technologies numériques, et en particulier le rôle croissant joué par les technologies d'intelligence artificielle, dans tous les aspects économiques, sociaux, sociétaux et environnementaux, notamment pour la compétitivité des entreprises, l'efficacité des services publics, la sécurité et le bien-être de nos sociétés ;

Considérant que ce processus de numérisation et de diffusion de l'intelligence artificielle ne doit en aucun cas amoindrir la protection des droits fondamentaux, y compris le haut niveau de protection des données à caractère personnel dont les Européens jouissent actuellement, et que ces technologies doivent être au service des personnes et soumises aux valeurs, principes et droits fondamentaux de l'Union européenne ;

Considérant les risques que posent les technologies d'intelligence artificielle pour le respect de la vie privée et la protection des données à caractère personnel, la sécurité des données et la non-discrimination au regard du genre, de l'origine ethnique, de l'âge, de la religion, de l'opinion mais aussi du statut économique ;

Considérant néanmoins les applications positives que peut recevoir l'intelligence artificielle (IA) dans le domaine de la protection des droits fondamentaux ;

Considérant que l'opacité inhérente aux systèmes d'IA constitue une entrave inédite à l'information des utilisateurs ou à la capacité des organismes de contrôle à exercer leurs missions ;

Considérant l'absence de définition universellement acceptée des systèmes d'intelligence artificielle ;

Considérant que l'Europe ne pourra tirer pleinement parti des potentialités économiques et sociétales de l'IA, que grâce à une meilleure sécurité juridique entourant son déploiement, ce qui passe par l'élaboration de règles claires, précises et compréhensibles par tous ;

Considérant que la rapidité des évolutions technologiques et d'usages de l'IA nécessite de pouvoir ajuster à intervalles réguliers le cadre juridique applicable ;

Considérant l'intensité de la concurrence mondiale dans le secteur de l'IA et l'impératif d'assurer la capacité de l'Union à y faire face ;

Considérant que, pour atteindre ses objectifs en matière numérique, notamment en matière de sécurité et de protection des droits fondamentaux, l'Union européenne doit assortir son approche par la régulation d'un soutien à la transition numérique, qui permette le développement d'une offre véritablement européenne lui garantissant une totale souveraineté dans tous les aspects de son développement numérique ;

Considérant qu'une répartition équilibrée des prérogatives entre la Commission et les autorités nationales de contrôle constitue un prérequis indispensable à une régulation efficace du secteur de l'IA ;

Sur le principe du règlement 

Accueille favorablement la volonté de la Commission européenne de mettre en place une réglementation horizontale harmonisée de l'intelligence artificielle, au niveau européen, et de la faire entrer en vigueur le plus tôt possible ;

Se félicite que soient soumis aux obligations établies par le règlement l'ensemble des fournisseurs ciblant le marché européen, même établis dans un États tiers, et que des obligations subsidiaires soient établies pour les importateurs et les distributeurs de systèmes d'IA ;

Appelle à ce que les fournisseurs de systèmes d'IA à usage générique soient également soumis à des obligations spécifiques au titre du présent règlement, au regard de l'utilisation de plus en plus fréquente de ces systèmes et des risques qu'ils sont susceptibles de faire encourir ;

Soutient l'établissement d'une liste de pratiques interdites en matière d'IA, ainsi que de pratiques « à haut risque », au regard de la menace qu'elles représentent pour les droits fondamentaux ;

Regrette que la proposition ne traite pas spécifiquement des risques de surveillance de masse qui découlent de la collecte et du traitement par des algorithmes d'intelligence artificielle, par de grandes compagnies privées, d'un nombre considérable de données à caractère personnel et non personnel ;

Sur la définition des systèmes d'IA

Estime abusive la possibilité ouverte à la Commission de recourir à des actes délégués, ultérieurement à l'entrée en vigueur du règlement, pour modifier les techniques et approches listées dans l'annexe I comme caractérisant un système d'IA ;

Suggère que soit directement incluse dans le règlement la définition des systèmes d'IA telle qu'établie par l'Organisation de coopération et de développement économiques (OCDE), technologiquement neutre et ainsi moins sujette à obsolescence ;

Sur les systèmes d'IA « à haut risque » 

Souligne la nécessité de pouvoir compléter la liste des systèmes à haut risque en fonction des évolutions de technologies et d'usages ;

Souhaite que les modifications apportées à la liste des systèmes à haut risque puissent être au préalable soumises à un examen attentif de scientifiques et de praticiens de l'IA, en se fondant sur des éléments objectifs et documentés, par exemple dans le cadre du futur Comité européen de l'intelligence artificielle ;

Préconise de qualifier plus précisément les systèmes à haut risque visés à l'annexe III, afin d'en délimiter le champ avec justesse et de prévenir tout risque de surconformité, qui serait préjudiciable au développement économique européen de l'IA ;

Demande que soient classés dans les applications à haut risque les systèmes d'IA susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables, en particulier des enfants ; susceptibles d'avoir un impact direct sur l'état de santé des personnes ; utilisés pour déterminer les primes d'assurance ; utilisés pour évaluer des traitements médicaux ou à des fins de recherche médicale ; composantes d'applications de santé et de bien-être ; destinés à établir des priorités dans l'envoi des services de police ;

Appelle à la prise en compte, dans la définition des systèmes d'IA à haut risque, des risques systémiques, c'est-à-dire concernant les individus dans leur ensemble ; souhaite en particulier que soient incluses dans la liste des systèmes d'IA à haut risque les applications susceptibles de causer des préjudices environnementaux ainsi que les algorithmes de recommandations de contenus visant à maximiser le temps passé par les utilisateurs sur les réseaux sociaux, en promouvant les contenus de désinformation et les contenus clivants ;

Préconise la création d'un registre public des organismes ou autorités publics utilisant des systèmes d'IA à haut risque, afin que les citoyens soient parfaitement informés des processus décisionnels associés à l'usage des technologies d'IA par le secteur public, sauf dans les cas où une telle transparence serait de nature à mettre en péril l'action des autorités répressives ;

Sur les pratiques interdites en matière d'IA

Considère que les pratiques en matière d'IA interdites pour le secteur public devraient l'être également pour le secteur privé ;

Appelle à l'interdiction des pratiques susceptibles d'exploiter les éventuelles vulnérabilités économiques et sociales d'un groupe de personnes et risquant d'entraîner un préjudice social ou économique ;

Appelle à l'interdiction générale des systèmes de reconnaissance des émotions ; des systèmes de notation sociale ; des systèmes ayant pour objet la catégorisation des personnes dans l'espace public ; des systèmes visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles ;

Estime que l'interdiction des systèmes d'identification biométrique à distance dans l'espace public devrait ne pas concerner exclusivement ceux permettant une telle identification en temps réel ;

Sur les systèmes d'IA utilisés par les forces de sécurité et les autorités répressives 

Soutient l'exclusion du champ d'application du règlement des systèmes d'IA développés ou utilisés à des fins militaires, y compris les systèmes d'IA duaux ;

Appelle à l'exclusion du champ d'application du règlement les systèmes d'IA développés ou utilisés aux fins d'activités ayant trait à la défense et à la sécurité nationale ;

Estime que, sous réserve de garanties appropriées pour la protection des droits fondamentaux, des aménagements doivent être apportés aux règles régissant l'utilisation des systèmes d'IA par les autorités répressives, afin de préserver leurs capacités d'action ;

Considère notamment qu'en matière de transparence, le cadre juridique applicable aux systèmes d'IA utilisés par les autorités répressives doit tenir compte de la nécessité de respecter la confidentialité de certaines données opérationnelles sensibles ;

Souhaite que, dans le secteur répressif et celui de la gestion des migrations, de l'asile et des contrôles aux frontières, l'exploitation des résultats obtenus à l'aide de systèmes d'identification biométrique à distance soit soumise à l'exigence d'un contrôle humain, mais non pas double, ce qui serait onéreux et peu opérant du point de vue de la protection des droits fondamentaux ;

Invite à mieux définir les critères permettant d'activer les exceptions prévues à l'interdiction des systèmes d'identification biométrique à distance « en temps réel » par les autorités répressives, afin de prévenir toute dérive en ce domaine ;

Préconise, dans un contexte marqué par le développement du métavers, d'intégrer la notion d'espace public virtuel, afin qu'y soient appliquées les mêmes restrictions en matière d'usage de l'IA que dans l'espace public physique ;

Sur les obligations pesant sur les fournisseurs 

Souhaite que soit généralisée l'évaluation par des tiers de la conformité des systèmes d'IA ;

Appelle à mieux prendre en compte, dans cette évaluation de conformité, l'action de l'ensemble des acteurs intervenant dans la conception et la mise en oeuvre des systèmes d'IA, en particulier les utilisateurs, compte tenu du fait que les risques pour la sécurité ou les droits fondamentaux peuvent découler tant de la conception que des conditions et modalités de mise en oeuvre des systèmes d'IA ;

Invite à mieux caractériser l'obligation faite aux fournisseurs de dresser la liste de toutes les mauvaises utilisations prévisibles d'un système ;

Considère que l'obligation de gestion et d'atténuation des risques par les fournisseurs doit être circonscrite aux risques identifiés ;

Souhaite que préalablement à l'utilisation de toutes données à caractère personnel ou non personnel, obligation soit faite aux fournisseurs de vérifier que ces dernières ont été obtenues de manière licite et conforme à la réglementation européenne en matière de protection des données ;

Appelle en conséquence à un renforcement des exigences relatives à la documentation afférente aux jeux de données utilisés pour l'entraînement des systèmes, qu'il s'agisse des conditions de collecte ou des éventuelles lacunes identifiées ;

Estime nécessaire de garantir une meilleure protection des personnes susceptibles d'être affectées par l'IA sans en être directement utilisatrices, au sens du règlement ;

Demande dans ce cadre la mise à disposition par les fournisseurs et les utilisateurs de systèmes d'IA d'une information intelligible et accessible à tous, garantissant que les personnes exposées à un système d'IA puissent en être systématiquement informées ;

Préconise de réfléchir à l'élaboration d'un mécanisme d'alerte permettant aux personnes affectées par les systèmes d'IA de signaler aux régulateurs, aux fournisseurs ou aux utilisateurs les éventuels usages abusifs ou performances défaillantes des systèmes d'IA, ainsi que les manquements constatés aux règles établies par le règlement européen sur l'IA, y compris dans le cas où ces derniers n'entraîneraient pas de préjudice direct et immédiat pour la personne affectée ;

Sur l'articulation avec le règlement général sur la protection des données (RGPD) 

Souhaite que le règlement sur l'IA s'applique sans préjudice du RGPD et que ceci soit explicitement précisé dans le règlement ;

Rappelle que la conformité d'un système d'IA au règlement sur l'IA n'implique pas automatiquement sa conformité au RGPD et réciproquement ;

Recommande l'édiction, par le Comité européen de la protection des données ou, à défaut, par les autorités nationales de protection des données, de lignes directrices relatives à l'articulation entre le règlement sur l'IA et le RGPD, permettant notamment d'expliciter le degré de souplesse avec lequel ce dernier peut être interprété dans le contexte du développement de l'IA en Europe ;

Soutient la possibilité pour les fournisseurs de traiter de catégories particulières de données à caractère personnel, dans le but de lutter contre les biais et le caractère potentiellement discriminatoire du fonctionnement de certains systèmes d'IA, sous le contrôle des autorités nationales de protection des données ;

Rappelle néanmoins que cette dérogation doit être suffisamment encadrée pour prémunir contre tout risque d'utilisation détournée de ces données sensibles, notamment à des fins commerciales ;

Sur le soutien à l'innovation

Accueille favorablement toute initiative européenne visant à soutenir le développement de l'IA dans le cadre des règles européennes existantes et à venir ;

Relève l'inadéquation de l'obligation d'évaluation de la conformité ex ante avec la dynamique de recherche produit qui nécessite un va-et-vient entre le développement en milieu fermé et le marché ;

Soutient fortement la mise en place de bacs à sables réglementaires ;

Souhaite que leur fonctionnement soit aussi homogène que possible à travers les États membres, afin d'encourager l'innovation ;

Approuve l'octroi d'un accès préférentiel des petits acteurs et startups auxdits bacs à sable réglementaires ;

Recommande que les modalités et les conditions de mise en place et de fonctionnement desdits bacs à sable réglementaires soient soumises pour avis au Comité européen de l'intelligence artificielle ;

Souligne également l'importance pour l'Union et ses États membres de s'engager au sein des instances de normalisation internationales, afin d'y promouvoir des normes ambitieuses en matière de robustesse, de cybersécurité et de protection des droits fondamentaux ;

Appelle, en complément des évolutions législatives et réglementaires proposées, à la mise en oeuvre d'une politique industrielle ambitieuse dans le secteur numérique, passant notamment par la mobilisation des investissements nécessaires, afin de permettre le développement d'une offre européenne souveraine en matière d'intelligence artificielle ;

Sur le contrôle de l'application du règlement

Relève le caractère hétérogène des moyens techniques et humains alloués aux autorités de contrôle nationales au sein de l'Union et souligne les difficultés qu'une telle situation pourrait poser s'agissant de l'application uniforme du règlement ;

Rappelle que le soutien à la mise en oeuvre du règlement et le contrôle de celle-ci nécessiteront des moyens importants de la part des autorités de contrôle européennes et nationales, et appelle à anticiper la mise à disposition de ces moyens, compte tenu des risques pour les droits fondamentaux causés par le déploiement de systèmes d'IA non conformes ;

Recommande la désignation de la commission nationale de l'informatique et des libertés (CNIL) comme autorité compétente pour la surveillance de l'application du règlement sur l'IA, hors cas spécifiques prévus par le règlement ;

Appelle à expliciter que le respect de la propriété intellectuelle et le secret des affaires impliquent, de la part des autorités de régulation, une obligation de non divulgation des données dont elles ont ainsi connaissance et non un droit d'opposition des entreprises concernées à l'accès de ces autorités à leurs données ;

Sur la gouvernance 

Souligne le rôle crucial du Comité européen de l'intelligence artificielle créé par le règlement pour garantir une coopération efficace des États membres en matière d'IA, condition sine qua non d'une application uniforme et cohérente du présent règlement au sein de l'Union ;

Rappelle que le Comité européen de l'intelligence artificielle ne pourra remplir ses fonctions d'assistance aux États membres et de conseil à la Commission que s'il bénéficie d'un degré d'autonomie suffisant ;

Recommande à cet effet de revoir la composition de ce Comité, pour y inclure notamment des scientifiques et des praticiens de l'IA, capables de produire des expertises techniques et de fournir des conseils opérationnels dans des délais restreints ;

Appelle à un renforcement des compétences consultatives du Comité, garantissant qu'il soit étroitement associé aux modifications apportées au règlement ultérieurement à son adoption, a fortiori quand elles se rapportent à la liste des applications à haut risque figurant à l'annexe III ;

Souhaite que soit octroyé au Comité un droit d'initiative, lui permettant de formuler des avis et recommandations sans saisine préalable de la Commission, dans le but de renforcer le caractère prospectif de ses travaux ;

Préconise un approfondissement des liens entre le Comité et l'ensemble des acteurs de l'écosystème de l'IA, afin de garantir une bonne intégration de cette nouvelle instance dans cet écosystème, par le biais notamment de consultations périodiques ;

Invite le Gouvernement à faire valoir cette position dans les négociations au Conseil.

LISTE DES PERSONNES ENTENDUES ET CONTRIBUTIONS ÉCRITES

Instances européennes

Commission européenne

M. Gabriele MAZZINI, chef du service de l'unité A2 (Artificial Intelligence Policy Development and Coordination) à la DG CONNECT

Agence des droits fondamentaux de l'Union européenne

Mme Elise LASSUS, chercheuse

M. Tamas MOLNAR, chercheur

Conseil de l'Europe

M. Thomas SCHNEIDER, président du Comité sur l'intelligence artificielle

Services de l'État

Direction générale des entreprises (ministère de l'économie et des finances)

M. Mathieu WEILL, chef du service de l'économie numérique

Mme Emmanuelle LEGRAND, chargée de mission, chargée de la négociation de la proposition de législation européenne sur l'intelligence artificielle

Ministère de l'intérieur

M. Jean-Martin JASPERS, préfet, délégué ministériel à l'IA

M. Patrick PERROT, coordonnateur pour l'IA dans la gendarmerie

M. Julien PLUBEL, juriste, direction des affaires européennes et internationales

M. Eric TIQUET, sous-directeur « Innovation et transformation numérique »

Direction interministérielle du numérique (DINUM)

Mme Laure LUCCHESI, responsable du développement Etalab

M. Paul-Antoine CHEVALIER, responsable du pôle exploitation de données et du Lab IA

Représentation permanente de la France auprès de l'Union européenne

M. Mickaël REFFAY, conseiller numérique

M. Renaud VEDEL, coordonnateur national pour l'intelligence artificielle

Autorité de régulation

Commission nationale de l'informatique et des libertés (CNIL)

M. Bertrand PAILHES, directeur des technologies et de l'innovation

Syndicats professionnels

France Digitale

Mme Julia Fénart, directrice des affaires publiques européennes

Organisations non gouvernementales (ONG)

European Digital Rights (EDRi)

Mme Claire Fernandez, directrice exécutive

Bureau européen des unions de consommateurs (BEUC)

M. Frederico Oliveira Da Silva, conseiller juridique

Experts

Mme Laurence DEVILLERS, professeur en intelligence artificielle au LIMSI-CNRS

* 1 Communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions « L'intelligence artificielle pour l'Europe », COM(2018) 237, complétée par une communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions « Un plan coordonné dans le domaine de l'intelligence artificielle », COM(2018) 795. Ce texte avait fait l'objet d'une résolution du Sénat (résolution européenne du Sénat n° 76 (2018-2019) du 8 mars 2019 sur les investissements dans l'intelligence artificielle en Europe), et avait donné lieu à un rapport d'information, fait au nom de la commission des affaires européennes par MM. André GATTOLIN, Claude KERN, Cyril PELLEVAT et Pierre OUZOULIAS (rapport d'information du Sénat n° 279 (2018-2019), fait au nom de la commission des affaires européennes, intitulé Intelligence artificielle : l'urgence d'une ambition européenne, déposé le 31 janvier 2019). La proposition de législation est accompagnée d'un nouveau plan de coordination européen en matière d'IA (communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions du 21 avril 2021, intitulée « Favoriser une approche européenne en matière d'intelligence artificielle », COM(2021) 205).

* 2 Règlement (UE) 2022/1925 du Parlement européen et du Conseil du 14 septembre 2022 relatif aux marchés contestables et équitables dans le secteur numérique et modifiant les directives (UE) 2019/1937 et (UE) 2020/1828 (règlement sur les marchés numériques).

* 3 Règlement (UE) 2022/2065 du Parlement européen et du Conseil du 19 octobre 2022 relatif à un marché unique des services numériques et modifiant la directive 2000/31/CE (règlement sur les services numériques).

* 4 Proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l'intelligence artificielle (législation sur l'intelligence artificielle) et modifiant certains actes législatifs de l'Union, COM(2021) 206.

* 5 Communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions « L'intelligence artificielle pour l'Europe », COM(2018) 237, complétée par une communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions « Un plan coordonné dans le domaine de l'intelligence artificielle », COM(2018) 795. Ce texte avait fait l'objet d'une résolution du Sénat (résolution européenne du Sénat n° 76 (2018-2019) du 8 mars 2019 sur les investissements dans l'intelligence artificielle en Europe), et avait donné lieu à un rapport d'information, fait au nom de la commission des affaires européennes par MM. André GATTOLIN, Claude KERN, Cyril PELLEVAT et Pierre OUZOULIAS (rapport d'information du Sénat n° 279 (2018-2019), fait au nom de la commission des affaires européennes, intitulé Intelligence artificielle : l'urgence d'une ambition européenne, déposé le 31 janvier 2019).La proposition de législation est accompagnée d'un nouveau plan de coordination européen en matière d'IA (communication de la Commission au Parlement européen, au Conseil européen, au Conseil, au Comité économique et social européen et au Comité des régions du 21 avril 2021, intitulée « Favoriser une approche européenne en matière d'intelligence artificielle », COM(2021) 205).

* 6 Livre blanc « Intelligence artificielle. Une approche européenne axée sur l'excellence et la confiance », COM(2020) 65.

* 7 Règlement (UE) 2022/1925 du Parlement européen et du Conseil du 14 septembre 2022 relatif aux marchés contestables et équitables dans le secteur numérique et modifiant les directives (UE) 2019/1937 et (UE) 2020/1828 (règlement sur les marchés numériques).

* 8 Règlement (UE) 2022/2065 du Parlement européen et du Conseil du 19 octobre 2022 relatif à un marché unique des services numériques et modifiant la directive 2000/31/CE (règlement sur les services numériques).

* 9 Chiffre cité par M. Renaud Vedel lors de son audition.

* 10 Décision (UE) 2022/2481 du Parlement européen et du Conseil du 14 décembre 2022 établissant le programme d'action pour la décennie numérique à l'horizon 2030.

* 11 Le Sénat a adopté en juillet 2022 une résolution européenne sur ce texte : résolution européenne du Sénat n° 138 (2021-2022) du 22 juillet 2022 sur le programme d'action numérique de l'Union européenne à l'horizon 2030.

* 12 Article 3, 1. e).

* 13 Article 4, 1. 3) a).

* 14 Rapport d'information du Sénat n° 279 (2018-2019) du 31 janvier 2019 et résolution européenne du Sénat n° 76 (2018-2019) du 8 mars 2019, cités supra.

* 15 “Artificial intelligence, blockchain and the future of Europe. How disruptive technologies create opportunities for green and digital economy”, p. 39.

* 16 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation des données, abrogeant la directive 95/46/CE.

* 17 Chapitre III.

* 18 Proposition de directive du Parlement européen et du Conseil du 3 octobre 2022 relative à l'adaptation des règles en matière de responsabilité civile extracontractuelle au domaine de l'intelligence artificielle, COM(2022) 496 final.

* 19 Rapport Bien préparer l'avenir. L'intelligence artificielle et les droits fondamentaux, Agence des droits fondamentaux de l'Union européenne, 2021.

* 20 Même si les systèmes d'IA par apprentissage supervisé, avec des données annotées, peuvent également engendrer des biais, ces derniers sont plus facilement repérables et objectivables.

* 21 Selon l'expression employée par la CNIL.

* 22 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation des données, abrogeant la directive 95/46/CE.

* 23 Au sens de l'article 9 du RGPD.

* 24 Au sens de la décision-cadre 2002/584/JAI du Conseil du 13 juin 2002 relative au mandat d'arrêt européen et aux procédures de remise entre États membres.

* 25 Les produits concernés et législations afférentes sont listés à l'annexe II de la proposition de règlement.

* 26 Les conditions de cette extension sont précisées à l'article 7 de la proposition. Les systèmes d'IA qui pourront être ajoutés à la liste des systèmes à haut risque devront notamment présenter un risque de préjudice pour la santé et la sécurité ou un risque d'incidence négative sur les droits fondamentaux équivalent ou supérieur au risque présenté par les systèmes d'IA déjà présents dans la liste de l'annexe III, au regard de la gravité et de la probabilité d'occurrence desdits risques.

* 27 Les systèmes d'IA sont définis à l'article 3 (1) de la proposition de règlement comme « un logiciel qui est développé au moyen d'une ou plusieurs des techniques et approches énumérées à l'annexe I et qui peut, pour un ensemble donné d'objectifs définis par l'homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit », l'annexe I visant, au titre des techniques et approches d'intelligence artificielle, les approches « d'apprentissage automatique, y compris d'apprentissage supervisé, non supervisé et par renforcement, utilisant une grande variété de méthodes, y compris l'apprentissage profond », « fondées sur la logique et les connaissances, y compris la représentation des connaissances, la programmation inductive (logique), les bases de connaissances, les moteurs d'inférence et de déduction, le raisonnement (symbolique) et les systèmes experts » incluant « les statistiques, estimation bayésienne, méthodes de recherche et d'optimisation ».

* 28 « Un système d'IA est un système qui fonctionne grâce à une machine et capable d'influencer son environnement en produisant des résultats (tels que des prédictions, des recommandations ou des décisions) pour répondre à un ensemble donné d'objectifs. Il utilise les données et les intrants générés par la machine et/ou apportés par l'homme afin de (i) percevoir des environnements réels et/ou virtuels ; (ii) produire une représentation abstraite de ces perceptions sous forme de modèles issus d'une analyse automatisée (ex. l'apprentissage automatisé) ou manuelle ; et (iii) utiliser les déductions du modèle pour formuler différentes options de résultats. Les systèmes d'IA sont conçus pour fonctionner de façon plus ou moins autonome. »

* 29 La proposition de règlement prévoit que les autorités nationales compétentes seraient les autorités désignées par les actes législatifs afférents pour les systèmes d'IA couverts par une législation sectorielle de l'Union, les autorités de surveillance des établissements financiers pour ces derniers, le Contrôleur européen de la protection des données pour les institutions, agences et organes de l'Union, et les autorités compétentes en vertu du droit national ou, à défaut, les autorités de protection des données à caractère personnel pour les systèmes de reconnaissance biométriques utilisés par des autorités répressives et les systèmes d'IA utilisés par ces dernières et les autorités de gestion des migrations.

* 30 Les conditions de cette extension sont précisées à l'article 7 de la proposition. Les systèmes d'IA qui pourront être ajoutés à la liste des systèmes à haut risque devront notamment présenter un risque de préjudice pour la santé et la sécurité ou un risque d'incidence négative sur les droits fondamentaux équivalent ou supérieur au risque présenté par les systèmes d'IA déjà présents dans la liste de l'annexe III, au regard de la gravité et de la probabilité d'occurrence desdits risques.

* 31 Des exceptions devraient être prévues pour les systèmes d'IA utilisés dans le cadre des activités relevant de la sécurité nationale et par les autorités répressives.

* 32 Le Conseil est convenu d'introduire cette modification dans sa position (art. 5).

* 33 Voir supra (recherche ciblée de victimes potentielles spécifiques de la criminalité, prévention de menaces spécifiques, substantielles et imminentes pour des personnes ou prévention d'attaques terroristes, détection, localisation, identification ou poursuite contre l'auteur ou le suspect d'une infraction pénale grave).

* 34 Aux termes du 2 de l'article, l'utilisation de systèmes d'identification biométriques à distance « en temps réel » dérogatoire pour les autorités répressives tient compte de « la nature de la situation [...], en particulier la gravité, la probabilité et l'ampleur du préjudice causé en l'absence d'utilisation du système ».

* 35 Proposition de directive relative à l'adaptation des règles en matière de responsabilité civile extracontractuelle au domaine de l'intelligence artificielle, COM(2022) 496 final et proposition de directive révisant la directive 85/374/CEE du 25 juillet 1985 relative au régime de responsabilité du fait des produits défectueux, COM(2022) 495 final.

* 36 Le considérant 44 indiquait déjà, dans la proposition de la Commission, que les jeux de données devaient être « suffisamment pertinents, représentatifs, exempts d'erreurs et complets au regard de la destination du système ».

* 37 Ainsi que précisé dans l'exposé des motifs, et sous-entendu au considérant 41 de la proposition de règlement, mais non indiqué explicitement dans le texte même de la proposition de règlement.

* 38 Les obligations du règlement sur l'IA pèsent sur les fournisseurs, tandis que les obligations de mise en conformité avec le RGPD pèsent sur les responsables de traitement de données.

* 39 Les obligations introduites par le règlement concernent l'ensemble des systèmes d'IA mis en service ou sur le marché dans l'Union européenne, quel que soit le lieu d'établissement des fournisseurs du système, ainsi que les systèmes d'IA dont les résultats sont utilisés dans l'Union, y compris si les fournisseurs ou utilisateurs sont situés dans un pays tiers. Néanmoins, les fournisseurs issus de pays tiers pourraient bénéficier dans leurs pays d'origine de conditions de développement et d'entraînement des systèmes d'IA moins contraignantes, susceptibles de leur donner un avantage comparatif sur les fournisseurs européens, au moment de la mise sur le marché dans l'Union.

* 40 P. 17 de la proposition d'exposé des motifs.

Les thèmes associés à ce dossier

Partager cette page