Enjeux juridiques de la transparence des algorithmes
Le président du département de Seine-Saint-Denis, Stéphane Troussel, a saisi le mercredi 6 décembre 2023 le Défenseur des droits afin qu'elle statue sur le caractère discriminatoire de certains critères utilisés par l'algorithme des caisses d'allocations familiales. En effet, à la fin de l’année 2023, la Caisse nationale des allocations familiales (CNAF) a fait l’objet de critiques acerbes de la part de plusieurs associations au sujet de l’utilisation d’algorithme dans la détection des erreurs et des suspicions de fraudes par les allocataires. L’analyse de la Quadrature du Net a démontré que l’algorithme utilisé depuis 2010 aurait une portée discriminante, et ciblerait les personnes vulnérables en priorité dans le déploiement de contrôles anti-fraude.
Cette controverse met en évidence les potentielles dérives liées à l’utilisation du datamining : l’algorithme puise dans les données collectées et opère un recoupement d’informations via différentes sources servant à constituer un score qui est affecté à chaque allocataire. Le score s’étend de 0 à 1, le maximum désignant la forte suspicion de fraude.
La polémique prend sa source sur les variables utilisées par le code source entre 2014 et 2018 susceptibles d’augmenter ce score :
Disposer de faibles revenus,
Être au chômage,
Être allocataire du RSA,
Habiter dans un quartier « défavorisé »,
Consacrer une importante partie de ses revenus à son loyer,
Ne pas avoir de travail ou de revenus stables,
Bénéficier de l’Allocation Adulte Handicapé tout en travaillant.
Objectivement, les algorithmes, en tant que séquences d'instructions logiques, sont utilisés dans le domaine informatique pour prendre des décisions automatisées. On distingue les algorithmes de prise de décision automatisée, qui prennent des décisions sans intervention humaine directe, et les algorithmes d’aide à la décision, qui assistent les humains dans leurs processus décisionnels.
La polémique de la CAF a fait resurgir le débat sur la nécessité de garantir une transparence des algorithmes. Cette notion de « transparence algorithmique », sujet mis à débat entre les différents acteurs publics et privés, fait référence à la capacité de comprendre le fonctionnement et les résultats des algorithmes utilisés dans la prise de décision ou la fourniture de services. Cela implique la mise à disposition d'informations claires et accessibles sur les données utilisées, les processus de traitement, les critères de décision et doit permettre d’identifier d’éventuels biais incorporés dans les algorithmes. Ces biais peuvent conduire à la prise de décisions injustes ou discriminatoires, notamment dans des domaines comme le recrutement, les prêts bancaires (credit-score), ou même le système judiciaire (justice prédictive).
Il est admis que la décision algorithmique a vocation à se généraliser dans toutes les sphères sociales et économiques.
Depuis plusieurs années, le secteur privé encourage la mise en place massive d'intelligence artificielle. L'augmentation de la productivité et de l'efficacité pour les prestataires et les clients est de nature à confirmer le continu de la recherche et de développement dans ce sens.
Le secteur public a pris conscience de l’intérêt des usages de l’IA au quotidien pour les administrés, et l'impératif d’une régulation adaptée aux enjeux qu’elle soulève. Plusieurs autorités publiques se mobilisent afin de promouvoir la transparence algorithmique pour restaurer la confiance des citoyens dans leurs relations avec l’Administration notamment :
La Direction interministérielle du numérique (DINUM) via des actions de promotion et de diffusion en matière de transparence des algorithmes publics ;
La CNIL par la création d’un service public de l’intelligence artificielle (SIA) en janvier 2023 ;
L’Assemblée Nationale par la publication d’un rapport d’information sur les défis de l’intelligence artificielle générative en matière de protection des données personnelles et d’utilisation du contenu généré (p.62), le 14 février 2024 ;
Ce courant a abouti à la proposition de création de l’IA Act, premier cadre juridique européen sur l’IA.
La généralisation des algorithmes va influencer des domaines variés allant de la finance à la justice en passant par la santé et l'éducation. De nombreux acteurs expriment des inquiétudes quant au risque d’instauration d’un régime de surveillance généralisée, que ce soit à des fins de marketing ciblé, de sécurité publique ou de surveillance gouvernementale.
Cependant, ces inquiétudes sont renforcées par l’opacité du fonctionnement des algorithmes et de leur impact sur les droits fondamentaux des individus, tels que le droit à la vie privée, à la non-discrimination et à la liberté d'expression.
Face à ces risques, il est pertinent de rappeler quelles garanties existent pour maîtriser ces risques.
1. Les garde-fous juridiques : le droit à l’intervention humaine
Le droit européen a consacré un droit à l’intervention humaine visant à maîtriser les risques de dérives liées à la généralisation de la prise de décision automatisée.
a. Les garanties contre la prise de décision automatisée dans le RGPD
L’article 22 du RGPD énonce qu’une personne dispose du “droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé [...] produisant des effets juridiques la concernant ou l'affectant de manière significative de façon similaire”.
Une décision automatisée à l'encontre d’une personne physique est susceptible de l’affecter et d’entraîner des effets juridiques à son égard (ex : attribution ou retrait d’avantages sociaux).
L’entité en charge de ce traitement doit veiller à respecter les droits et libertés et les intérêts légitimes de la personne concernée. Le RGPD consacre le droit pour la personne assujettie à une telle décision de faire intervenir une personne humaine aux fins d’expliciter, de réévaluer, ou de modifier la décision automatisée l’ayant affectée.
b. Des garanties renforcées par la jurisprudence Schufa
Le 7 décembre 2023, la CJUE s’est prononcée sur les méthodes de scoring incluant des algorithmes d’aide à la décision et de prise de décision automatisée (affaire C-634/21).
Pour rappel, un citoyen allemand s’est vu refuser un crédit après l’attribution d’une note réalisée par une société allemande de droit privé. À la suite du refus de la société de faire droit à la demande d’accès à la personne concernée, cette dernière a demandé à l’autorité de contrôle compétente de l’y enjoindre.
La CJUE, saisie de la question, a fait état des exigences accrues devant être respectées dans le cadre d’une prise de décision automatisée impliquant un dispositif de profilage :
traitement équitable et transparent,
information spécifique,
consentement,
respect des droits d’accès supplémentaires,
possibilité de contester la décision émise,
mesures techniques et organisationnelles appropriées.
L’intérêt de l’arrêt résidait dans la fine distinction des régimes entre l’aide et la prise de décision automatisée : en effet, la personne concernée ne dispose pas des mêmes droits d’opposition : “l’établissement automatisé, par une société fournissant des informations commerciales, d’une valeur de probabilité fondée sur des données à caractère personnel relatives à une personne [...] constitue une « décision individuelle automatisée », au sens de l’article 22, paragraphe 1, du RGPD” dès lors que la communication de cette décision fonde de manière déterminante le choix du responsable de traitement.
En d’autres termes, l’intervention humaine à la fin de la chaîne décisionnelle qui serait dépendante du calcul formé par l’algorithme, est une décision automatique. La personne concernée par cette décision peut agir en la contestant juridiquement. La juridiction invoquée devra déterminer si l’entreprise (publique ou privée) a respecté les exigences de l’article 22 du RGPD, notamment sur le volet de la transparence de l’algorithme utilisé.
Si le droit à l’intervention humaine dans la prise de décision automatisée fait office de garde-fou juridique au déploiement des algorithmes décisionnels, l’effectivité de ce droit est tributaire d’un autre garde-fou technique cette fois : la transparence.
2. Les garde-fous techniques : la transparence (art 6)
La transparence est un principe clé de la réglementation sur la protection des données personnelles. Par exemple, un responsable de traitement éditant un site internet doit élaborer une politique de confidentialité claire et accessible pour ses utilisateurs. Cette politique ne doit pas être un dédale d’informations complexes, mais plutôt un document rédigé dans un langage simple et concis, permettant à chacun de comprendre facilement comment ses données sont traitées.
Cette pratique usuelle en matière de protection des données s’impose de plus en plus au sujet des traitements algorithmes. Si certains secteurs sont astreints à des obligations de publication du code source par exemple, certains auteurs plaident pour que l’exigence de transparence soit dépassée par la notion “d’explicabilité“ des algorithmes.
a. La transparence comme obligation (ex : secteur public)
Le Code des relations entre le public et l’administration régit l'obligation de transparence des algorithmes pour les acteurs publics qui prennent des décisions impactant les individus. En effet, les acteurs publics doivent :
Fournir une mention explicite que la décision est prise sur le fondement d’un traitement algorithmique (art. L311-3-1 CRPA)
La mise en ligne des règles définissant les principaux traitements algorithmiques utilisés (art. L312-1-3 CRPA)
La fourniture d’une information individuelle à la demande de la personne concernée (art. R311-3-1-2 CRPA)
Ces obligations d’information des personnes se retrouvent également dans le secteur privé puisque l’art. 119 de la loi Informatique et libertés prévoit qu’un responsable de traitement a pour obligation de fournir “les informations permettant de connaître et de contester la logique qui sous-tend le traitement automatisé en cas de décision prise sur le fondement de celui-ci et produisant des effets juridiques à l'égard de l'intéressé”.
b. De la transparence vers l’explicabilité algorithmique
Plusieurs auteurs plaident pour que le concept de transparence et la responsabilité dans le traitement automatisé des données personnelles soient redéfinis vers un concept d’explicabilité des algorithmes.
Le concept clé de la transparence est basé sur la fourniture d'informations claires et accessibles sur les processus et critères de décision utilisés par les algorithmes, tandis que l'explicabilité permet de mieux comprendre le fonctionnement interne de ces algorithmes. En d’autres termes, la réponse souhaitée est celle qui décrit la manière dont les résultats des algorithmes ont été obtenus plutôt que de leur simple divulgation. Ainsi, la publication du code source constitue un moyen d’explicabilité algorithmique.
Cela implique de mettre en lumière les facteurs pris en compte dans la prise de décision, d'identifier les liens significatifs entre les variables et d'exposer la logique ou les règles qui guident ces décisions.
Les responsables de traitement peuvent renforcer la confiance des utilisateurs dans les systèmes algorithmiques tout en leur permettant de comprendre pleinement les implications de leur utilisation en intégrant cette dimension d'explicabilité. De plus, cela favorise la détection et la correction des erreurs ou des biais algorithmiques, contribuant à promouvoir une utilisation éthique et responsable de ces technologies dans toutes les sphères sociales.
Auteur : Ivan Stievenard
Co-auteur : Damien Altersitz
Besoin de faire le point sur la conformité de vos pratiques liées aux algorithmes ? Nos consultants DPO certifiés sont là pour vous accompagner. N’hésitez pas à consulter nos services ou à nous contacter directement.