Les algorithmes sont utilisés de manière intensive et extensive pour automatiser une variété immense et croissante de tâches, d’activités et de processus décisionnels dans l’économie numérique. L’automatisation est ainsi essentielle pour gérer la complexité, réduire l’incertitude, effectuer des activités de masse à un coût abordable. De tâches de base, comme la recherche, la comparaison, le classement, la hiérarchisation, à des services à valeur ajoutée plus sophistiqués, tel le profilage, la personnalisation, la recommandation, la notation multi-attributs, le filtrage, la modération de contenu, la gestion algorithmique ou encore le traitement des plaintes, tout est effectué aujourd’hui au moins de systèmes algorithmiques.

Les bénéfices de l’automatisation algorithmique sont largement reconnus : efficacité, réduction des coûts de transaction, rationalisation des processus et aide à la prise de décision dans des contextes complexes. La notation (rating), le classement, les systèmes de recommandation ou les comparateurs sont des outils extrêmement utiles, qui aident les utilisateurs à prendre des décisions informées. Les solutions de profilage, de personnalisation ou de contextualisation permettent aux entreprises d’atteindre leurs clients avec succès par des communications ciblées, des offres personnalisées et des services sur mesure. Les algorithmes contribuent ainsi à rendre réalisables, abordables et aussi efficaces, le signalement, le filtrage, la modération ou la suppression de contenu. Les algorithmes sont donc essentiels pour gérer la complexité, l’incertitude et la viralité dans les sociétés contemporaines.

Bien que les avantages de l’automatisation algorithmique soient un lieu commun, en même temps, leurs risques et leurs effets indésirables pour la société sont aussi connus et de plus en plus perceptibles. La logique algorithmique peut perpétuer le choix et les préférences ; elle peut radicaliser la parole, polariser l’opinion publique dans des chambres d’écho et des silos idéologiques, réduire la diversité, élargir les biais et les clivages discriminatoires, standardiser les comportements sur la base de stéréotypes, conduire à des décisions opaques qui laissent les victimes sans défense, attiser la viralité de fake news, empiéter sur la liberté d’expression ou fausser le choix des consommateurs avec des évaluations, des classements, des dark patterns ou des recommandations trompeuses.

Même si les avantages potentiels et l’utilisation toujours croissante des systèmes algorithmiques et leurs risques ne sont pas passés inaperçus au sein de l’Union européenne, les règles relatives aux processus algorithmiques sont si dispersées dans différents textes législatifs qu’elles ont une portée seulement partielle et qu’elles ne sont pas harmonisées. Ainsi, un ensemble cohérent, complet et global de principes ou de règles en matière de systèmes de prise de décisions automatisés fait défaut. Dans un tel contexte, en mai 2022, l’Institut européen du droit (European Law institute, ELI) a publié les « Guiding Principles for Automated Decision-Making in the EU », qui visent à fournir des orientations supplémentaires pour établir un cadre juridique à la prise de décision automatisée (ADM) dans l’UE (disponible ici). Ces principes directeurs ont été préparés par la Professeure Teresa Rodríguez de las Heras Ballell (membre du comité exécutif de l’ELI ; professeure à l’Université Carlos III de Madrid) avec la contribution des membres de l’ELI, puis l’ensemble a été adopté par le conseil de l’ELI. Il s’agit du deuxième papier d’innovation (ELI Innovation Paper) publié par l’ELI depuis le lancement en 2020 de la ELI Innovation Paper Series comme nouvel espace permettant aux membres de l’ELI de proposer des idées pionnières et innovantes. Des idées qui méritent l’attention de la communauté juridique européenne et visent à améliorer le droit européen. Les papiers d’innovation doivent contenir des propositions concrètes pour les parties concernées, telles que des projets de législation, des règles-types, des principes, des listes de contrôle ou des prises de position. Vous trouverez plus d’informations sur les projets ELI ici.

Les Principes directeurs pour l’ADM ont jeté les bases du nouveau projet ELI sur les contrats algorithmiques (disponible ici). Le projet vise à évaluer d’abord l’adéquation du droit européen de la consommation existant pour l’utilisation de l’ADM dans les contrats et, ensuite, à identifier les lacunes à combler et les solutions juridiques nécessaires pour faciliter les contrats autonomes dans les transactions B2B, B2C, P2P et M2M en formulant des principes directeurs et des règles modèles pour l’utilisation d’ADM dans toutes les phases des contrats, de leur formation à leur exécution.

Ce blog vise à présenter les propositions les plus pertinentes de l’ELI Innovation Paper et à mettre en évidence certains des principaux principes directeurs.

Le champ d’application des Principes directeurs: qu’est-ce qu’un système décisionnel automatisé (ADM)?

Bien que l’automatisation envahisse la législation de l’UE, en particulier les initiatives les plus récentes, il n’existe ni un concept unifié ni une terminologie harmonisée pour décrire une grande variété de processus automatisés (notation algorithmique, prise de décision algorithmique, systèmes de recommandation algorithmique, modération de contenu algorithmique, profilage automatisé, ou une variété d’activités et d’actions menées par des moyens automatisés). Les « systèmes d’intelligence artificielle (IA) » ont été définis dans la perspective de la proposition législative de l’UE sur l’IA (AI Act).

En conséquence, deux décisions ont été prises par le ELI Innovation Paper. Premièrement, l’utilisation du terme « ADM » (prise de décision automatisée) inclut tant la prise de décision algorithmique que celle basée sur l’IA. Deuxièmement, l’ADM est défini comme « un processus (informatique), y compris des techniques et des approches d’IA, qui, alimenté par des entrées et des données reçues ou collectées dans l’environnement, peut générer, compte tenu d’un ensemble d’objectifs prédéfinis, des sorties dans une large diversité de formes (contenu, notations, recommandations, décisions, prédictions, etc.) ». La définition d’ADM s’aligne ainsi largement sur celle de la prise de décision algorithmique proposée par l’article 2 des ELI Model Rules on Impact Assessment of Algorithmic Decision-Making Systems Used by Public Administration (disponible ici).

De la définition d’ADM, on comprend facilement que l’ADM peut produire ou fournir une myriade de résultats en allant d’une simple notation à une décision d’octroi de crédit, d’une recommandation de film à l’attribution de tâches de travail, de l’estimation d’une prime d’assurance à une décision pour supprimer un contenu numérique illégal. La variété des résultats est immense. Ainsi, les conséquences juridiques qui en découlent et les régimes juridiques qui s’appliquent à l’ADM diffèrent et ils sont potentiellement multiples et variés. Parfois, la décision (output) de l’ADM (notation, classement, prédiction, recommandation) est une « entrée » (input), un prérequis de la décision ultérieure prise par la personne qui interagit avec l’ADM – qu’acheter, où séjourner, quel article choisir, avec qui traiter ? Parfois, l’ADM produit des effets juridiques pour une personne spécifique, il affecte de manière significative ses droits, son statut juridique ou contractuel, ou simplement ses intérêts. La personne concernée est sélectionnée ou rejetée, notée, récompensée, rétrogradée, expulsée de la plate-forme, renvoyée ou elle est, en quelque sorte, directement affectée par la décision.

Après avoir défini le champ d’application, et avant de plonger dans les principes directeurs proprement dits, d’autres concepts utilisés dans le ELI Innovation Paper méritent notre attention. Premièrement, l’opérateur est celui qui emploie, met en œuvre ou utilise l’ADM dans le cadre d’une activité professionnelle ou commerciale. L’opérateur est la personne qui maîtrise les risques liés à l’ADM et qui en bénéficie pour une activité particulière. Ainsi, les Principes directeurs suivent la proposition du Groupe d’experts sur la responsabilité et les nouvelles technologies, dans son rapport sur la responsabilité en matière d’intelligence artificielle et d’autres technologies numériques émergentes – Expert Group on Liability and New Technologies Report on Liability for Artificial Intelligence and Other Emerging Digital Technologies (ici). Deuxièmement, la personne affectée est la personne physique ou morale qui interagit avec l’ADM, soit la personne concernée par la décision finale, soit la personne qui utilise ou se fie, à des fins ultérieures, y compris la prise de décision ultérieure, aux résultats de l’ADM (prédiction, recommandation, notation, classement). Enfin, outre la personne affectée, des tiers peuvent également être affectés par l’ADM. Si l’ADM classe, répertorie, note ou recommande, les tiers sont positivement ou négativement affectés par le processus et le résultat. En étant déclassés, non recommandés, rétrogradés ou non répertoriés, les tiers peuvent subir des conséquences indésirables sur leur position concurrentielle, leur part de marché ou leurs capacités de fidélisation de la clientèle. De même, les fournisseurs – y compris les développeurs de logiciels, les concepteurs et les autres fournisseurs qui participent aux étapes de développement, de conception et de fourniture d’ADM –, les importateurs ou les distributeurs d’ADM, comme ceux qui le développent, le mettent sur le marché, l’importent ou le distribuent, sont également des entités pertinentes pour une partie des Principes directeurs.

Une présentation de quelques Principes directeurs pour l’ADM

L’ELI Innovation Paper contient un ensemble de 12 Principes directeurs: l’ADM conforme à la loi ; la non-discrimination contre l’ADM; le régime d’attribution des décisions adoptées par ADM; l’obligation de divulguer le fait que la prise de décision est automatisée ; l’exigence de traçabilité de la décision ; l’exigence de motivation des décisions ; l’attribution des risques à l’opérateur; l’exigence d’absence de restriction à l’exercice des droits et à l’accès à la justice; la surveillance par un être humain ; l’examen par un être humain des décisions importantes; la responsabilité pour l’ADM ; une approche basée sur les risques en matière d’ADM.

Le respect de la loi est le premier des Principes directeurs. Exiger que la conception et le fonctionnement de l’ADM soient conformes aux lois applicables semble un principe fondamental et implicite. Néanmoins, il est fondamental qu’un opérateur qui décide d’utiliser un ADM dans un but particulier s’assure que la conception et le fonctionnement de l’ADM soient conformes aux lois applicables à un système de prise de décision non automatisé équivalent, cela afin de favoriser l’automatisation sans pour autant compromettre la protection des intérêts et des droits mis en jeu. Exiger le respect de la loi justifie le deuxième Principe directeur qui préconise de ne pas refuser à une décision automatisée un effet juridique, sa validité ou sa force exécutoire au seul motif qu’elle est automatisée. Ainsi, les Principes directeurs prévoient un régime juridique flexible et évolutif pour l’ADM sans qu’il soit nécessaire que la loi reconnaisse spécifiquement chaque nouvelle utilisation ou application de l’automatisation.

Les Principes directeurs 3 et 7 sont des outils d’attribution des effets et des risques : tant les effets juridiques que les risques sont ainsi attribués à l’opérateur. Cet opérateur est celui qui contrôle le système ADM et bénéficie de son utilisation.

Dans le but de lutter contre l’opacité, la complexité et l’ouverture des systèmes ADM (notamment les systèmes d’IA), et d’atténuer ainsi leurs effets sur la personne affectée, les Principes directeurs énoncent certaines exigences : la divulgation du fait que la décision est prise par des moyens automatisés, sauf si cela est évident ou que la loi exempte de le faire (P 4) ; la conception et le fonctionnement de l’ADM doivent permettre la traçabilité de toute décision (P 5) ; il doit exister un contrôle humain raisonnable et proportionné sur le fonctionnement d’ADM, compte tenu des risques encourus et des droits et des intérêts légitimes potentiellement affectés par cette décision (P9) ; et enfin il faut prévoir qu’un être humain puisse réviser des décisions importantes sélectionnées sur compte tenu de l’importance des effets juridiques, de l’irréversibilité de leurs conséquences ou de la gravité de l’impact sur les droits et les intérêts légitimes. Toutes ces exigences doivent être mises en place par l’opérateur (P10).

Conscients de l’impact sociétal important que l’automatisation peut avoir, les Principes préconisent une utilisation responsable de l’ADM. Conformément à la P11, les opérateurs doivent reconnaître l’impact potentiel sur le contexte socio-économique (valeurs démocratiques, libertés et droits fondamentaux, dignité humaine, cohésion sociale, etc.) des systèmes ADM qu’ils utilisent et faire preuve de diligence pour utiliser les systèmes ADM de manière responsable (P11).

Les Principes directeurs visent ainsi à fournir des orientations aux régulateurs et aux législateurs, aux praticiens et aux académiques, afin d’améliorer la prévisibilité dans l’utilisation de l’ADM.