Algorithmes : prévenir les risques de discriminations

Face à l’accélération des usages du numérique liée à la crise du COVID-19, la CNIL et le Défenseur des droits s’inquiètent de l’impact des algorithmes sur les droits fondamentaux. Ils recommandent aux pouvoirs publics de prendre des mesures afin de prévenir et de lutter contre les discriminations.

Temps de lecture  3 minutes

Illustration représentant une codification binaire.
Les algorithmes étant conçus par des humains, à partir de données choisies, ils peuvent reproduire des inégalités. © freshidea - stock.adobe.com

Dans une récente communication sur les algorithmes et les discriminations, le Défenseur des droits et la CNIL (Commission nationale de l'informatique et des libertés) rappellent que les outils numériques reposent souvent sur des algorithmes sans que l’on en soit toujours conscient ou informé.

Depuis 2006, le recours aux algorithmes s’est généralisé, aussi bien dans le secteur privé que public. Police, justice, banques… Ils sont utilisés dans de nombreux domaines, que cela soit pour les procédures d’embauche, l’orientation scolaire, le fonctionnement des hôpitaux ou encore l’accès à des prestations sociales.

Si ces algorithmes qui permettent de trier et d’analyser des données massives sont censés êtres plus objectifs et plus fiables que les humains, ils ne sont pas pour autant neutres et peuvent être à l’origine d’inégalités, selon ce rapport.

Une automatisation invisible des discriminations

Les algorithmes étant conçus par des humains, à partir de données choisies, ils peuvent reproduire des inégalités. Parfois, cela peut être intentionnel. Certains critères discriminatoires peuvent être pris en compte par l’algorithme dans un contexte particulier, comme l’âge pour le prêt bancaire, l’état de santé pour l’assurance ou encore le lieu de résidence pour moduler les primes.

Mais le plus souvent, les effets discriminatoires des algorithmes reposent sur des critères neutres en apparence et sont donc beaucoup moins visibles. C’est notamment le cas de la plateforme pour s'inscrire dans l'enseignement supérieur Parcoursup. Le Défenseur des droits avait jugé en janvier 2019 que la prise en compte du critère du lycée d’origine par les algorithmes des universités revenait à discriminer les jeunes issus de l’immigration.

Les données utilisées par les algorithmes peuvent, par ailleurs, être biaisées. Des recherches ont montré que certains systèmes de reconnaissance faciale avaient plus de difficultés à identifier les femmes et les personnes non blanches à cause du manque de représentativité des données utilisées. Ces données étaient majoritairement nourries par des visages "masculins et blancs". Le même problème a été constaté pour certaines technologies d'identification vocale, ces dispositifs ayant été construits sans avoir pensé aux femmes et à leurs voix.

Selon le rapport, ces systèmes intelligents risqueraient de systématiser les discriminations sans que les victimes en aient conscience et puissent les contester.

Corriger les discriminations

Le Défenseur des Droits et la CNIL estiment que le manque de transparence des algorithmes et d’information des usagers ne permettent pas de lutter efficacement contre ces atteintes aux droits fondamentaux. Le rapport recommande aux pouvoirs publics de mettre en place plusieurs mesures :

  • renforcer les obligations légales en matière d’information et de transparence à l’égard des usagers dans le secteur public, mais aussi dans le secteur privé ;
  • réaliser un contrôle régulier des effets des algorithmes après leur déploiement pour s’assurer qu’ils ne deviennent pas discriminatoires ;
  • former et sensibiliser les professionnels de l’informatique et de l’analyse des données sur les risques liés aux algorithmes afin qu’ils puissent porter un regard critique sur ces outils ;
  • soutenir la recherche pour développer des études de mesure et des méthodologies de prévention de ces nouvelles formes de discriminations en France et dans l’Union européenne.