Disponible en ligne :
Pour lire les formats PDF et ePub vous avez besoin d’un lecteur adapté.
Adoptée rapidement par le plus grand nombre, l'IA générative rencontre, paradoxalement, une grande défiance à l'encontre de ces usages. C'est dans ce contexte que la Commission cartographie, dans ce rapport, les vulnérabilités les plus critiques associées à l'émergence fulgurante de l'IA générative, avec pour objectif de les anticiper au mieux afin d'en atténuer la portée. Elle articule ce rapport autour de trois idées structurantes :
- Les systèmes et les modèles d'IA générative, par l'exploitation des vulnérabilités cognitives et émotionnelles, altèrent l'autonomie décisionnelle et sont susceptibles d'amplifier les violences numériques ;
- Les vulnérabilités observées à l'échelon individuel sont de nature à se répliquer de façon plus structurelle à l'échelle de nos sociétés et posent, en creux, la question de l'avenir de la cohésion sociale et de l'exercice démocratique à moyen terme ;
- L'adoption massive de l'IA générative grand public pourrait marquer l'avènement de "l'économie de la cognition", dans laquelle la cognition humaine devient, directement ou indirectement, une source directe de valeur et de monétisation.
Enfin, la Commission formule 18 recommandations dans le but de faire de l'IA générative un vecteur d'émancipation pour les utilisateurs plutôt que le catalyseur de vulnérabilités individuelles et collectives.
Composition de la commission
Résumé opérationnel
Introduction
Éléments clés
CHAPITRE 1 - Autonomie cognitive, liens affectifs et violences en ligne : l'IA générative, miroir déformant de nos vulnérabilités individuelles
A) L'IA générative altère l'autonomie cognitive et décisionnelle des individus
1. Les usages de l'IA générative peuvent être à la fois bénéfiques et porteurs de risques, en particulier pour les mineurs
a) Des bénéfices éducatifs dépendant de la conception des outils d'IA générative et de leur cadre d'utilisation
b) Des risques de délégation cognitive documentés et particulièrement accrus pour les mineurs
2. Quand l'IA choisit pour nous : les utilisateurs sont exposés à des risques de perte d'autonomie et de recul de l'esprit critique
a) Des choix de plus en plus délégués aux outils d'IA générative
b) Des utilisateurs soumis à l'opacité décisionnelle de l'IA générative
B) Engagement émotionnel et risques psychosociaux : l'IA générative redéfinit les liens entre les humains et les machines
1. L'IA générative nourrit un effacement de la frontière entre humains et machines
a) Anthropomorphisme et flagornerie : de puissants leviers d'engagement
b) Les utilisateurs face à la complaisance de l'IA générative
c) Des risques pour la santé mentale accrus par les choix de conception
d) Des risques exacerbés pour les plus vulnérables, notamment les mineurs
e) Jouets IA : nouveau terrain de vulnérabilités
2. L'interaction prolongée entre humains et intelligences artificielles expose les utilisateurs à des vulnérabilités émotionnelles
a) Attachement émotionnel généré par l'IA générative : une projection unilatérale
b) Un risque d'isolement social nourri par des relations inauthentiques
3. L'extraction de données à un niveau inédit et l'hyperpersonnalisation de l'IA générative sont préjudiciables
a) Une collecte de données d'une ampleur et d'une granularité inédites
b) Le droit au respect de la vie privée menacé par la collecte massive de données
C) L'IA générative amplifie les violences numériques : deepfakes, fraudes et haine en ligne
1. La démocratisation des deepfakes est un facteur d'amplification des risques, notamment pour les plus jeunes
a) Les femmes et les filles, premières victimes de la prolifération des deepfakes à caractère sexuel non consentis
b) L'explosion sans précédent des contenus pédocriminels synthétiques
c) Usurpations d'identité et escroqueries : l'usage des deepfakes dans le champ de la fraude en ligne
2. L'IA générative peut se muer en support de la haine en ligne
CHAPITRE 2 - Cohésion sociale et exercice démocratique : la confiance collective à l'épreuve de l'IA générative
A) De la reproduction à l'accélération des préjugés : les biais de l'IA générative altèrent la cohésion sociale
1. De sa conception à son utilisation, l'IA générative comporte des biais
2. L'IA générative renforce les stéréotypes préexistants et engendre des discriminations concrètes
3. L'IA générative peut porter atteinte aux diversités culturelles et linguistiques
a) Les effets d'une sous-représentation de la diversité linguistique
b) Vers une uniformisation culturelle et linguistique ?
B) Nouvel intermédiaire de l'information, l'IA générative recompose l'espace public
1. L'IA générative offre de nouveaux modes d'accès à l'information
a) Un intermédiaire déjà incontournable dans l'accès à l'information
b) Les potentialités de l'IA générative pour une information fiable et de qualité
c) Vers la profusion de contenus informationnels
2. L'IA générative déstabilise l'espace informationnel
a) L'attrition de l'économie des médias traditionnels
b) L'IA générative au service de la manipulation de l'information à grande échelle
3. L'IA générative met au défi le pluralisme et la liberté d'expression
C) L'IA générative contribue à l’érosion de la confiance entre l'État et les citoyens
1. L'IA générative aggrave plus qu'elle ne résout l'exclusion numérique
2. La dématérialisation des services publics est un facteur supplémentaire d'érosion de la confiance
a) L'IA dans les services publics : une dématérialisation porteuse d'exclusion et de défiance
b) La fragilisation du lien de confiance collective
3. En période électorale, l'IA offre des outils pour exploiter les vulnérabilités démocratiques
a) Influence et délégation des choix électoraux
b) Un risque d'homogénéisation de l'offre politique
CHAPITRE 3 - Encadrer les modèles économiques et renforcer le cadre juridique : prévenir l'exploitation des vulnérabilités individuelles et collectives
A) L'économie de la cognition induit un changement d'échelle dans l'exploitation des vulnérabilités
1. Les modèles économiques de l'IA générative sont encore en construction
2. Le passage de l'économie de l'attention vers l'économie de la cognition doit être anticipé dès à présent
a) L'économie de la cognition, nouvelle étape de la monétisation des données
b) Le modèle publicitaire de l'IA générative : une dynamique à surveiller
B) Le cadre juridique actuel appréhende de manière partielle et inadaptée les vulnérabilités induites par l'IA générative
1. Le cadre juridique peine à appréhender les vulnérabilités suscitées par l'IA générative
a) Un mille-feuille d'instruments réglementaires mal coordonnés entre eux
b) Des capacités d'évaluation trop tardives, intervenant principalement après la mise sur le marché
c) Des instruments juridiques inadaptés aux spécificités de l'IA générative
2. Le droit et sa résilience doivent être renforcés face aux risques de vulnérabilités induits par l'IA générative
a) Accroître les obligations s'imposant aux fournisseurs d'IA générative
b) Évaluer les systèmes d'IA générative avant et pendant leur commercialisation afin de mieux appréhender le spectre des vulnérabilités : changement de paradigme pour la régulation
c) Affermir la responsabilité civile des acteurs de l'IA générative
Recommandations prioritaires
Recommandation n° 1 : Interdire les techniques de conception des IA conversationnelles qui exploitent et qui génèrent les vulnérabilités des utilisateurs pour susciter la dépendance ou l'engagement
Recommandation n° 2 : Imposer un niveau élevé de sécurité, de sûreté et de protection des droits fondamentaux pour les systèmes d'IA générative accessibles aux mineurs
Recommandation n° 3 : Imposer une évaluation pré-commercialisation des systèmes d'IA générative grand public
Recommandation n° 4 : Imposer une évaluation post-commercialisation des systèmes d'IA générative grand public
Recommandation n° 5 : Garantir une évaluation des systèmes d'IA générative grand public par un accès aux données d'usage, d'entraînement et de monétisation
Recommandation n° 6 : Garantir une évaluation interdisciplinaire des vulnérabilités exploitées et engendrées par les systèmes d'IA générative
Recommandation n° 7 : Doter l'État d'un protocole national de réponse aux crises informationnelles liées à l'IA générative, en définissant des indicateurs de gravité et des canaux d'échange rapide de données avec les fournisseurs d'IA générative
Recommandation n° 8 : Interdire la publicité déguisée, les pratiques masquées d'influence de nature commerciale et toute forme de monétisation exploitant les vulnérabilités des consommateurs
Recommandation n° 9 : Maintenir et développer une politique nationale ambitieuse d'éducation à l'IA permettant à chacun d'en maîtriser les usages et les risques
Recommandations pour encapaciter et protéger les utilisateurs, notamment les mineurs
Recommandation n° 10 : Renforcer la répression de la création de contenus à caractère sexuel non consentis et pédocriminels truqués (hypertrucages) générés par intelligence artificielle
Recommandation n° 11 : Instaurer une autorisation préalable de mise sur le marché pour les jouets intégrant un système d'IA générative et définir des seuils d'âge restrictifs d'accès
Recommandation n° 12 : Consacrer un programme d'éducation à l'intelligence artificielle dès le primaire
Recommandation n° 13 : Garantir dans les salles de classe des modèles d'IA générative spécifiquement adaptés pour les mineurs
Recommandations pour renforcer la cohésion sociale et démocratique à l'ère de l'IA générative
Recommandation n° 14 : Détecter de manière précoce les manipulations de l'information par les systèmes d'IA générative
Recommandation n° 15 : Instaurer un code de bonne conduite sur l'usage de l'IA générative en période électorale
Recommandation n° 16 : Garantir la représentativité des langues et des cultures minoritaires dans l'IA générative, en mobilisant les corpus et les catalogues de référence
Recommandations pour accroître la transparence et la responsabilité des acteurs du marché de l'IA générative
Recommandation n° 17 : Encadrer les inférences de données personnelles réalisées à partir des prompts de l'utilisateur
Recommandation n° 18 : Renforcer la responsabilité des fournisseurs de systèmes d'IA générative
Annexes
Annexe 1 : Lettre de mission
Annexe 2 : L'appréhension de l'IA générative par le Règlement européen sur l'IA (RIA)
Annexe 3 : Les défis économiques de l'IA générative
Annexe 4 : Liste des auditionnés
Annexe 5 : Liste des contributions internationales sur les effets des usages de l'IA générative sur les mineurs
- Type de document : Rapport officiel
- Pagination : 177 pages
- Édité par : Conseil de l'IA et du numérique