Texte intégral
Le rapport de la Commission " IA générative et vulnérabilités ", intitulé Protéger sans empêcher : les vulnérabilités à l'ère de l'IA générative, prolonge les réflexions engagées par le Président de la République il y a plus d'un an sur les conséquences du numérique sur nos démocraties, en les étendant à l'IA générative.
L'enjeu est clair : il s'agit d'identifier les vulnérabilités les plus critiques auxquelles s'exposent chaque jour les utilisateurs des chatbots, des compagnons IA ou de jouets dotés d'IA, afin de prévenir ces risques et d'en atténuer la portée. Dans ce cadre, le Conseil de l'IA et du numérique a :
- constitué un groupe de travail composé de neuf experts pluridisciplinaires et indépendants, piloté par Serena Villata, chercheuse en IA, et par deux psychiatres, Raphaël Gaillard et Amine Benyamina ;
- conduit 55 auditions auprès de professionnels de santé, de la recherche publique et de l'enseignement supérieur, d'entreprises de l'écosystème, d'associations de protection de l'enfance, etc.
- bâti son rapport autour des vulnérabilités individuelles et collectives, et formulé 18 recommandations opérationnelles.
Les réflexions de la Commission partent d'un double constat :
- D'abord, un paradoxe. L'IA générative est adoptée rapidement et massivement – 33 millions d'utilisateurs uniques en France en début d'année. Pourtant, elle est source d'une défiance persistante, puisqu'un quart des Français expriment des craintes quant aux risques divers qu'elle présente.
- C'est ensuite l'existence d'un débat très polarisé entre les bénéfices potentiels de cette technologie et ses dangers.
Le rapport de la Commission s'articule autour de trois idées fortes :
1/ L'IA générative présente des risques de mieux en mieux documentés pour l'utilisateur, en particulier pour les utilisateurs les plus jeunes
1 Le premier motif d'inquiétude porte sur le développement des capacités cognitives de l'utilisateur, notamment mineur. Des chercheurs du MIT établissent la formation d'une " dette cognitive " croissante à l'égard des utilisateurs de chatbots, dont l'utilisation pour des tâches d'écriture réduirait les facultés cognitives de l'ordre de 55%.
2 Le deuxième champ d'inquiétude concerne l'attachement émotionnel porté à ces outils, notamment par les phénomènes d'anthropomorphisation et de flagornerie accrus. 92% des adolescents français déclarent passer plus de temps qu'ils ne le veulent sur les applications d'IA.
3 L'inquiétude porte enfin sur l'amplification des violences numériques, permise par l'IA, comme l'a montré la déferlante d'hypertrucages à caractère sexuel sur X en début d'année.
2/ Les vulnérabilités constatées à l'échelon individuel sont de nature à se répliquer, de façon systémique, à l'échelle de nos sociétés
La question ici posée est celle de l'avenir de la démocratie, de la cohésion sociale et du vivre-ensemble à l'ère de l''IA, alors que 73 % des Français utilisent désormais l'IA comme moyen d'accès à l'information, malgré les biais, les hallucinations et l'absence de tout contradictoire dans les interactions. Pourtant, les risques sont loin d'être nuls : l'IA générative est jugée 50 % plus persuasive qu'un article de presse. En parallèle, 34 % des réponses apportées par l'IA aux électeurs écossais lors des dernières élections comportaient des informations erronées.
3/ Le modèle économique de l'IA générative grand public n'est pas encore stabilisé et manque de transparence
Le risque est qu'il exploite les vulnérabilités précitées dans le but de les monétiser ; ce serait l'avènement de l'économie de la cognition. Hier, avec les réseaux sociaux, les plateformes cherchaient à capter l'attention de leurs utilisateurs : c'était l'économie de l'attention. Demain, elles pourraient chercher à tirer profit de leurs facultés cognitives, de plus en plus déléguées à la machine, de leurs réactions émotionnelles et de leurs profils psychologiques. À court terme, cela se matérialiserait par le risque d'une recrudescence des contenus publicitaires, y compris dissimulés, lesquels doivent être proscrits.
À la suite de ces développements, la Commission formule une série de 18 recommandations guidées par une conviction forte : si les risques soulignés au sein du rapport doivent appeler à la plus grande vigilance, l'IA générative est également porteuse d'opportunités dont il faut se saisir dans les conditions adéquates. Par conséquent, les recommandations visent à renforcer les politiques publiques afin de répondre aux problèmes pressants, d'une part, et d'anticiper les mutations à venir d'autre part. Parmi les préconisations, plusieurs priorités se dégagent :
1 Mieux protéger les utilisateurs, à commencer par les mineurs, de l'exploitation de leurs vulnérabilités par l'IA générative. La Commission d'experts recommande d'encadrer strictement les mécanismes relevant de la flagornerie ou de l'anthropomorphisme excessifs directement dans la conception des systèmes d'IA générative.
2 Conditionner la mise sur le marché des systèmes d'IA générative grand public (et non professionnels) à une évaluation pluridisciplinaire ex ante, dans le but d'évaluer leurs impacts concrets sur l'ensemble des risques identifiés. C'est un changement de paradigme – la mise en conformité avec les obligations légales ne devrait pas seulement intervenir a posteriori, une fois les manquements constatés, mais dès la commercialisation.
3 Face à la révolution de l'IA générative, la Commission d'experts indique que les sociétés qui s'en sortiront le mieux seront les mieux éduquées, à la fois pour tirer le meilleur parti de l'IA mais aussi pour savoir prendre le recul nécessaire vis-à-vis d'elle. Par conséquent, elle recommande de former massivement et dès le plus jeune âge à l'IA (avec et sans l'IA).
4 Enfin, l'État doit être capable de s'adapter aux risques démocratiques amplifiés voire générés par l'IA, en particulier dans le champ de la lutte contre les manipulations de l'information. Selon la Commission d'experts, l'Etat devrait ainsi disposer d'un protocole de détection et de réponse clair, très rapide dans son activation, interministériel, reposant sur des indicateurs de gravité prédéfinis et sur des canaux d'échange établis à l'avance avec les entreprises d'IA et les chercheurs.