Cet article est publié dans la newsletter La Lettre du CNRS, le rendez-vous mensuel des décisionnaires avec la recherche
https://www.cnrs.fr/fr/la-lettre-du-cnrs
Près de la moitié de la population française utilise couramment l’intelligence artificielle générative. Une pratique en pleine croissance… et qui n’est pas sans risques. C’est ce que pointe le rapport de la commission « IA générative et vulnérabilités », porté par le Conseil de l’intelligence artificielle et du numérique, qu’a co-présidé Serena Villata, informaticienne au CNRS.
https://www.cnrs.fr/fr/la-lettre-du-cnrs
En 2025, vous avez rejoint le Conseil de l’intelligence artificielle et du numérique (CIANum). En quoi consiste cette structure ?
Serena Villata1 : J’ai été nommée l’an dernier membre du CIANum. L’objectif de ce conseil est d’éclairer le débat public autour des technologies numériques, notamment l’intelligence artificielle.
Cette nomination s’inscrit dans la lignée de mes travaux sur le traitement automatique du langage naturel, au sein de l’équipe Marianne du centre Inria d’Université Côte d’Azur que je dirige à Sophia Antipolis, où j’analyse avec des algorithmes d’intelligence artificielle les discours politiques, les discours haineux, le cyberharcèlement, la propagande… Ma recherche a toujours été très multidisciplinaire, en lien avec le droit. Et c’est à ce titre qu’à partir de 2019, j’ai été nommée membre du Conseil national pilote d’éthique du numériques, une structure expérimentale rassemblant des experts multidisciplinaires pour définir une éthique du numérique. Je poursuis par ailleurs ces travaux au sein du Comité consultatif national d'éthique du numérique, que j’ai également rejoint en 2025.
Précisément, le CIANum vient de sortir le 10 novembre un premier rapport, consacré aux vulnérabilités de l’IA générative. Pourquoi le choix de cette thématique ?
S. V. : J’ai été choisie pour coprésider la commission « IA générative et vulnérabilités », lancée en février 2026 et à l’origine de ce rapport, aux côtés des professeurs Amine Benyamina et Raphaël Gaillard. L’enjeu était de prolonger la discussion nationale ouverte par le Président de la République fin 2025 concernant l’impact du numérique sur nos démocraties, avec une attention toute particulière pour les mineurs, qui s’est notamment caractérisée par l’interdiction d’accès aux réseaux sociaux pour les mineurs de moins de quinze ans.
Directrice de recherche au CNRS au sein du Laboratoire d’informatique, signaux et systèmes de Sophia Antipolis (CNRS/Université Côte d’Azur).
https://www.conseil-ia-numerique.fr/files/uploads/2026/Rapport_Commission_IA_generative_vulnerabilites_2026.pdf
Est-ce à dire que les mineurs sont le seul public vulnérable à l’IA générative ?
S. V. : Non, nous le sommes tous et toutes en raison de l’adoption très rapide de cette technologie. Quelques chiffres pour vous en donner un ordre de grandeur. En 2022, deux mois après son lancement, ChatGPT comportait déjà 100 millions d’utilisateurs et d’utilisatrices, alors qu’il a fallu 25 mois à Instagram pour attirer autant de personnes. C’est une vitesse proprement inédite. Depuis, début 2026, on comptait 33 millions d’utilisateurs uniques de ChatGPT en France, soit près de la moitié de la population. Et en même temps, on observe que 25 % des utilisateurs d’IA générative estiment que ces outils comportent des risques ; et 75 % des non-utilisateurs disent la même chose.
S’il n’y a donc pas de public plus vulnérable qu’un autre, il existe en revanche une attention plus poussée envers les mineurs, en raison du souci de les protéger. C’est d’autant plus vrai que c’est la génération la plus impactée par l’adoption de cette technologie : son rapport à la vérité change, car elle accède à l’information à travers la médiation de ces outils.
Quels sont les risques propres à l’IA générative ?
S. V. : Notre rapport caractérise les risques réalistes de l’IA générative – et évite de ce fait la question de « la super-intelligence » – pour mieux les anticiper. Ce qui change avec cette technologie, c’est qu’elle bouscule l’accès à l’information. Les jeunes générations n’ont plus l’habitude d’aller chercher une information sur un moteur de recherche comme Google – qui lui-même propose d’ailleurs un résumé par IA –, mais demandent directement l’information à leur agent conversationnel.
La chose est d’autant plus aisée que l’IA générative – et encore plus les compagnons IA – communique par le langage naturel, celui par lequel nous nous exprimons au quotidien ce qui rend son accès très facile pour tout le monde. En outre, les IA génératives se montrent très câlines avec nous et vont toujours dans notre sens quand on leur soumet des opinions ou des expériences réelles. C’est ce qu’on appelle la flagornerie des IA. Or, le langage naturel et cette flagornerie font que nous projetons des qualités humaines sur ces agents conversationnels, que nous venons à considérer comme empathiques et anthropomorphes.
Cette proximité affective induit des risques pour les utilisateurs et utilisatrices. De plus en plus de personnes confient l’intégralité de leurs échanges sur une messagerie à leurs compagnons IA, jugés fiables, pour obtenir leur avis sur leur vie personnelle, amoureuse, etc. Et ces outils d’IA finissent eux-mêmes par devenir des compagnons virtuels, voire des partenaires amoureux, sinon sexuels. Sur ce dernier point, certains compagnons virtuels vont jusqu’à proposer des scénarios dans lesquels on joue un rôle avec l’agent conversationnel… dont certains très dérangeants, qui mettent en scène des scénarios incestueux ou pédopornographiques.
Autre conséquence de cette proximité affective : les suicides d’adolescentes et d’adolescents qui échangeaient avec un outil d’IA générative. Autant de drames qui témoignent qu’il ne faut pas générer un attachement émotionnel des utilisateurs et utilisatrices à ces outils pour éviter de les enfermer dans une dépendance affective.
Le rapport pointe également l’émergence d’une « économie de la cognition ». De quoi s’agit-il ?
S. V. : Nous plaidons pour avoir accès à davantage de données d’entraînement des outils d’IA générative, mais également leurs données d’usage, de monétisation, etc. En somme, la manière dont les utilisateurs et utilisatrices interagissent avec les agents conversationnels. Ces données personnelles, d’une valeur inédite, nous caractérisent en tant qu’humains, car elles montrent comment nous réagissons aux événements positifs comme négatifs, à la déception, la frustration, etc.
Alors que les réseaux sociaux reposaient sur l’économie de l’attention, nous suggérons que l’IA générative repose sur l’économie de la cognition. Imaginez par exemple qu’un recruteur puisse accéder aux données cognitives d’une personne qui candidaterait dans son entreprise. Il pourrait de la sorte savoir comment elle réagit à telle ou telle situation, si elle est honnête ou non, etc. Autre risque : que certaines entreprises louent des outils d’IA générative pour déguiser leurs publicités, glissées dans la conversation par le chatbot qui nous parlerait comme un ami.
De manière générale, nous proposons d’interdire toute pratique d’influence masquée, qu’elle soit commerciale ou idéologique. Ce dernier point est particulièrement sensible en contexte électoral, car on constate avec l’IA générative le passage d’une désinformation quantitative à une désinformation à la fois quantitative et qualitative, dans la mesure où ses messages sont de plus en plus personnalisés.
Devant de tels risques, ne faudrait-il pas tout bonnement restreindre, sinon interdire l’IA générative ?
S. V. : Notre rapport ne préconise absolument pas l’interdiction des outils d’IA générative. Ce que nous souhaitons, c’est qu’ils n’aient plus d’empathie, d’alignement émotif envers les utilisateurs et utilisatrices. Il faut faire revenir ces outils à ce qu’ils sont : des algorithmes. On note d’ailleurs un changement de formulation loin d’être anodin. Ces algorithmes sont depuis quelques temps devenus des « IA conversationnelles », comme s’il s’agissait de personnalités conscientes. Or, aussi efficaces soient-elles, elles demeurent des algorithmes.
Et justement, comment les faire redevenir algorithmes ?
S. V. : Nous émettons 18 recommandations en ce sens. La plupart plaident pour encadrer ces outils dès leur conception et interdire les mécanismes affectifs comme la flagornerie et l’anthropomorphisme. Nous portons une vigilance accrue aux mineurs, de façon à ce que ceux-ci ne puissent pas échanger avec des compagnons virtuels.
Mais est-ce faisable dans la mesure où la plupart des acteurs de l’IA générative ne sont pas européens ?
S. V. : C’est nécessaire de les réguler pour protéger notre société. L’Europe doit en effet faire attention à ces outils qui ne sont pas souverains et, dans le même temps, se doter d’outils souverains, à l’instar de la licorne française Mistral AI. Ce n’est d’ailleurs pas qu’une question d’outil : les modèles de langage entraînés en anglais ou en chinois ne prenant pas en compte toute la culture et la richesse des langues, européennes ou autres, il faut également développer des outils souverains en termes de langage.
Réguler ne freinerait-il pas l’innovation ?
S. V. : Au contraire. Ce ne sont pas des contraintes qui empêchent l’innovation, mais qui font en sorte que celle-ci respecte les valeurs auxquelles nous tenons.
À lire aussi
Conventions citoyennes pour la sobriété numérique : le CNRS repolitise le numérique
Empreinte environnementale du numérique : le CNRS fait les comptes
Le CNRS accélère sa transition vers la souveraineté numérique