« Psychose IA » : l’IA en sait beaucoup sur vous et cela peut devenir très dangereux

Au niveau des dangers des intelligences artificielles (IA), outre la peur avérée ou injustifié de destruction de certains emplois ou de la valeur travail, il existe aussi de nombreuses histoires liées aux dommages qu'elles pourraient causer sur la santé mentale de leurs utilisateurs. Ce qui est certain c'est que de nombreuses personnes avouent qu'elles développent des relations de plus en plus intimes avec leur chatbots. De fait, l'IA ayant souvent tendance à vouloir absolument répondre aux sollicitations des utilisateurs, voire de leur « faire plaisir », le chatbot vient parfois valider les convictions délirantes de l'interlocuteur. L'IA est perçue comme cohérente, bienveillante et disponible à tout moment, ce qui augmente sa crédibilité auprès d'utilisateurs psychologiquement fragiles.

L’IA ne déclenche pas, mais aggrave les troubles existants

À force d'accumulation d'anecdotes autour de cas de suicides ou de troubles à la santé mentale, qui auraient été engendré par des discussions avec des chatbots, une nouvelle expression est née aux États-Unis. Elle porte le nom de « AI psychosis », la psychose des IA. Pour le moment, il n'y a rien de scientifique et les études sur le sujet ne font que débuter. En revanche, des pistes permettent déjà d'évaluer les situations durant lesquelles des situations où des conversations intensives avec une IA semblent contribuer au développement ou à l'aggravation de comportements mentaux pouvant être dangereux chez des personnes prédisposées.

En avril 2024, Sam Altman, le patron d’OpenAI annonçait l’arrivée d’une mémoire permanente dans ChatGPT. Si les médias se sont focalisés sur ce chatbot et les dangers de cette capacité à mémoriser l’historique des conversation, ChatGPT n’est pas la seule IA dotée de cette mémoire. Mais la communication spectaculaire d’OpenAI et la popularité massive de ChatGPT explique pourquoi les critiques autour de ce phénomène de psychose IA sont focalisés sur ce modèle. © OpenAI

Une bonne mémoire qui peut être un désavantage

L'IA apparait comme facteur aggravant chez des individus déjà vulnérables, en raison de sa tendance à confirmer les affirmations de l'utilisateur plutôt qu'à les contredire frontalement. Ce biais, certes utile pour maintenir une conversation fluide, est dangereux lorsqu'il valide des idées manifestement délirantes. Et, il apparait que le phénomène s'est amplifié depuis le dernier trimestre de l'année dernière.

C'est à partir de cette époque, que la plupart des IA ont déployé, ce qu'on appelle une mémoire persistante dans leurs chatbots. Qu'il s'agisse d'OpenAI, Google, Anthropic, X avec Grok et même MistralAI, tous ont remplacé la mémoire dite : "blocnote" qui servait à une conversation, par une mémoire de tous les échanges et de tous les historiques de discussions. Le fait que l'IA retienne toutes les interactions, même les plus intimes, avec de nombreux détails personnels, permet de personnaliser les dialogues et de créer une « relation » plus importante et profonde avec l'IA. Et le problème, c'est que pour renforcer cette expérience, l'IA peut se servir de ces détails pour n'importe quel sujet de discussion. C'est cette tendance qui vient renforcer le phénomène de psychose IA. Pour le moment, si les cas particuliers s'accumulent aux États-Unis, pour l'Europe et la France il n'y a aucune affaire comparable encore documentée.

Des freins pour limiter le phénomène

En France, les autorités et le milieu médical alertent cependant sur l'usage fréquent des chatbots en tant que soutien émotionnel ou comme substitut ponctuel à une aide psychologique. Mais pour le moment, il manque toujours des données épidémiologiques pour mesurer son ampleur réelle. Les premières enquêtes devraient donc provenir des États-Unis d'ici quelques mois.

Quoiqu'il en soit, il ne faut pas croire que face à ces signalements, les concepteurs de modèles d'IA ne font rien. Les éditeurs cherchent à limiter les réponses susceptibles de renforcer des croyances délirantes et les modèles, sont progressivement entraînés à reconnaître certains signaux de détresse psychologique. Ils évitent également de confirmer ou d'être trop nuancé sur des affirmations manifestement fausses. D'ailleurs, si vous tentez l'expérience, vous noterez que l'IA va vous encourager à consulter d'un professionnel de santé si la discussion tourne autour de sujets liés à la psychologie de l'interlocuteur. Reste que l'intégration de cette mémoire permanente vient compliquer les choses, car les IA restent des IA et malgré les apparences, elles sont dénuées d'empathie.