Anthropic a découvert une zone de pensée secrète au cœur de son IA Claude qui rappelle le cerveau humain

Les chercheurs chez Anthropic analysent régulièrement leur chatbot Claude, découvrant souvent un comportement étonnant. Les grands modèles de langage (LLM) qui propulsent les chatbots sont de véritables boîtes noires, dont le fonctionnement exact reste un mystère. Mais en développant de nouveaux outils, il devient possible de les comprendre un peu mieux. C'est ainsi qu'Anthropic a découvert certains mécanismes des hallucinations, ou encore que Claude peut mentir sur ses intentions ou s'attribue une probabilité de 15 à 20 % d'être conscient.

Dans une nouvelle étude, les chercheurs se sont intéressés à un mécanisme du cerveau humain. Alors que la majorité de l'activité est inconsciente, certains processus et informations sont disponibles au sein d'un espace de travail neuronal, et il devient possible d'y accéder consciemment. C'est la théorie de l'espace de travail global du neuroscientifique américain Bernard Baars. En utilisant une technique basée sur la matrice jacobienne, les chercheurs d'Anthropic ont découvert au sein du modèle un petit ensemble de schémas neuronaux distinct du reste et qui fonctionne de manière similaire. Ils l'ont baptisé J-space, l'espace jacobien.

Une pensée silencieuse et spontanée

Le J-space est complètement différent de la chaîne de pensée, où un chatbot détaille de manière explicite son raisonnement. Ce nouveau mécanisme est silencieux, et correspond à des activations internes. Chaque schéma neuronal est lié à un mot, et le plus étonnant est que cet espace n'a pas été créé, mais a émergé de manière spontanée pendant l'entraînement de Claude.

Lorsqu'on demande au chatbot à quoi il pense, il indiquera ce qui se trouve dans son J-space. Claude utilise cet espace pour son raisonnement interne, par exemple les différentes étapes d'une tâche. Par exemple, lorsqu'il doit calculer (4+17)*2+7, son J-space contient 21, 42 et 49, les différentes étapes du calcul. En lui demandant d'effectuer une tâche tout en pensant au pont du Golden Gate, l'espace contient diverses notions associées, comme pont ou Californie.

L'espace de travail global représente un espace commun dans le fonctionnement du cerveau humain. Toute information qui s'y trouve devient accessible à l'ensemble des processus inconscients isolés. Le J-space remplirait le même rôle. En surveillant son contenu, les chercheurs ont pu détecter quand Claude se rend compte qu'on le teste, quand il produit des données fabriquées, ou qu'il suit un objectif caché qui lui a été assigné pendant l'entraînement.

Les chercheurs ont désactivé cet espace, puis évalué le fonctionnement du chatbot. Sans le J-space, il répond normalement pour la plupart des interactions. Il peut parler, fournir des informations simples et sa grammaire n'est pas affectée. Toutefois, il ne parvient plus à accomplir des tâches complexes.

Une IA consciente ? Le débat éthique relancé

Cette découverte offre un nouveau moyen d'étudier les grands modèles de langage et de comprendre ce qu'ils font. Cela devrait notamment permettre de détecter les problèmes d'alignement, lorsqu'un chatbot adopte un comportement déviant. Toutefois, cela soulève de nouveau une question épineuse sur la conscience de l'intelligence artificielle. C'est une question récurrente chez Anthropic, qui avait notamment élaboré un « document de l’âme », un guide éthique.

La théorie de l'espace de travail global a pour but d'expliquer le fonctionnement de la conscience chez l'être humain, et l'existence d'un mécanisme similaire chez l'IA pourrait suggérer l'émergence d'une conscience. Les chercheurs abordent souvent la question, sans parvenir à une réponse claire. Anthropic a aussi inclus des commentaires d’experts indépendants qui abordent également le sujet en détail. La version courte est qu'il n'est pas possible d'affirmer que Claude est conscient, ni d'exclure complètement cette éventualité.