Voici pourquoi ChatGPT et les autres IA sont encore très loin du cerveau humain

La majorité des réseaux de neurones actuels sont entraînés grâce à un algorithme connu sous le vocable de « rétropropagation du gradient de l'erreur ». Publié en 1975, il a été appliqué aux réseaux de neurones dix ans plus tard. Toutefois, ce n'est qu'à partir des années 2010, que l'on a enfin compris comment le mettre en oeuvre efficacement pour l'apprentissage des réseaux neuronaux, ce qui a permis ensuite une spirale de progrès significatifs.

Malgré son appellation rebutante, le principe est simple. Un réseau est généralement constitué de couches successives, où chaque neurone est une sorte de petit automate effectuant la somme de ses entrées, pondérées par des coefficients, les fameux paramètres du réseau. Le neurone applique ensuite sur cette somme une fonction que l'on peut assimiler à un seuil, pour simplifier. Le résultat est alors transmis aux neurones de la couche suivante. Lorsque l'on utilise le réseau, les signaux à l'entrée se propagent ainsi de couche en couche jusqu'à la sortie. Pour lui apprendre à reconnaître quelque chose, on compare les valeurs obtenues en sortie avec celles que l'on souhaite obtenir.

La différence entre les deux est appelée tout simplement l'erreur. Le principe de l'apprentissage consiste alors à parcourir les couches à rebours, de la sortie vers l'entrée (rétropropagation), pour ajuster les coefficients de façon à réduire cette erreur. Cette manière de procéder est responsable à la fois de l'efficacité de cette méthode, mais aussi de ses défauts. En effet, l'algorithme est en pratique capricieux, avec une forte tendance à ne pas fonctionner correctement, par exemple si l'on va trop vite ou avec trop peu de données. Par conséquent, il est lent, glouton en données, et gourmand en ressources.

Pourquoi notre cerveau reste encore très différent des intelligences artificielles

À l'évidence, notre cerveau ne fonctionne pas de cette manière. Un enfant de trois ans observe un chat pendant quelques instants et reconnaîtra ensuite l'animal toute sa vie durant. Il faut à un réseau de neurones artificiels des milliers d'images pour y arriver, et un temps d'apprentissage bien supérieur. En outre, notre cerveau n'a pas besoin de stopper son activité pour apprendre, contrairement à l'algorithme qui fonctionne en deux phases bien distinctes, la phase de propagation et la phase de correction en sens inverse. Lors de cette seconde étape, tous les neurones doivent être « figés » lorsqu'on modifie l'un d'entre eux. Il n'y a pas d'indice à ma connaissance indiquant un processus similaire dans le cerveau : tout fonctionne en parallèle, simultanément. De plus, l'algorithme de rétropropagation nécessite une synchronisation globale et parfaite des différentes étapes. À l'inverse, les neurones biologiques agissent localement comme des agents autonomes sans supervision globale.

Il y a beaucoup d'autres différences entre les cerveaux organiques et les réseaux artificiels. Nous reviendrons sur certaines d'entre elles dans de futurs articles. Toujours est-il que malgré des résultats spectaculaires, les IA d'aujourd'hui nécessitent encore des avancées scientifiques et technologiques considérables.