Les carnets de Jean-Claude Heudin : le plafond de verre des grands modèles de langage

Le succès remarquable des grands modèles de langage (LLM pour Large Language Model) repose sur l'observation empirique selon laquelle l'augmentation de la taille du modèle, des données d'entraînement et de la puissance de calcul conduit systématiquement à de meilleures performances.

En effet, il semble exister une loi d'échelle : plus un modèle est gros, plus il est efficace et plus il semble intelligent. Cet état de fait a conduit certains à imaginer qu'il suffit simplement d'augmenter encore et encore la taille et la puissance de calcul pour atteindre la superintelligence.

Cette stratégie est-elle la bonne ou bien existe-t-il une limite au-delà de laquelle, il n'y aurait plus d'amélioration ?

Pour tenter de répondre à cette question, il faut commencer par expliquer comment les mots et leurs sens sont représentés dans un LLM. C'est un peu technique, mais rassurez-vous, le principe est assez simple à comprendre.

ChatGPT, comme la majorité des LLMs, encode les mots du langage sous la forme de « tokens ». Ce sont des vecteurs associés aux mots et à leur contexte d'utilisation (embeddings), c'est-à-dire les autres tokens avec lesquels ils ont été utilisés le plus fréquemment.

Dans un espace à deux dimensions, il suffit de deux coordonnées pour situer précisément une chose, comme par exemple la latitude et la longitude pour une position terrestre.

Dans l'espace des mots du langage, il est nécessaire d'avoir un nombre de coordonnées bien plus important. Ainsi ChatGPT-4 utilise des vecteurs allant jusqu'à plus de 3000 valeurs. Cet espace de hautes dimensions, associé aux nombres de paramètres du réseau, autrement dit sa taille, permet de stocker un nombre très important de tokens.
 

Représentation graphique de l’espace des tokens centré sur « King ». © Image créée par Jean-Claude Heudin avec TensorFlow Projector

Toutefois, il arrive que certains mots soient si proches dans cet espace, qu'ils se superposent. C'est pourquoi un petit modèle a tendance à compresser ses données d'entraînement. Les mots interférent alors et produisent des résultats erronés et des confusions. Pour réduire ces effets négatifs, la solution est soit de réduire le vocabulaire, soit d'augmenter la taille du modèle. Grosso modo, quand on double la taille, on réduit les interférences d'un facteur 2.

Une récente étude du MIT montre que si le modèle atteint la taille du vocabulaire du langage, alors il n'y a plus aucun gain à augmenter encore sa taille. Si cette analyse est confirmée par d'autres travaux, alors la conclusion est sans appel : augmenter seulement la taille indéfiniment n'est pas la bonne stratégie, car la performance du modèle va trouver une limite et plafonner.

En d'autres termes, il faut changer de paradigme.