Les carnets de Jean-Claude Heudin : les IA vont-elles nous dépasser en s’améliorant elles-mêmes ?

A priori non. Les mots clés dans mon introduction sont un vague « peut-être prochainement ». Le long article d'Anthropic est une discussion sur la possibilité, ou pas, d'obtenir une IA suffisamment autonome pour s'améliorer elle-même au moyen de cycles récursifs de développement. Dans les faits, cette idée est aussi ancienne que la discipline. La première mention proviendrait d'une discussion entre John von Neumann (1930-1957) et Stanislaw Ulam (1909-1984) alors qu'ils collaboraient à Los Alamos lors du projet Manhattan. Elle fut reprise ensuite en 1965 par Irving Good (1916- 2009) qui décrivit ce qui allait devenir le concept de « singularité technologique », avec entre autres Vernor Vinge en 1993, Hans Moravec en 1998, et surtout Ray Kurzweil en 2005.

Actuellement, les laboratoires d'IA ne se privent pas d’utiliser l’IA pour améliorer leur productivité

Dans l'article, il n'est aucunement fait mention de l'émergence possible d'une super-intelligence par une amélioration exponentielle due à ce mode d'auto-développement et qui échapperait à notre contrôle. Bien au contraire.

Trois scénarios possibles y sont envisagés :

Actuellement, les laboratoires d'IA ne se privent pas d'utiliser l'IA pour améliorer leur productivité. Toutefois, il se pourrait que cette tendance s'essouffle : au lieu d'une courbe exponentielle, on obtiendrait alors une courbe en S avec des gains d'échelle qui diminueraient pour se stabiliser ensuite.Les laboratoires d'IA continueront d'enregistrer des gains d'efficacité croissants. Dans ce contexte, le développement de l'IA serait largement automatisé, mais les humains conserveraient la responsabilité de définir les orientations du développement et d'en évaluer les résultats.Les systèmes d'IA acquièrent la capacité de s'améliorer de manière entièrement autonome et commencent à concevoir leurs successeurs.

Le premier scénario, selon Anthropic, est le plus improbable, car les récents progrès de Claude en matière de production de code semblent montrer le contraire. Le troisième scénario, selon moi, ne semble pas impossible, mais reste assez peu probable. En effet, cela signifierait que l'on a résolu plusieurs problèmes difficiles :

Doter l'IA de capacités de recherche ouverte et d'en définir elle-même les modalités d'évaluation. À l'heure actuelle, un des avantages pour l'humain réside encore dans sa capacité à avoir une vision d'ensemble et de penser au-delà des limites de la tâche immédiate.Résoudre le problème d'alignement. L'IA doit pouvoir découvrir et mettre en oeuvre des solutions inédites auxquelles nous n'aurions pas encore pensé, mais qui respecteraient les objectifs humains. Dans le cas contraire, elle devrait interrompre son processus d'amélioration.Limiter le risque d'une diminution significative de notre compréhension de l'IA. Il en résulterait une asymétrie entre une IA capable de nous comprendre de mieux en mieux, alors que notre connaissance de l'IA déclinerait jusqu'àun point de non retour.

En conclusion, le second scénario est certainement le plus souhaitable dans l'état actuel de nos connaissances : l'humain et l'IA collaborent étroitement pour développer les successeurs des IA actuelles.