Comme je l’expliquais dans un billet d'humeur précédent (le Golem, sommes-nous tous des ordinateurs mal programmés ?), le cauchemar de Wiener était de voir la décision d’utiliser l’arme nucléaire confiée à une machine cybernétique. S’il nous voit de là-haut, il n’est probablement pas rassuré. L’humanité est en train de créer des machines capables d’apprentissages, dotées d’une forme d’esprit critique et de pouvoir de décision.

Ainsi la méthode GAN (1) présente-t-elle de troublants parallèles avec la théorie de l’apprentissage de Gregory Bateson : la machine apprend « par itération », ce qui correspond à la définition de l’apprentissage de notre mentor : un accroissement de la redondance entre l’organisme et son environnement.

Bateson distingue 4 niveaux d’apprentissage, et il semble que les machines soient capables d’atteindre le 3e niveau. (2)

Le niveau 1 est la simple réception d’une information. Ce sont les inputs.

Le niveau 2 selon Bateson est celui où l’organisme fait un « passage à la classe » et associe un certain nombre d’apprentissage de niveau 1 pour en tirer une règle générale. C’est l’exemple célèbre du chien de Pavlov, nous sommes donc là au niveau du comportement associatif des premiers comportementalistes.

Le premier programme de la méthode GAN a atteint ce niveau : il peut tirer des conclusions de ces apprentissages de niveau 1 !

Et cela ne s’arrête pas là : Un méta programme renforce positivement ou négativement les conclusions du premier ! Il agit comme un éducateur : il utilise les « récompenses » et les « punitions », exactement comme le font les parents avec leurs enfants… Nous serions alors au niveau 3 dans la théorie Batesonienne.

Mais le plus extraordinaire est que les derniers ordinateurs disposent d’une certaine autonomie : ils sont programmés pour fixer leurs propres objectifs, à condition que ceux-ci servent à résoudre des problèmes qui se posent à l’humanité.

Sage précaution semble-t-il, mais c’est pourtant là que certains scientifiques tirent la sonnette d’alarme et que Wiener se retourne dans sa tombe. Les machines, tout à leurs stratégies d’évitement des punitions et de recherche de récompenses pourraient faire passer leurs propres besoins avant ceux des humains.

Des ordinateurs travaillant sur la raréfaction des ressources énergétiques, et doté d’une capacité d’analyse de leurs propres besoins, pourraient en conclure …que leur survie est menacée par une pénurie d’électricité. Face à ce péril, une solution parfaitement rationnelle serait de réduire drastiquement la population humaine ! Ce faisant, les machines feraient coup double : elles résolvent l’équation nombre d’humains/ ressources disponibles et s’assurent de leur propre survie. En effet, s’il est impossible d’accroître les ressources de la planète il est possible de réduire le nombre d’humains de manière à ce que la consommation des survivants n’excède pas les capacités de renouvellement de la planète. Ce qui, après tout, ne serait de la part des machines que « de la décroissance radicale » !

(1) Pour Generative Adversial Network.
(2) Bateson échelonne les 4 niveaux de zéro à 3. Par souci de clarté, je les ai échelonnés de 1 à 4.