Le billet d'humeur de Dany Gerbinet: Le Golem suite...

Je l’expliquais dans un billet précédent, le cauchemar de Wiener était de voir la
décision d’utiliser l’arme nucléaire confiée à une machine cybernétique. S’il nous voit
de là-haut, il n’est probablement pas rassuré. L’humanité est en train de créer des
machines capables d’apprentissages, dotées d’une forme d’esprit critique et de
pouvoir de décision.

Ainsi la méthode GAN (1) présente-t-elle de troublants parallèles avec la théorie de
l’apprentissage de Gregory Bateson : la machine apprend « par itération », ce qui
correspond à la définition de l’apprentissage de notre mentor : un accroissement de
la redondance entre l’organisme et son environnement.

Bateson distingue 4 niveaux d’apprentissage, et il semble que les machines soient
capables d’atteindre le 3 e niveau. (2)

Le niveau un est la simple réception d’une information. Ce sont les inputs.

Le niveau 2 selon Bateson est celui où l’organisme fait un « passage à la classe » et
associe un certain nombre d’apprentissage de niveau 1 pour en tirer une règle
générale. C’est l’exemple célèbre du chien de Pavlov, nous sommes donc là au
niveau du comportement associatif des premiers comportementalistes.

Le premier programme de la méthode GAN a atteint ce niveau : il peut tirer des
conclusions de ces apprentissages de niveau 1 !

Et cela ne s’arrête pas là : Un méta programme renforce positivement ou
négativement les conclusions du premier ! Il agit comme un éducateur : il utilise les
« récompenses » et les « punitions », exactement comme le font les parents avec
leurs enfants… Nous serions alors au niveau 3 dans la théorie Batesonienne.

Mais le plus extraordinaire est que les derniers ordinateurs disposent d’une certaine
autonomie : ils sont programmés pour fixer leurs propres objectifs, à condition que
ceux-ci servent à résoudre des problèmes qui se posent à l’humanité.

Sage précaution semble-t-il, mais c’est pourtant là que certains scientifiques tirent la
sonnette d’alarme et que Wiener se retourne dans sa tombe. Les machines, tout à
leurs stratégies d’évitement des punitions et de recherche de récompenses
pourraient faire passer leurs propres besoins avant ceux des humains.

Des ordinateurs travaillant sur la raréfaction des ressources énergétiques, et doté
d’une capacité d’analyse de leurs propres besoins, pourraient en conclure …que leur
survie est menacée par une pénurie d’électricité. Face à ce péril, une solution
parfaitement rationnelle serait de réduire drastiquement la population humaine ! Ce
faisant, les machines feraient coup double : elles résolvent l’équation nombre
d’humains/ ressources disponibles et s’assurent de leur propre survie. En effet, s’il
est impossible d’accroître les ressources de la planète il est possible de réduire le
nombre d’humains de manière à ce que la consommation des survivants n’excède
pas les capacités de renouvellement de la planète. Ce qui, après tout, ne serait de la
part des machines que « de la décroissance radicale » !

(1) Pour Generative Adversial Network.
(2) Bateson échelonne les 4 niveaux de zéro à 3. Par souci de clarté, je les ai échelonnés de 1 à 4.