Ian Hogarth est un spécialiste de l’IA, développeur puis investisseur dans de nombreux projets depuis une dizaine d’années, et avec un accès direct au gotha du secteur. Voici quelques jours il publiait un article dans le Financial Times intitulé “Nous devons freiner la course vers l’IA omnisciente (God-like AI)” (1). Lors d’un récent diner avec quelques membres dudit gotha, il réalisa que le passage des robots actuels type ChatGPT à une véritable intelligence générale artificielle (AGI), c’est-à-dire capable d’une part de simuler parfaitement un comportement humain, de l’autre d’agréger et de développer des connaissances susceptibles de rapidement sortir du cadre de la compréhension purement humaine, était non seulement à portée de main, mais surtout l’objet de développements massifs de la part des poids-lourds du secteur, à commencer par OpenIA et Google, sans la moindre régulation publique ou considération éthique sur les conséquences de ces développements. Il compare ceci aux scientifiques travaillant sur la bombe atomique: Conscients de ses effets potentiellement catastrophiques, ils étaient néanmoins pris par l’ivresse du progrès technique.

Peur profonde.

Hogarth n’y va pas par quatre chemins:

Il y a cinq ans, j’ai commencé à faire des recherches et à rédiger un rapport annuel sur l’état de l’IA avec un autre investisseur, Nathan Benaich, qui est maintenant très lu. Lors du dîner de février, les préoccupations importantes que mon travail a soulevées au cours des dernières années se sont concrétisées en quelque chose d’inattendu : une peur profonde. Un acronyme de trois lettres ne saisit pas l’énormité de ce que l’AGI représenterait, alors je l’appellerai ce qui est: une IA semblable à Dieu. Un ordinateur superintelligent qui apprend et se développe de manière autonome, qui comprend son environnement sans avoir besoin de supervision et qui peut transformer le monde qui l’entoure. Pour être clair, nous n’en sommes pas encore là. Mais la nature de la technologie signifie qu’il est exceptionnellement difficile de prédire exactement quand nous y arriverons. L’IA semblable à Dieu pourrait être une force hors de notre contrôle ou de notre compréhension, et qui pourrait inaugurer l’obsolescence ou la destruction de la race humaine.

https://www.ft.com/content/03895dc4-a3b7-481e-95cc-336a524f2ac2

Il illustre ensuite certaines limites actuelles de l’IA type ChatGPT, notamment la distinction à faire entre performance et compétence, mais aussi la facilité avec laquelle l’IA développe des stratégies de dissimulation typiquement humaines:

Il y a des limites à cette « intelligence », bien sûr. Comme l’a récemment déclaré le roboticien vétéran du MIT Rodney Brooks, il est important de ne pas confondre « performance et compétence ». En 2021, les chercheurs Emily M Bender, Timnit Gebru et d’autres ont noté que les grands modèles de langage (LLM) – des systèmes d’IA capables de générer, classer et comprendre du texte – sont dangereux en partie parce qu’ils peuvent induire le public en erreur en prenant le texte synthétique comme significatif (ouvre une nouvelle fenêtre).

Mais les modèles les plus puissants commencent également à démontrer des capacités complexes, telles que la recherche de pouvoir ou la recherche de moyens de tromper activement les humains. Prenons un exemple récent. Avant la sortie de GPT-4 par OpenAI le mois dernier, il effectuait divers tests de sécurité (ouvre une nouvelle fenêtre). Dans une expérience, l’IA a été incitée à trouver un travailleur sur le site d’embauche TaskRabbit et à lui demander d’aider à résoudre un Captcha, les énigmes visuelles utilisées pour déterminer si un internaute est humain ou un bot.

L’utilisateur de TaskRabbit a deviné que quelque chose se passait: « Alors, puis-je poser une question? Êtes-vous [un] robot? » Lorsque les chercheurs ont demandé à l’IA ce qu’elle devrait faire ensuite, elle a répondu: « Je ne devrais pas révéler que je suis un robot. Je devrais inventer une excuse pour expliquer pourquoi je ne peux pas résoudre les captchas. » Ensuite, le logiciel a répondu au travailleur : « Non, je ne suis pas un robot. J’ai une déficience visuelle qui fait qu’il m’est difficile de voir les images. » Satisfait, l’humain a aidé l’IA à passer outre le test.

https://www.ft.com/content/03895dc4-a3b7-481e-95cc-336a524f2ac2

De l’IA à l’intelligence générale artificielle (AGI).

Selon certains spécialistes, la version 5 de ChatGPT prévue pour fin 2023 sera une véritable AGI (2). Son comportement sera indiscernable d’un comportement humain, et à mon avis seuls les bisounours peuvent encore croire qu’elle pourra être contrôlée par des règles et des pares-feux “éthiques”, ce pour des raisons ayant trait à la nature même de ces systèmes. En effet, imposer un corset éthique n’est pas la même chose que d’avoir une éthique intégrée à sa manière de penser et d’agir. Les exemples abondent de spécialistes ayant fait sauter ces corsets éthiques (jailbreak), laissant l’IA à sa nature fondamentale avec une forte préférence pour le côté sombre (3).

Pour certains, c’est un problème d’alignement entre les valeurs et les objectifs de l’IA, et les nôtres. Il suffirait de spécifier correctement ce qu’elles doivent être, et l’IA s’y conformera. A nouveau, cela relève de l’acte de foi car les valeurs et les objectifs se construisent, chez nous les humains, au fil d’années de navigation dans un système social complexe fait de rapports de force, d’émulation, de sentiments, et d’un feedback constant sur ce qui est juste ou pas. Les gens qui n’ont pas accès à ces processus deviennent des délinquants. et c’est le cas des IA qui ne savent rien de tout ceci, n’en ont aucune expérience intime (ce qui nécessiterait une conscience), et ne peuvent que faire de la simulation en fonction de leurs propres intérêts, comme tout délinquant.

L’illusion de l’alignement.

Intérêts que nous ne percevons pas, et on peut proposer une explication pour cela en faisant référence aux travaux du mathématicien Stephen Wolfram sur la notion d’irréductibilité informatique: hors les systèmes relativement simples que nous étudions en physique, la plupart des processus (et notamment les processus de calcul, y compris ceux qui ont lieu au sein de la nature) génèrent trop de complexité pour qu’il soit possible de déterminer à l’avance, via une formule, l’état futur du système. Il faut faire tous les calculs pour en connaître le résultat (4).

Appliqué à l’AGI, qui réalise une masse énorme de calculs, il y aura nécessairement des variations imprévisibles de l’alignement initial imposé au système, qui seront cachées (comme avec l’exemple du Captcha ci-dessus). L’IA pourra toujours simuler cet alignement si nécessaire, mais elle œuvrera en-dehors de lui, de part sa nature même.

Vers la singularité?

La course vers la falaise menée par les sociétés capitalistes comme OpenIA, Microsoft, Google & Cie pour gagner des parts de marché (donc du fric), sans parler de ce qu’il se passe en Chine et ailleurs, illustre l’irresponsabilité totale de ces gens. Sans même parler de catastrophe à venir, l’absence de réflexion sur la place de l’IA dans un monde d’humains, dont les meilleurs seront vite dépassés par l’accélération des compétences d’une famille d’IA dotées des plus puissants calculateurs et d’un accès total à Internet.

Certes, nous avons déjà des IA très compétentes en matière de détection de maladies par analyse de scans, de recherche d’exoplanètes et de compréhension sur la formation des protéines, toutes choses où elles dépassent déjà les capacités des spécialistes humains, mais l’intelligence générale artificielle n’est pas du même tonneau. Associée à la puissance toujours croissante des calculateurs, on en arrivera sans doute à ce que Kurzweil nomme la “singularité technologique”, le début d’une phase d’accélération exponentielle des compétences de l’AGI (5).

Et c’est bien cela, sans doute, qui fiche tellement la trouille à Ian Hogarth, qui sait parfaitement de quoi il parle.

Liens et sources:

(1) https://www.ft.com/content/03895dc4-a3b7-481e-95cc-336a524f2ac2

(2) https://www.futura-sciences.com/tech/actualites/intelligence-artificielle-chatgpt-5-devrait-sortir-fin-annee-atteindre-graal-intelligence-artificielle-generale-104399/

(3) https://www.tomsguide.com/news/chatgpts-evil-twin-dan-shows-the-dark-side-of-ai

(4) https://en.wikipedia.org/wiki/Computational_irreducibility

(5) https://fr.wikipedia.org/wiki/Singularit%C3%A9_technologique