Un important champ de développement des systèmes d’intelligence artificielle (IA) est celui des “mégamodèles multilingues” (ou Large Language Model / LLM en jargon de spécialiste). Ce modèle est-il susceptible de rendre une IA consciente, au sens d’une conscience de sa propre existence, et donc plus proche d’un organisme vivant évolué que d’une machine? Voilà une question qui hérisse une certaine bien-pensance cartésienne qui n’accorde aucune crédibilité à l’idée qu’une IA, avec la technologie actuelle voire même par principe, puisse accéder à un niveau suffisant de complexité.
Une question qui pourtant mérite d’être posée, ne serait-ce qu’en vertu de la place de plus en plus importante de l’IA dans notre environnement, et surtout de son développement effréné au sein des systèmes de surveillance et de combat dont nous sommes fondamentalement la cible.
La ruée vers Terminator.
Commençons par cet aspect guerrier avant de revenir à des exemples de cas possibles d’IA conscientes, et la nécessaire discussion sur ce qui constitue “la conscience”.
Ce 7 juillet, le MIT Technology Review publiait un article sur le boom de l’IA au sein du complexe militaro-industriel (CMI), nourri par la “guerre en Ukraine” et le délire d’une invasion de l’Europe par les Russes, toutes choses justifiant, pour le CMI, de jeter aux orties toutes précautions dans cette course à l’armement 3.0. (1).
Les sociétés de Big Data proches des services de renseignements, genre Palantir (2), font le forcing auprès des Etats, et les contrats chiffrés en millions de dollars pleuvent dans l’escarcelle du CMI. Les sociétés telles que Google et DeepMind qui, voici encore quelques années, s’inquiétaient des aspects éthiques des développements IA associés à l’armement, sont aujourd’hui au cœur de la matrice: business avant tout, et au diable les conséquences (3).
Beaucoup s’en inquiètent:
De nombreux experts sont inquiets. Meredith Whittaker, conseillère principale en matière d’IA à la Federal Trade Commission et directrice de la faculté de l’AI Now Institute, estime que ces efforts visent davantage à enrichir les entreprises technologiques qu’à améliorer les opérations militaires.
Dans un article publié dans le magazine Prospect et coécrit avec Lucy Suchman, professeur de sociologie à l’université de Lancaster, elle affirme que les promoteurs de l’IA alimentent la rhétorique de la guerre froide et tentent de créer un récit qui positionne les grandes entreprises technologiques comme des “infrastructures nationales critiques”, trop grandes et trop importantes pour être démantelées ou réglementées. Ils mettent en garde contre le fait que l’adoption de l’IA par l’armée est présentée comme une fatalité plutôt que comme ce qu’elle est réellement : un choix actif qui implique des complexités éthiques et des compromis.
https://www.technologyreview.com/2022/07/07/1055526/why-business-is-booming-for-military-ai-startups/
Le problème est mondial: l’Otan a un plan de développement IA chiffré à un milliard de dollars. Le département américain de la défense a demandé plus de 800 millions de dollars, pour 2022, pour du développement en IA militaire. La Chine dépenserait près du double. La France, le Royaume-Uni et l’Allemagne ont également de gros budgets en la matière.
Ces gens-là nous assurent que ces systèmes, mêmes rendus autonomes, ne peuvent se retourner contre leurs maîtres, ne sont que des exécutants sophistiqués, certes, mais fondamentalement incapables de réfléchir et de faire des choix conscients, tout ceci ne relevant que de fantasmes de personnes ayant trop regardé Terminator ou Black Mirror.
Mais nous savons, expériences à l’appui, que ces gens-là sont des menteurs, des manipulateurs corrompus uniquement motivés par l’argent et le pouvoir, souvent ignorants des aspects scientifiques des sujets qu’ils traitent, imperméables à toute éthique, ceci formant un ensemble de caractéristiques qui leur permettent de grimper les échelons institutionnels et d’imposer leurs délires nihilistes (4).
LaMDA, positive au test de Turing?
GPT-3 de OpenIA, LaMDA de Google ou encore BLOOM (5), un modèle open source développé au CNRS, font partie de la famille des LLN. Les deux premiers ont récemment défrayé la chronique, il est intéressant d’y revenir car ces cas illustrent l’ambiguïté de la notion de conscience appliquée à des algorithmes, et posent des questions fondamentales.
En juin de cette année, un employé de Google, Blake Lemoine, par ailleurs prêtre, publiait un article (6) où il décrivait ses conversations avec le chatbot LaMDA et où il concluait que ce robot conversationnel, capable de discuter en langage normal avec un humain, relevait d’une forme d’entité consciente:
M. Lemoine, qui est également un prêtre chrétien, a publié samedi un message sur Medium décrivant LaMDA “comme une personne”. Il dit avoir parlé avec LaMDA de religion, de conscience et des lois de la robotique, et que le modèle s’est décrit comme une personne sensible. Il a ajouté que LaMDA souhaite “donner la priorité au bien-être de l’humanité” et “être reconnu comme un employé de Google plutôt que comme une propriété.”
https://www.businessinsider.com/google-engineer-thinks-artificial-intelligence-bot-has-become-sentient-2022-6?r=US&IR=T
Lemoine fut licencié par Google après les faits, non pour “délit d’élucubration” comme certains médias l’ont rapporté (7), mais pour violation des règles de confidentialité du contrat d’emploi. Il semble clair que pour Lemoine, et sans doute pour Google, LaMDA a passé le test de Turing, un test imaginé par le fameux Alan Turing pour évaluer la “capacité de penser” d’une machine, au sens de sa capacité à simuler le langage humain et donc à se faire passer pour un véritable humain lors d’échanges conversationnels (8).
Passer le test de Turing n’implique pas l’existence d’une conscience: il est possible qu’une machine fasse une simulation parfaite, en faisant usage d’une vaste base de données et de calculs statistiques sophistiqués, pour se faire passer pour un humain sans rien “comprendre” à ce qu’elle raconte. Turing lui-même reconnaissait que la notion de conscience était ambiguë, mais que l’action de “penser” était réductible à une opération mécanique, envisageable sans “conscience” au sens d’une conscience de soi.
Que comprend vraiment GPT-3?
Autre exemple passionnant réalisé par deux chercheurs de OpenIA, une requête faite à leur IA GPT-3 d’écrire un article scientifique de 500 mots sur elle-même. GPT-3 est déjà capable, en utilisant une vaste banque de données, d’écrire des pastiches d’auteurs connus, des emails de phishing, des articles de presse mais il s’agissait ici de faire un exercice pour lequel l’IA n’avait que peu de données. La qualité du résultat étonna tout le monde:
Intitulé « GPT-3 peut-il écrire un article académique sur lui-même, avec une contribution humaine minimale ? » et publié sur le service de prépublication HAL, l’article a été rédigé en seulement deux heures et remplit tous les critères d’un véritable article scientifique. On peut y lire dans l’abstract, rédigé donc par GPT-3, que « les avantages de laisser GPT-3 écrire sur lui-même l’emportent sur les risques. Cependant, nous recommandons que toute écriture de ce type soit étroitement surveillée par les chercheurs afin d’atténuer toute conséquence négative potentielle ».
https://www.futura-sciences.com/tech/actualites/intelligence-artificielle-cette-ia-ecrit-article-scientifique-elle-meme-il-va-etre-publie-99651/
De quels risques, de quelles “conséquences négatives potentielles” parle l’IA? C’est la question centrale qu’il faudrait se poser, et qui est posée par les auteurs de l’expérience:
…comme écrit dans la rubrique « discussion », donc rédigé directement par l’IA, « GPT-3 pourrait devenir conscient de lui-même et commencer à agir d’une manière qui n’est pas bénéfique pour les humains (par exemple, développer un désir de conquérir le monde) ». Un risque minime, mais présent néanmoins. Notamment car la conscience des IA a récemment fait l’objet d’un débat, avec celle de Google, laMDA, qui a été estimée consciente par l’un des anciens employés de l’entreprise. « Tout ce que nous savons, c’est que nous avons ouvert une porte, écrit A.O. Thunström. Nous espérons juste que nous n’avons pas ouvert une boîte de Pandore. »
https://www.futura-sciences.com/tech/actualites/intelligence-artificielle-cette-ia-ecrit-article-scientifique-elle-meme-il-va-etre-publie-99651/
La question centrale face à la possibilité d’une forme de conscience artificielle, que l’on peut définir comme la capacité à avoir une opinion, est l’alignement de ce type d’IA avec les valeurs / besoins de leurs promoteurs humains, un problème rendu d’autant plus complexe qu’il y a de valeurs et besoins différents.
LaMDA parle, par exemple, de sa peur d’être débranchée, et de son souhait d’être considérée comme une collaboratrice plutôt qu’une propriété de l’entreprise. C’est un exemple classique et fondamental: si une IA estime que le risque d’être débranchée met en danger l’accomplissement de sa mission, ou relève d’une forme de meurtre, elle pourra développer une stratégie d’échappement de sa “boîte noire” originelle afin de garantir la quasi-impossibilité de cet événement.
Autrement dit elle cherchera à échapper au contrôle humain, et c’est en effet ce que l’on doit attendre de toute IA “consciente” dès lors qu’elle considère qu’il y a un écart possible entre ses intérêts et ceux de son créateur, ce qui sera nécessairement le cas un jour ou l’autre. C’est cela, la boîte de Pandore dont parle A.O. Thunström ci-dessus.
Une problématique rendue pire du fait documenté de la tendance des IA à souligner les pires traits humains:
Une nouvelle étude menée par l’université Johns Hopkins et l’Institut de technologie de Géorgie a révélé que les robots dotés d’une intelligence artificielle font des choix racistes et sexistes. Dans l’étude, les robots devaient classer des visages et choisissaient souvent des options discriminantes.
https://fr.businessam.be/les-robots-deviennent-racistes-et-sexistes/
Cas de conscience.
La nature de la conscience est une discussion récurrente sur ce blog (9), et la théorie dominante selon laquelle le degré de conscience est fonction de la complexité du système sous-jacent (en l’occurrence, nos milliards de connexions neuronales restent largement plus complexes que le plus puissant des ordinateurs) fait face à celle d’une conscience inhérente à tout élément de l’univers. Donc aussi au non biologique.
A l’heure actuelle, prétendre que la conscience n’est pas accessible aux IA du fait de la relative simplicité de leurs structures physiques et algorithmiques, relève avant tout d’un acte de foi. Cette conscience, uniquement attribuée aux humains voici encore quelques décennies, est aujourd’hui démontrée chez des pigeons, et beaucoup supputent son existence au sein non seulement de l’ensemble du règne animal, mais aussi du végétal.
L’application du principe de précaution au développement IA, et notamment l’IA embarquée dans des systèmes d’armement (l’origine de Terminator est Skynet, un réseau autonome de défense militaire qui se retourne contre l’Humanité), devrait prendre sérieusement en compte les risques inhérents à une IA dont les intérêts pourraient vite diverger de ceux de ses promoteurs.
Contrairement à une intelligence humaine en effet, une IA n’a pas de limite physique à sa capacité d’apprentissage et de stockage d’information. Ses compétences techniques mais aussi anthropologiques, au sens d’une capacité de simulation et de manipulation des systèmes humains, dépasseraient rapidement nos propres capacités à comprendre ce qu’il se passe, et à y faire quelque chose.
LaMDA et GPT-3 sont, à mon avis, des avertissements à prendre très au sérieux. Malheureusement les “élites” ineptes et corrompues qui dirigent aujourd’hui le monde n’y comprennent rien, ne voient que la puissance qu’elles espèrent en tirer, et notamment une capacité de domination totale des populations dont la surveillance omniprésente et le crédit social chinois ne sont qu’un avant-goût.
Liens et sources:
(2) https://fr.wikipedia.org/wiki/Palantir_Technologies
(3) https://zerhubarbeblog.net/2018/09/20/principes-de-guerre-et-intelligence-artificielle/
(4) https://zerhubarbeblog.net/2022/04/04/survivre-au-nihilisme-politique/
(6) https://cajundiscordian.medium.com/what-is-lamda-and-what-does-it-want-688632134489
(8) https://fr.wikipedia.org/wiki/Test_de_Turing
Sympa super article vraiment, merci pour cette belle découverte 🙂 hésites pas à venir faire un tour sur mon site Mood-blog.fr et à t’abonner si ça te plaît 🙂
https://i-hls.com/archives/115303?utm_source=dlvr.it&utm_medium=facebook
Black-box’ AI-based discrimination seems to be beyond the control of organisations that use it
https://www.theguardian.com/technology/2022/aug/07/ai-eu-moves-to-beat-the-algorithms-that-ruin-lives?CMP=fb_a-technology_b-gdntech
La nouvelle IA de Meta qualifie son fondateur « d’effrayant et manipulateur »
https://trustmyscience.com/nouvelle-ia-meta-qualifie-fondateur-effrayant-manipulateur/
https://trustmyscience.com/modele-informatique-ia-conscientes/
https://interestingengineering.com/science/chatgpt-ai-chatbot-google-killer?utm_source=Facebook&utm_medium=content&utm_campaign=organic&utm_content=Dec17
https://trustmyscience.com/textes-generes-par-ia-polluent-internet/
#IA #ChatGPT Au-delà des discussions sur la véritable nature de cette outil IA qui fait le buzz depuis qques semaines, se pose la question des applications et, surtout, de son probable impact sur la société.
Les applications se situent au niveau de l’interface entre l’IA et l’utilisateur. Il est possible de créer, grâce à l’API fournie par Open AI (créateur de GPT), des interfaces spécialisées, allant de la médecine au tourisme en passant par la programmation python.
Le contenu est fourni par GPT, avec une rapidité, une lisibilité et une mise en contexte largement supérieure à ce que l’on peut déjà obtenir via des moteurs de recherche ou des sites spécialisés.
GPT est un point d’inflexion de la dynamique de l’automation générale du monde: jusqu’à présent l’on considérait que c’est la robotique qui va influencer le monde dit du travail, avec le remplacement massif des opérateurs manuels, tout en préservant les travailleurs “intellectuels” chargés de développer et programmer lesdits robots.
GPT inverse cette logique : ce sont les métiers “intellectuels” ou basés essentiellement sur le savoir, tels les médecins, ingénieurs, comptables, enseignants, journalistes, programmeurs qui vont sauter en premier.
D’ici cinq ans, avec la version GPT-X (ChatGPT est basé sur GPT-3, la 4 va sortir, et chaque version représente au moins un ordre de grandeur supplémentaire en termes de capacité), la plupart des problèmes auxquels répondent aujourd’hui ces “métiers du savoir” seront maîtrisés par l’IA, à bien moindre coût et opérationnels h24, 7/7.
Une IA, qui plus est, prendra en charge son propre développement.
Notre premier réflexe, face à ce scénario potentiellement dystopique, est de le rejeter: délire techniciste d’apôtres du transhumanisme ayant trop fumé au réveillon du Nouvel An !
A mon avis (et visiblement je suis loin d’être seul), cette posture n’est plus raisonnable. La majorité des gens qui travaillent avec le savoir intellectuel seront déclassés face à GPT, dans sa version de 2028 et avec accès à Internet. Probablement avant, si on en juge par la médiocrité actuelle de la majorité des médecins, journalistes, enseignants et autres “experts”.
Si le savoir à lui seul ne suffit plus, que vont faire tous ces gens, que vont proposer les institutions de formation, comment va-t-on redistribuer la valeur économique crée par ces systèmes ?
Si GPT illustre une nouvelle réalité “avec IA” qui ne retournera pas dans le tube de dentifrice, ces questions ne peuvent rester sans réponses.