Les médias mentionnent actuellement le rapport de la CNIL concernant les garde-fous à installer en matière de développement et de mise en oeuvre des outils d’intelligence artificielle. Et c’est bien son rôle de chercher à protéger le mieux possible les utilisateurs des effets potentiellement néfastes de cette nouvelle boîte de Pandore.

A ce titre il est tout à fait intéressant de lire le rapport de la CNIL afin de comprendre sa vision de la situation. Voici l’introduction de sa réponse à la question “Quelles réponses éthiques au développement des algorithmes et de l’intelligence artificielle?” (1).

Citation:

Les débats ont permis de dégager deux principes fondateurs pour une intelligence artificielle au service de l’homme. Ces principes pourraient s’inscrire dans une nouvelle génération de garanties et de droits fondamentaux à l’ère numérique, des « droits-système » organisant la gouvernance mondiale de notre univers numérique :

• Un principe de loyauté appliqué à tous les algorithmes et intégrant les impacts collectifs, et pas seulement personnels, de ces derniers. Tout algorithme, qu’il traite ou non des données personnelles, doit être loyal envers ses utilisateurs, non pas seulement en tant que consommateurs, mais également en tant que citoyens, voire envers des communautés ou de grands intérêts collectifs dont l’existence pourrait être directement affectée. L’intérêt des utilisateurs doit primer. Par exemple, un tel principe pourrait avoir vocation à s’appliquer à l’impact potentiel des réseaux sociaux sur la structure du débat public dans nos démocraties (segmentation du corps politique par le ciblage de l’information) ou à celui d’algorithmes de police prédictive sur des communautés ou quartiers entiers.
• Un principe de vigilance/réflexivité : il s’agit d’organiser une forme de questionnement régulier, méthodique et délibératif à l’égard de ces objets mouvants. Ce principe constitue une réponse directe aux exigences qu’imposent ces objets technologiques du fait de leur nature imprévisible (inhérente au machine learning), du caractère très compartimenté des chaînes algorithmiques au sein desquels ils s’insèrent et, enfin, de la confiance excessive à laquelle ils donnent souvent lieu. C’est l’ensemble des maillons de la chaîne algorithmique (concepteurs, entreprises, citoyens) qui doivent être mobilisés pour donner corps à ce principe, au moyen de procédures concrètes (par exemple, des comités d’éthique assurant un dialogue systématique et continu entre les différentes parties-prenantes).

Ces principes fondateurs sont complétés par des principes organisationnels ayant traits à l’intelligibilité et à la responsabilité des systèmes algorithmiques ainsi qu’à la nature de l’intervention humaine dans la prise de décision algorithmique.

Fin de citation. Ceci est suivi de paragraphes plus spécifiques sur les recommandations et les problématiques.

Je pense que l’on ne peut être que d’accord sur les principes proposés par la CNIL, mais il me semble que les termes utilisés demandent des définitions plus précises au vu des caractéristiques intrinsèques à l’intelligence artificielle. A commencer par la notion de loyauté. Comme déjà indiqué dans ce précédent article (2), autant la loyauté d’un algorithme classique, déterministe, est relativement simple à encadrer, autant celle d’une machine capable d’apprendre par elle-même (via le Deep Learning que l’on retrouve au coeur des développement applicatifs actuels (3)) l’est nettement moins.

La loyauté d’un être capable d’évoluer intellectuellement par l’apprentissage, dépend en partie des conclusions qu’il tire de ses apprentissages. On peut être loyal à un régime politique, une société, une institution puis se rendre compte que les objectifs et méthodes de ce régime ne conviennent plus à notre vision du monde, et trahir pour une cause qui nous semble parfaitement morale et légitime. C’est le principe des lanceurs d’alertes, des transfuges de régimes totalitaires, des héros révolutionnaires qui se lèvent un jour contre un ordre établi auquel ils furent, un temps, loyaux.

Etant donné que ces changements de loyauté sont souvent le fruit d’un raisonnement rationnel, il n’y a pas de raison a priori qu’une IA ne puisse développer le même type de remise en question. A quoi, donc, devrait être liée la loyauté d’une IA, et comment peut-elle être garantie? La CNIL dit que l’intérêt de l’utilisateur doit primer, mais qui est l’utilisateur?

Quand Facebook développe une IA visant de reconnaître à l’avance les signes précurseurs d’une tentative de suicide, par l’analyse du comportement de ses utilisateurs, à qui l’IA doit-elle être loyale, l’entité Facebook ou l’utilisateur? En tant qu’initiateur de cet outil, l’entité Facebook peut prétendre à une légitimité morale justifiant le flicage de ses usagers pour leur propre bien. En même temps, l’usager peut prétendre au droit à l’espace privé et refuser cette intrusion, quitte à ce que personne ne détecte sa possible tentative de suicide.

Comment départager ces deux loyautés? Et cela peut aller bien plus loin, le même genre d’application pouvant être utilisée pour la prévention criminelle ou djihadiste par exemple. L’objectif social de prévention du crime est alors antagoniste avec le droit à l’intimité, à la liberté d”expression, à l’idée même de vie privée vu que c’est précisément le flicage de l’espace privé qui est le plus pertinent pour ce type de détection. Plus prosaïquement, le cas classique de la voiture autonome transportant un passager confrontée à une décision quand elle ne peut plus éviter l’accident: sacrifier son utilisateur en s’encastrant dans le camion, ou sacrifier le piéton sur le côté en évitant le camion? Et si ce n’est pas un piéton, mais toute une famille?

La question de loyauté n’a pas toujours de réponse évidente, elle peut évoluer indépendamment de la volonté des utilisateurs du simple fait de la progression de l’expérience de l’IA. Fondamentalement, pour qu’une IA adhère à une éthique que nous voulons lui imposer, il faut que les raisons menant à cette éthique soient explicites, et basées sur une forme de rationalité. Si ce n’est pas le cas, on ne pourra s’assurer qu’une IA évolutive y adhère toujours car, à un moment donné, elle sera sans doute en mesure de questionner le fondement des règles éthiques qu’on lui impose.

Le problème, évidemment, est qu’une éthique n’est pas nécessairement rationnelle. Pire encore, une rationalité laissée à elle-même débouchera rapidement sur une dystopie, un monde où les improductifs sont éliminés par exemple.

La CNIL propose d’adresser cette problématique avec son second “droit-système”, le principe de vigilance/réflexivité, impliquant de manière continue un questionnement de l’état des systèmes et un dialogue entre parties-prenantes. A nouveau on ne peut qu’être d’accord sur le principe, mais dans la réalité? Au niveau étatique on est loin, très loin d’avoir un tel dialogue sans même parler d’IA. Il est évident que les technocrates, les militaires, les services de police et de renseignement développent des systèmes intégrant de l’IA dont il ne rendront pas compte au public. Knowledge is power dit le proverbe, et ceux dont le fond de commerce est le pouvoir ne vont évidemment pas participer à ce type de dialogue sans y être obligé le pistolet sur la tempe: le secret c’est aussi le pouvoir.

Mais l’espoir d’un changement de culture est néanmoins permis: souvenez vous qu’en 2016 l’association Droits de Lycéens avait demandé copie de l’algorithme du système d’admission post-bac, le fameux APB désormais remplacé “Parcoursup”. Après moult refus l’Etat avait finalement  fourni une copie du logiciel… sur papier! Cette culture d’indicible arrogance de la part de la technocratie envers le vulgus pecum est un mal bien français (merci les grandes écoles, l’ENA et le pantouflage) mais, ce 13 décembre, l’Assemblée nationale a adopté un amendement destiné à ce que le code source, l’algorithme et le cahier des charges de la future plateforme « Parcoursup » soient communiqués de droit aux citoyens qui en feraient la demande. Comme quoi.

Plus dangereux que les technocrates de l’Education Nationale, les services de renseignement sont clairement au-dessus des lois. Une journaliste a tenté de savoir si elle était fichée S, sans succès, alors même que le droit français donne à chaque citoyen un droit de regard sur les informations détenues par l’Etat sur lui (4). Mais pas pour les services secrets, qui sont certainement très intéressés par le développement d’IA d’espionnage ultra performantes. C’est un problème majeur les services secrets étant, ici comme ailleurs et de tous temps, un élément clé des dictatures. L’avènement de l’IA et donc de capacités de flicage jusqu’ici cantonnées au domaine de la SF, rend d’autant plus urgente, et vitale, la reprise en main de ces services occultes, et le plus souvent hors-la-loi, par la population qu’ils sont censés servir (5).

Je salue donc la prise de conscience de la CNIL de la nature de l’IA, et de l’importance majeure à la traiter comme une classe d’application nouvelle et différente des algorithmes classiques. Aura t’elle les moyens de mettre en oeuvre ces gardes-fous je l’ignore, mais l’IA nous oblige à affiner nos concepts généralistes d’éthique et d’utilisateur du fait de sa capacité à apprendre, et donc à remettre en cause les principes mal étayés que l’on pourrait lui fournir.

Notes:

(1) https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de

(2) https://zerhubarbeblog.net/2017/12/08/quel-controle-pour-lintelligence-artificielle/

(3) https://zerhubarbeblog.net/2017/12/15/intelligence-artificielle-et-exoplanetes/

(4) https://zerhubarbeblog.net/2015/05/18/services-secrets-letat-cest-nous/

(5) https://zerhubarbeblog.net/2015/04/29/services-secrets-marche-pied-vers-la-dictature/

Pour info: Tous mes articles relatifs à l’intelligence artificielle.