Les utilisateurs et utilisatrices de Ebay, Blablacar et de milliers de sites dotés d’un système de “scoring”, ou mesure de réputation, sont d’ores et déjà les agents volontaires d’une ségrégation acceptée au nom de son utilité, notamment la garantie de la qualité de service. J’argumente ici que le scoring entraîne surtout une nouvelle forme de ségrégation sociale.

Tant qu’un système de scoring reste confiné à l’application qui le concerne directement, l’argument d’utilité est recevable: autant savoir à l’avance si tel ou tel vendeur ou acheteur n’est pas fiable, et leur préférer ceux ayant une bonne réputation au sein de la petite communauté concernée. L’impact de ségrégation sociale reste alors faible, on peut avoir un score moyen chez machin sans pour autant se voir refuser l’accès à truc. Le problème c’est quand truc et machin se parlent, quand des milliers de trucs et de machins s’échangent des informations à notre propos et nous attribuent un score global.

C’est là ou commence la ségrégation de masse, la vraie, celle qui peut transformer la vente d’un DVD rayé et la visite d’une page Facebook chelou en l’impossibilité d’obtenir un crédit pour la bagnole qui fera la différence entre le ghetto et l’émancipation.

Le scoring a deux failles fondamentales qui garantissent sa transformation depuis un sympathique assistant de communauté marchande, vers un outil pervers de ségrégation arbitraire: l’opacité des algorithmes qui le fonde, et la manipulation par les agents ayant intérêt à améliorer artificiellement leurs scores.

Chaque site, chaque système a ses propres algorithmes, gardés secrets pour justement éviter la fraude. Ce faisant, impossible de savoir sur quoi et comment, précisément, chacun est jugé. Quel poids est donné, par exemple, à des facteurs concrets (comme le nombre et type d’accidents pour une assurance voiture) et des facteurs de comportement subjectifs tels les amis et activités personnelles: il semble évident, par exemple, que postuler aujourd’hui chez Canal+ tout en animant une fanpage des Guignols sur FB n’est pas une bonne idée. L’opacité augmente encore et de manière exponentielle dès lors que des algorithmes manipulent des résultats produits par d’autres algorithmes!

L’importance croissante de ces algorithmes alimente mécaniquement la recherche de parades frauduleuses, tout comme l’augmentation de la surveillance alimente la recherche de moyens de dissimulation. On peut déjà facilement acheter des “likes” sur Facebook et ainsi tromper le “client” mais cela n’est rien par rapport à ce que les spécialistes sont / seront capables, en passant de la simple corruption à des techniques hautement sophistiquées.

La ségrégation que nous promet le scoring est donc à deux étages: d’une part une catégorisation intrinsèque au fonctionnement du système, qui nous enferme dans des zones de choix limitées par ce que les algorithmes jugent compatibles avec notre score, et d’autre part un effet de déséquilibre entre ceux qui subissent un certain score et ceux dotés des moyens de manipuler le leur.

Tout comme la naissance définissait jadis (et encore aujourd’hui en partie) l’appartenance sociale des uns et des autres, la mesure de plus en plus rigoureuse de notre statut social ne peut que détruire nos illusions sur la mobilité sociale. Tout comme il est aujourd’hui reconnu que nos choix d’amis et de “likes” sur Facebook impactent fortement ce que les algorithmes du réseau social nous proposent et nous enferment dans un entre-soi où les points de vue similaires se renforcent mutuellement, il paraît évident que les méta-scores nous laisseront face à un choix de plus en plus restreint dans la vraie vie.

Aujourd’hui déjà les banques et assurances font grand usage du scoring. Selon ce très bon article sur Internetactu (1) de nombreuse sociétés proposent des systèmes de scoring à partir de nos interactions sur les réseaux sociaux. Certains, tel Lenddo ou Kreditech, vont jusqu’à demander à nos amis FB de se porter garant de notre prêt, ou d’avoir accès à notre compte FB afin de “profiler” nos amis. Pas de bol si l’un d’eux a déjà fait défaut sur un prêt, ou si ces amis sont généralement plutôt serrés financièrement parlant! A terme, les contacts sur les réseaux sociaux ne se feront plus par simple amitié ou curiosité mais dans le but d’optimiser son scoring. C’est d’ailleurs déjà souvent le cas, mais j’ai bien peur que nous n’en soyons qu’au début, si l’on en croit ce qui se passe actuellement en Chine.

Le Système de Crédit Social (SCS) aujourd’hui développé en Chine vise à attribuer à chaque habitant un score global basé sur l’extraction de ses données au sein des banques, des sites de commerce et des réseaux sociaux. Le but premier est d’évaluer ainsi le risque en matière de crédit financier, mais pourra à terme être utilisé par les bailleurs, les employeurs, voir les sites de rencontre pour évaluer la personnalité des uns et des autres! L’un des composants du SCS est déjà en activité, le système de scoring financier Sesame Credit géré par Ant Financial, une division du géant de l’e-commerce chinois Alibaba. Sesame Credit assigne à chacun un score entre 350 et 950 selon son parcours financier, notamment. Plus on monte dans les scores, plus on bénéfice d’avantages: louer une voiture sans dépôt de garantie, checkout simplifié à l’hôtel, procédures de visa simplifiées pour aller à Singapour… (2)

SCS sera complètement implémenté en 2020, et pourra alors prendre en compte des éléments tels le nombre de points sur votre permis de conduire, vos évaluations professionnelles, votre dossier médical, votre casier judiciaire, l’historique de votre interaction avec les organismes d’Etat… Le site CreditChina permet déjà à tout Chinois de vérifier le score d’un concitoyen, et SCS donnera à chacun la possibilité de connaître le “score social” de n’importe qui. On imagine sans peine le potentiel de stress, de corruption, de ségrégation, d’arrogance ou de désespoir qu’un tel système va générer, un peu comme si tout le monde devait se balader à poil dans la rue.

De ce côté-ci du monde on y est pas encore tout à fait, mais pas loin: Google et Facebook, pour ne citer qu’eux, vendent nos données personnelles à qui veut les utiliser. Les services de renseignement, légalement ou pas, font du profilage en ligne. Un hacker bien renseigné, au service de pirates, d’une entreprise ou d’un Etat, peut voler des millions de dossiers médicaux ou d’historiques de crédits. Le Big Brother chinois est clairement identifié avec l’Etat alors qu’ici c’est plutôt une nébuleuse, mais dans les deux cas le résultat sera le même: une ségrégation brutale, une stratification de la société plus proche du système de castes de l’Inde qu’à ce vieux rêve déchu des valeurs humanistes.

Bien sur, tous les acteurs du scoring ne sont pas des démons: à la base, le profilage vise aussi à étendre l’accès à l’emprunt pour des gens qui ne peuvent y accéder en fonction de leur seul condition matérielle. Si untel n’a pas de collatéral mais fait preuve d’une bonne réputation par ailleurs, on peut quand même lui faire un prêt sachant qu’il fera son possible pour l’honorer. Mais comme le dit Evgeny Morozov dans l’article d’Internetactu cité ci-dessus, “Rendre accessible le prêt à des millions de clients qui n’y avaient précédemment pas accès est un objectif noble. Les amener à être ficelés pieds et poings liés à ces prêts ne l’est pas.”

La question va être, ou plutôt est, de motiver les pourvois publics à mettre en place des garde-fous limitant les échanges de données. Du côté utilisateur, il s’agit de ne surtout pas tomber dans le piège de l’optimisation du score, de la course au profil nickel qui fait plaisir à belle-maman et au banquier! Si chacun garde une bonne dose de bordel dans sa vie en ligne, a des contacts bizarres, fait des “likes” politiquement incorrects, visite des sites prônant des opinions diverses et variées, les algorithmes de scoring auront plus de mal à vous placer dans leurs petites cases.

Dit autrement:

Notes:

(1) http://www.internetactu.net/2013/03/13/a-qui-les-algorithmes-preteront-ils-de-largent/

(2) https://www.newscientist.com/article/dn28314-inside-chinas-plan-to-give-every-citizen-a-character-score/