L'harmonie par les algorithmes

1. La gestion algorithmique de la "ressource humaine" grâce aux données recueillies sur les salariés (mise en transparence imposée) est exposée au dernier chapitre de Toxic management.

Dans un livre écrit en janvier 2021 avec Caroline del Torchio et consacré à la récente généralisation du travail à distance, nous évoquions la manière dont les dirigeants de nombreuses sociétés justifient le renforcement de leur surveillance numérique : « Le contrôle n’exclut pas la confiance, pensent ces entreprises, au contraire il la permet : plus l’employeur pourra recueillir de données sur ses télécollaborateurs, plus il pourra en confier l’analyse à des algorithmes capables de mesurer précisément leur degré de fiabilité. Plus on contrôle un collaborateur, plus on peut lui faire confiance parce que son comportement est alors plus prévisible. Et le télétravail, ajouteraient-elles, permet de récolter davantage de données qu’en présentiel, toutes les télécommunications se faisant désormais par les moyens électroniques » (p. 62-63). L'argument que ces entreprises mettent en avant est donc le suivant : c'est par un surcroît de contrôle, et souvent un contrôle social - car le contrôle doit désormais se faire entre pairs, selon les préceptes des "nouveaux modes de management"-, qu'émergera une société harmonieuse empreinte de davantage de confiance. C'est beau comme du Verlaine... ou comme une déclaration du Parti Communiste Chinois.

La sociologue Dominique Méda analyse, dans un article de 2020, que l'entreprise de demain sera marquée par un approfondissement du déterminisme :
« Qu’il s’agisse du développement du télétravail ou du travail en présentiel, la distance sera de mise : un pas déterminant risque donc d’être franchi dans le processus déjà en cours d’individualisation du travail qui transforme peu à peu ce dernier en une série d’opérations individuelles réalisées selon des scripts précis. C’est une étape supplémentaire du déploiement du numérique dans le travail que nous risquons de connaître avec la diffusion massive de mécanismes de surveillance et de contrôle, mais aussi des scripts organisant pour chacun le travail de façon prédéterminée à l’aide de logiciels découpant le travail en tâches précises et le schématisant grâce à des algorithmes. La retaylorisation, la tâcheronisation, l’algorithmisation du travail risquent donc de se déployer massivement à tous les niveaux et dans tous les espaces, dans les entrepôts, dans les métiers du contact et dans le travail à distance. Le tout avec des applications appartenant le plus souvent à des entreprises américaines, ce qui constitue un risque majeur pour notre indépendance et la propriété de nos données. »

2. « Capitalisme de surveillance » est un terme que l’on doit à Shoshana Zuboff, ancien professeur à la Harvard Business School. Dans son livre paru en 2020, L’Âge du capitalisme de surveillance, elle décrit et analyse une nouvelle forme de capitalisme impulsée par Google, Amazon et Facebook. Ces très grandes organisations aspirent les données personnelles des individus et les analysent au moyen d’algorithmes sophistiqués pour prédire les comportements. Le postulat est ici entièrement déterministe : de ce que l’on se croit capable de sonder les reins et les cœurs, on se croit capable de prédire, statistiquement, les réactions d’une personne, sans tenir compte de sa liberté, c’est-à-dire de sa capacité à dévier de trajectoire, à changer. De la connaissance du passé, on croit possible d’en déduire le futur. Il est dès lors clair, relève Alain Supiot, que « les pratiques contemporaines de management traitent les hommes comme des ordinateurs programmables. La gestion par indicateurs de performance, la quantification visent toujours à rendre transparent ce qui ne peut l’être totalement. L’homme n’est pas une machine et dans l’accomplissement de son travail, il y a une part irréductible de subjectivité. En la niant, on donne naissance à des institutions pathogènes. La vague de suicides dont on parle beaucoup en ce moment est un symptôme de cette déshumanisation » (interview menée par Catherine Halpern pour le magazine Sciences humaines de décembre 2010, « Rencontre avec Alain Supiot. Penser la justice sociale »).

D'étonnante convergences se font alors jour. Dans la société chinoise en effet, si certaines figures dissidentes émergent, le système d’information du gouvernement a tôt fait de les identifier et de les « harmoniser » (le terme officiel qui signifie « neutraliser socialement et politiquement ») avant qu’elles n’aient le temps d’agir, voire même avant qu’elles n’aient formulé l’idée d’entrer en dissidence. Le livre Dictature 2.0 : Quand la chine surveille son peuple (et demain le monde) du journaliste Kai Strittmatter, qui a passé des années comme correspondant à Pékin pour un quotidien allemand, montre comment les autorités chinoises appliquent aux données à leur disposition une technologie prédictive qui identifie pour elles les futurs dirigeants ou ennemis possibles de l’Etat, avant même que les personnes en question n’aient conscience de leur propre potentiel.

L’usage que Pékin fait des données de consommation, des informations biométriques, des coordonnées GPS, de la reconnaissance faciale, de l’ADN et de toutes les autres données qu’il collecte, fait de la Chine une société avancée. L’Etat emploie les techniques du capitalisme de surveillance pour administrer le système dit de « crédit social », lequel détermine qui est autorisé à acheter, vendre et se déplacer en fonction de son comportement en société, plus ou moins « responsable ».
« La Chine est sur le point de devenir quelque chose d’inouï jusque-là : un Etat techno-totalitaire alimenté par l’intelligence artificielle. L’objectif est de former un nouveau type non seulement d’Etat, mais d’être humain, qui aurait pleinement intériorisé les diktats de l’Etat et le caractère total de la surveillance et du contrôle qu’il exerce. Si l’intériorisation est cruciale, c’est parce qu’elle dispense les agents de l’Etat d’intervenir pour corriger le comportement du citoyen, celui-ci l’ayant à l’avance fait pour eux » (John Lanchester, « Document Number Nine », London Review of Books, 10 octobre 2019).
Pékin est en effet pionnier dans l’usage de l’intelligence artificielle et d’autres formes de collecte de données numériques pour créer un appareil d’Etat qui puisse surveiller constamment tous les citoyens, mais aussi les contraindre à se conduire « librement » selon son bon vouloir sans jamais avoir à déployer sa police secrète ou à brandir la menace du goulag. La reconnaissance faciale complète utilement la surveillance exercée par les caméras omniprésentes dans les rues chinoises, qui enregistrent au quotidien les allées et venues des citoyens. La technologie dont Pékin dispose est si avancée qu’il est possible de comparer en direct les scans faciaux avec la base de données de sécurité centrale. Si quelqu’un pénètre dans une zone qui lui est interdite, une église par exemple, ou même s’il marche simplement dans la direction opposée d’une foule, le système l’enregistre et alerte la police. En théorie, celle-ci n’a pas à se rendre au domicile du suspect pour lui faire payer sa désobéissance. Le système de crédit social suit automatiquement les paroles et les actions de chaque Chinois, en ligne et hors ligne, et distribue récompenses et punitions selon le degré d’obéissance –pardon, de comportement « responsable ».

Il fait peu de doute que nombre de sociétés aux intérêts bien arrêtés utilisent la data pour pousser discrètement (nudge) les individus à penser et agir d’une certaine façon. Zuboff écrit ainsi qu’un dirigeant de la Silicon Valley, qu’elle ne nomme pas, déclarait : « Le conditionnement à grande échelle est essentiel à la nouvelle science de l’ingénierie de masse des comportements » (L'âge du capitalisme de surveillance, 2020). Selon ce data scientist, par une analyse approfondie du comportement des utilisateurs d’applications, son entreprise sera à terme en mesure de « modifier la manière dont les individus prennent des décisions au jour le jour » (Ibidem). Bienvenue dans une nouvelle ère de manipulation des décisions individuelles, où les nudges seront monnaie courante. 

Il n'en faut pas plus pour que des analystes considèrent que, « aujourd’hui, la contrainte pesant sur le respect de la vie privée en ligne et la « tyrannie de la transparence » suggèrent un alignement progressif des pratiques des Etats démocratiques sur celles des régimes autoritaires » (Julien Nocetti, « Les GAFAM, nouveaux acteurs controversés des relations internationales, in Revue « Questions internationales », La Documentation française, septembre-octobre 2021, p. 25).
L'ancien secrétaire général adjoint de l'ONU, Jean Guéhenno, alerte : « Je crois à une possible convergence sur une gestion des individus par algorithmes, que ce soit sous la forme d'une postdictature ou d'une postdémocratie. Les autorités chinoises essayent de mettre en place ce que j'appelle une "dictature préventive", un contrôle si efficace de chacun des moments de nos vies qu'enfermés dans une bulle de bonheur préfabriquée par les autorités nous n'aurions plus même conscience d'être dans une prison : ce serait la version technologique d'un idéal oriental d'harmonie. (...) [Chez nous, en Occident,] on aboutit, par un autre chemin que celui de la Chine, au même rêve : celui d'une harmonie par les algorithmes. Le culte utilitariste d'un bonheur géré par les algorithmes peut conduire à une forme de convergence des modèles » (in Le Figaro du 26/12/21). « La dictature douce, et pour ainsi dire invisible, que le système chinois de crédits sociaux tente d’instaurer, crée une tranquillité, une "harmonie", qui peut faire envie à des sociétés qui se déchirent. La vraie menace est à l’intérieur de nos sociétés (...) », ajoute-t-il.

3. Comme toujours, le problème n'est pas l'algorithme mais l'usage que l'on en fait et, en l'occurrence, la confiance excessive, aveugle, qu'on lui accorde. L'idolâtrie, donc. Beaucoup versent ainsi dans le fidéisme : « "Si Google était une religion, quel serait son Dieu ? " » questionne l’hebdomadaire britannique The Economist. "Ce serait l’algorithme. La foi en un algorithme omniscient et tout-puissant est commune à Page et Brin" » ("Google, un monstre qui joue les gentils", Courrier International, 14/02/06, cité dans Le Monde selon Google, Distriforce éditions, 2006, p. 47).
Que nul n'en ignore : « L’opacité de l’IA, ou "intransparence" est un autre débat crucial à aborder. Souvent, les systèmes d’IA ne sont pas transparents, c’est-à-dire que nous ne savons pas pourquoi ils font ce qu’ils font. Il se peut donc qu’ils prennent des décisions pour de mauvaises raisons, ce qui est le cas de l’IA biaisée. De plus, il se peut que nous ne puissions pas savoir dans quelle mesure une décision est fiable, ni sur quelles hypothèses elle repose. C’est une caractéristique de la technologie dont il est très difficile de se débarrasser, en particulier avec l’apprentissage machine.
En général, la technologie génère souvent de l’opacité. Cette opacité sera différente pour différentes personnes : les utilisateurs finaux, les ingénieurs qui l’ont conçue, les opérateurs, etc. L’opacité peut même être alors un élément de conception et un élément politique. J’ai une expérience personnelle liée aux demandes de cartes de crédit. Quand j’étais en Grèce, la banque a refusé ma demande, j’ai demandé à un employé de banque pourquoi et il ne savait pas lui-même : il devait envoyer les données à l’ordinateur central, et ensuite seulement il a reçu le résultat : "Non". Lorsque je me suis installé aux Pays-Bas, j’ai également fait une demande en ligne pour obtenir une carte de crédit, la réponse a également été "Non". Je me suis alors rendu à l’agence pour parler à une employée et elle a pu m’expliquer que la demande devait être signée par quelqu’un de l’agence pour être approuvée, et que normalement le client devait rester à la banque pendant plus de six mois. Comme j’ai pu avoir cette conversation avec elle et lui expliquer ma situation, elle a pu vérifier mon compte bancaire et a accepté de signer ma demande de carte de crédit ce que j’ai finalement obtenu ! Dans ce dernier cas, un humain pouvait résoudre cette situation absurde. C’était juste une question sans importance, et nous avons maintenant des systèmes qui décident de la vie ou de la mort de personnes, ou qui "soutiennent " les décisions politiques. Nous avons un réel problème dans notre démocratie si nous prenons des décisions qui ne sont pas suffisamment transparentes.
Mais l’apprentissage machine (ML) présente une autre sorte d’opacité : les modèles peuvent être opaques même pour les experts, ce qui est pire. Certaines personnes pensent alors que nous ne devrions pas l’utiliser pour des systèmes critiques à la sécurité, car nous ne serons jamais sûrs qu’ils fonctionneront correctement dans de nouvelles situations.
L’éthique s’intéresse souvent à la technologie depuis un regard extérieur, mais avec l’apprentissage machine, les experts ont reconnu le problème et l’ont exposé au reste du monde. On peut alors se demander : "Les humains sont-ils capables d’expliquer complètement le processus de leur propre prise de décision ? " Certainement pas. Cela illustre l’importance de comprendre la différence entre l’explication d’une décision (par exemple, le système d’IA des ressources humaines a recommandé d’engager cette personne en raison de tel ou tel paramètre) et la justification d’une décision (par exemple, il est justifié d’engager une personne qui a les qualifications requises, qui est motivée pour faire le travail, etc.). Pour surmonter ce problème urgent d’opacité de l’IA, les gens travaillent sur le "Pourquoi " et la justification des conclusions et des décisions prises par l’IA, un domaine également appelé "IA explicable" (ce qui n’est pas un bon terme). » Source : Vincent C. Müller, http://optictechnology.org/index.php/fr/news-fr/252-vie-privee-surveillance-manipulation-du-comportement-et-intransparence-de-l-ia-des-sujets-chauds-pour-l-ethique
L'opacité du "management algorithmique" commence à être dénoncée, par exemple dans la gestion des travailleurs à la tâche chez Deliveroo ou Uber.  

4. L’entreprise algorithmique est censée nous permettre de réaliser ce vers quoi nous tendons depuis des siècles : une société parfaite, performante, autorégulée et donc automatisée, dans laquelle n’arrive rien d’autre que ce qui a été strictement prévu, anticipé, calculé. Nous y sommes malheureusement préparés depuis longtemps : la volonté d’hyper-contrôle de bien des managers traduit leur peur panique du travail réel, c’est-à-dire de tout imprévu. De tout ce qui dépasse. De la vie, en somme (suivant la judicieuse formule de John Lennon, « la vie, c’est ce qui t’arrive quand t'es occupé à faire des plans »).
Le fantasme contemporain est celui d'un organisation pilotée automatiquement, sans tête (car déhiérarchisée), organique, à l'image d'un organisme monocellulaire. Dépolitisée. L'automatisme social.
« Le renversement du règne de la loi au profit de la gouvernance par les nombres s’inscrit dans l’histoire longue du rêve de l’harmonie par le calcul, dont le dernier avatar – la révolution numérique – domine l’imaginaire contemporain. Cet imaginaire cybernétique conduit à penser la normativité non plus en termes de législation mais en termes de programmation. On n’attend plus des hommes qu’ils agissent librement dans le cadre de bornes que la loi leur fixe, mais qu’ils réagissent en temps réel aux multiples signaux qui leur parviennent pour atteindre les objectifs qui leur sont assignés. » (Alain Supiot, La Gouvernance par les nombres. Cours au Collège de France (2012-2015), 2015, p. 23)