Les presses du MIT publient ce jour le nouvel ouvrage de Ben Green, Algorithmic Realism : Data Science Practices to Promote Social Justice. Ben Green, on vous a déjà parlé de lui. En 2019, on avait longuement évoqué son précédent livre, The smart enough city, où il revenait sur son expérience de data scientist dans plusieurs villes américaines. Green plaidait déjà pour améliorer la responsabilité sociale des technologies, à l’épreuve des pratiques concrètes des responsables de l’innovation urbaine promouvant une innovation démocratique. 

C’est ce chemin qu’il poursuit dans son nouveau livre, qui n’est pas un essai, mais un manuel à destination des responsables des données. Il rappelle que depuis qu’il est diplômé, il n’a cessé d’essayer d’appliquer la data science pour créer une société plus équitable. Mais avoir un impact positif s’est avéré bien plus difficile qu’espéré. A Memphis, par exemple, les outils qu’il avait participé à mettre au point pour aider la ville à identifier des logements à rénover ont été abandonnés après le départ de l’équipe qui les avait développé. Malgré ces expériences pas toujours concluantes, il s’est rendu compte que pour avoir un impact, il était nécessaire de désapprendre beaucoup de certitudes et d’habitudes que sa formation en data science lui avait enseigné. A Boston, par exemple, il devait travailler avec les services d’urgence pour trouver des stratégies pour améliorer la rapidité d’intervention. Or, plutôt que de trouver une astuce pour mieux répartir les ambulances dans la ville, Green a constaté dans les données, que l’essentiel des déplacements n’étaient pas nécessairement un besoin de soins médicaux d’urgence, mais une demande de services sociaux que les services d’urgence n’étaient pas en mesure de fournir mais accomplissaient quand même. Avec les services d’urgence, il a alors proposé de créer une équipe dédiée. Une réponse d’autant plus adaptée que les interventions auprès des publics en difficultés, des toxicos et des SDF, ou de ceux souffrant de problèmes de santé mentale, se concentraient sur certains quartiers sensibles, avec un pic en fin d’après-midi et en début de soirée. La création d’une équipe d’assistance communautaire a ainsi permis de répondre à la demande initiale. Elle a permis d’apporter de meilleurs soins à des publics en difficulté et elle a libéré des ambulances pouvant répondre plus rapidement lors de prises en charges médicales urgentes. Cette expérience a été fondatrice. Elle lui a enseigné trois tactiques qu’il applique depuis à tous les projets qu’il rencontre. D’abord, étudier en profondeur les défis sociaux et opérationnels des services avant d’analyser la moindre donnée. La seconde consiste à se concentrer sur les besoins exprimés pour produire des impacts réels et pas seulement des solutions algorithmiques. Pour Green, les analyses de données les plus sophistiquées ne conduisent pas à de meilleurs impacts. Les résultats de la science des données doivent être choisis en fonction de leur capacité à faire progresser les objectifs du projet, peu importe leur simplicité ou leur complexité. Le troisième enseignement, c’est qu’un data scientist isolé ne sert à rien. Améliorer les politiques publiques avec la data science nécessite des activités qui ne relèvent pas de la data science. « Pour surmonter ces défis, il m’a fallu étudier des problèmes de société, me familiariser avec les processus de travail des organismes publics et traduire une analyse technique en pratiques opérationnelles. Aucun de mes cours de science des données n’avait jamais ne serait-ce qu’évoqué ces tâches, et encore moins enseigné comment les accomplir. »

Concevoir des algorithmes susceptibles d’améliorer la société n’est pas si simple. Comme on le répète ici, les calculs sont plus souvent défaillants qu’autre chose. Certainement parce que les méthodologies de la science des données n’offrent pas de méthode pour se faire, avance Green. D’où l’enjeu de ce manuel : apporter une nouvelle approche de la data science pour orienter les scientifiques des données vers la promotion de la justice sociale. En fait, souligne Green, les méthodes actuelles que mobilisent les data scientist ne leur permettent pas d’œuvrer pour le bien commun. Cette méthode actuelle, Green l’appelle le « formalisme algorithmique ». Et pour lui, elle est profondément problématique. Il propose d’en bâtir une autre : le « réalisme algorithmique ». Et son livre se veut une boîte à outils pour changer de méthode, pour changer la façon dont se déploie la data science. 

Passer du formalisme au réalisme algorithmique

« Transformer la science des données, en passant d’une méthodologie formaliste axée sur des modèles mathématiques à une méthodologie pratique axée sur des problèmes du monde réel », c’est ce que propose Green. La science des données est un champ relativement récent, né dans les années 2010, même si elle s’est construite sur des idées et des pratiques qui ont une longue histoire, rappelle-t-il. Le formalisme algorithmique est une méthodologie qui repose sur la propriété mathématique des algorithmes. Où qu’elles se déploient, les méthodologies formalistes restreignent le champ de l’analyse aux propriétés intrinsèques de leur objet, en excluant les éléments extérieurs tels que le contexte social et l’interprétation. Le formalisme algorithmique occulte le contexte social entourant les algorithmes, les garanties formelles de performance ne sont valides qu’au regard du comportement technique de l’algorithme – et non de ses usages et de ses impacts en pratique. En la matière, ces méthodes font obstacle à toute tentative d’aborder des problèmes sociaux et politiques complexes. Le formalisme procède d’une « réduction du champ de vision », rappelle le politologue James Scott dans son livre, L’œil de l’Etat (La découverte, 2021). Le formalisme tend à renforcer les hiérarchies, expliquent Geoffrey Bowker et Susan Leigh Star dans Arranger les choses (EHESS, 2023). Il peut sembler neutre et technique, mais le formalisme a souvent des conséquences pour les groupes marginalisés. Le problème est que le formalisme « caractérise le milieu intellectuel dans lequel évoluent les data scientists » et empêche d’adopter d’autres approches. Ce formalisme a des conséquences très directes : il privilégie les critères d’exactitude et d’efficacité ainsi que l’amélioration des prédictions.

D’ailleurs, les revues comme les conférences du secteur pénalisent souvent les recherches axées sur les applications et les résultats concrets, préférant les travaux qui améliorent les méthodes de calcul. Il conduit à minimiser les dommages potentiels causés par les systèmes algorithmiques et conduit à ne pas regarder les réalités de leurs mise en œuvre, à surestimer les bénéfices et à sous-estimer les nuisances. C’est le cas par exemple de Compas, le système de prédiction du risque de récidive américain. Ses promoteurs estimaient qu’en se fondant sur des évaluations formalistes, leur outil permettrait de réduire le recours à la détention provisoire et les disparités raciales. Or, les évaluations réalisées après la mise en œuvre du système algorithmique ont montré que ces améliorations ne s’étaient pas concrétisées. « Cet écart entre les évaluations formalistes et la réalité du terrain découlait de la manière dont les juges utilisaient les évaluations des risques ». L’évaluation du risque, sous forme d’infrastructures d’abstraction, a exacerbé plutôt que réduit les disparités raciales en matière de détention provisoire, parce que les ingénieurs de Northpointe, les développeurs de Compas, n’ont pas pris en compte la manière dont ils seraient utilisés (sur ces enjeux, voire également les livres de Jathan Sadowski, de Arvind Narayanan et Sayash Kapoor ou encore de Nathan Genicot dont nous avons déjà parlé ici et qui abordent tous ces questions sous un angle ou un autre). 

Pour Green, la data science souffre d’une forme de « clôture mathématique », enclose sur elle-même, renforcée par une tendance à « l’universalisme abstrait », où le monde réel pourrait se réduire uniquement à des mathématiques. Cet universalisme abstrait pousse les data scientists à appliquer des algorithmes comme solution à tous les problèmes sociaux, sans prendre en compte les particularités de ses déploiements. 

« Le problème est que, bien que ces représentations par substitution rendent le problème plus facilement traitable mathématiquement, elles suppriment généralement des éléments essentiels du contexte réel ». Cela conduit à des simplifications excessives et à de mauvaises interprétations, comme quand on tente d’évaluer les enseignants en fonction des résultats scolaires de leurs élèves. La qualité de l’enseignement se réduit alors à l’amélioration des résultats des élèves, comme le montrait Cathy O’Neil dans son livre, Algorithmes, la bombe à retardement (Les Arènes, 2018). Enfin, le formalisme algorithmique tend à faire croire que la data science et le calcul seraient politiquement neutres et que les scientifiques seraient objectifs, comme le dénonçaient déjà danah boyd et Kate Crawford en 2011 dans leurs 6 provocations à l’encontre des Big Data. Croire que la science des données produit des connaissances objectives tend à renforcer la minimisation des enjeux sociaux et éthiques des calculs, jugés comme non pertinents et dépourvus de rigueur. « Dans la recherche en science des données, la priorité est donnée aux contributions techniques, supposées apolitiques. Les revues et les conférences attendent des chercheurs qu’ils justifient leurs travaux sous l’angle de la performance et de la nouveauté plutôt que par rapport aux besoins de la société », comme le montrait une remarquable analyse des valeurs encodées dans les articles de recherche du secteur. 

« La neutralité politique conduit les data scientists à négliger les inégalités structurelles et les contestations politiques sous-jacentes aux enjeux sociaux ». C’est par exemple l’écueil de la police prédictive, qui exacerbe et légitime la discrimination systémique inhérente à l’action policière. 

Pour Green, ce formalisme exacerbé a généré une crise morale de la discipline. À mesure que les algorithmes se généralisaient et gagnaient en influence au sein de la société, les approches critiques ont alors gagné en visibilité à mesure que montaient les controverses et les injustices. Peu à peu, la question de l’éthique est devenue un domaine influent de la science des données, en valorisant la question de l’équité (c’est-à-dire en valorisant des définitions mathématiques de la prise de décision équitable) et de l’explicabilité. Cet accent mis sur l’éthique a orienté la science des données dans des directions productives, reconnaît Green, en attirant l’attention sur les impacts sociaux des calculs. Mais pour Green, cette éthique repose trop souvent sur une approche formaliste également. Elle réduit l’éthique à une question d’amélioration du calcul, comme le remarquait déjà le sociologue Bilel Benbouzid. Pour Green, « l’éthique des données ne permet pas de produire de manière fiable des algorithmes équitables. Même lorsque les algorithmes satisfont aux définitions techniques des idéaux éthiques, ils peuvent néanmoins s’avérer nuisibles en pratique. » Pour lui, le formalisme algorithmique conduit la science des données dans une impasse. Il manque une méthodologie plus pratique pour se faire. 

Pour dépasser ces limites, il est nécessaire de passer du formalisme au réalisme. « Le critère ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique. Autrement dit, quelles que soient les propriétés mathématiques formelles d’un algorithme, ses effets concrets priment sur l’évaluation de sa qualité et de son utilité sociale. Par ce principe, le réalisme algorithmique vise à promouvoir une science des données réaliste, attentive aux usages et conséquences réels des algorithmes. » Pour le dire concrètement, nombre de services permettant d’attribuer des places dans le supérieur reposent sur l’algorithme dit des mariages stables de Gale et Shapley. Pourtant, la manière de l’implémenter est partout différente et produit des effets spécifiques, notamment parce que ses adaptations n’en respectent pas toujours les principes. Parcoursup comme son ancêtre, APB, en relevaient. Ce n’est pas pour autant qu’ils l’ont implémenté dans les règles de l’art. 

Pour produire une véritable data for good, pour servir l’intérêt général par les données, alors « la justice sociale doit devenir la mission centrale de la science des données », estime Green. Pour cela, il faut changer la science des données, afin que « faire une bonne data science (doing good data science) devienne synonyme de faire le bien avec la data science (doing good with data science) ». Pour cela, il faut dépasser les attributs techniques d’un algorithme, pour se concentrer sur son rôle et ses impacts dans le contexte de son utilisation. « Les data scientists doivent donc porter leur regard vers l’extérieur : passer du fonctionnement interne des algorithmes au monde dans lequel ils opèrent.» Ils doivent concentrer leur regard sur les effets instrumentaux des systèmes, leurs impacts concrets plus que leurs performances. Pour Green, cela consiste à prendre en compte le changement social. L’enjeu par exemple ne serait plus de produire un calcul pour déterminer quels élèves risquent de décrocher pour améliorer le taux d’obtention d’un diplôme, mais à se demander comment améliorer les efforts de prévention du décrochage scolaire. « Il s’agit de développer des algorithmes qui favorisent des résultats éthiques au sein de la société.»

La méthode : faire avec le terrain !

Green expose longuement son plan de travail concret. C’est-à-dire un nouveau « flux de travail pour la science des données » (data science workflow), c’est-à-dire un processus de travail concret qui passe par la délimitation du problème, la délimitation du projet, l’analyse des données, la mise en œuvre et l’évaluation. Et pour mettre en œuvre ce processus, les data scientists doivent apprendre à mieux collaborer avec les acteurs du terrain, plutôt qu’à produire leurs solutions en chambre. Ils doivent discuter avec ceux qui sont impactés par les systèmes, ceux qui les mettent en place pour mieux saisir les enjeux qui sont les leurs. « Le réalisme algorithmique n’exige pas des data scientists qu’ils abandonnent leurs compétences techniques, mais il souligne qu’ils ont besoin de plus que ces seules compétences. Ainsi, les data scientists ne devraient pas se définir uniquement comme des experts techniques sachant analyser des données. Au contraire, ils devraient s’efforcer d’être des stratèges de la donnée, aidant de manière créative les personnes et les organisations à utiliser les données pour relever des défis du monde réel ». Green tente ici de dresser une piste pour que les scientifiques de la données arrêtent de produire du technosolutionnisme. Il invite les ingénieurs à se défaire de l’hubris ingénieuriale, comme il le disait ailleurs. A prendre conscience que leurs solutions sont bien souvent inadaptées, toutes formidables qu’ils les trouvent. Et pour cela, il faut changer l’approche de la discipline elle-même. 

Pour Green, cette réorientation est aussi une réponse à l’automatisation qui dévalorise l’expertise des data scientistes. A l’heure où l’IA générative va produire la plupart du code, le réalisme algorithmique permet de prémunir la discipline contre l’automatisation. En devenant stratèges de la données, leur rôle n’est pas seulement de programmer, mais vise à « aider les organisations à définir des stratégies pour tirer parti des données et des algorithmes afin de répondre à leurs défis concrets ». « Les data scientists cherchent rarement à s’attaquer aux inégalités structurelles, préférant se contenter d’optimiser les procédures décisionnelles existantes. Le réalisme algorithmique inverse ces tendances. Il incite les data scientists à modérer leurs ambitions quant à ce que les algorithmes peuvent accomplir seuls, tout en les encourageant à viser plus haut dans la poursuite de réformes sociales et politiques systémiques », promouvant la justice sociale. 

Pourtant, prévient Green, la justice sociale est un sujet complexe et controversé. Il n’existe pas de réponse unique ou évidente quant à la manière de parvenir à la justice dans chaque situation… Et il n’est pas sûr que toutes leurs interventions y parviennent. Reste que pour lui, il faut parvenir à sortir de la lutte contre les injustices engendrées par les algorithmes pour les utiliser pour combattre les inégalités. 

Pour autant, Green ne se veut pas naïf. Les data scientists ne vont pas créer demain, rapidement et facilement, une société juste, juste en changeant de méthode. D’autres enjeux s’imposent à eux. Les gouvernements eux-mêmes et nombre d’acteurs privés, sont motivés par des objectifs qui sont en conflits avec la justice sociale. Les autorités sont les premières à produire des algorithmes pour soutenir des politiques austéritaires, racistes et qui renforcent le contrôle et les inégalités sociales et les data scientists n’ont pas toujours de marge de manœuvre pour réorienter ces politiques. Le réalisme algorithmique ne prétend pas résoudre tous les défis. Il ne se veut qu’une méthode pour appréhender les défis sociaux, pour mieux collaborer avec les plus vulnérables. Et effectivement, cela ne suffira certainement pas à inverser les scripts qui se déploient dans les outils, les idéologies à l’œuvre dans les programmes et les politiques. « Les data scientists disposent d’une marge de manœuvre limitée pour générer un changement social ». Ce n’est pas pour autant qu’ils ne doivent pas être responsables de tenter de changer les choses. « Les data scientists ne sont pas responsables de la création des conditions sociales d’inégalité et d’injustice. Mais nous sommes responsables de la décision et de la manière d’agir face à ces conditions sociales.»

Le réalisme algorithmique n’est pas seulement une nouvelle méthode. C’est aussi une nouvelle culture et un ensemble de normes pour la data science. Son but est de traduire la critique des algorithmes en de nouvelles pratiques pour les data scientists. 

La leçon du pragmatisme

Le passage du formalisme au réalisme et l’idée de l’appliquer à la data science ne vient pas de nulle part, explique Ben Green. Il s’inspire notamment des philosophes pragmatistes, comme John Dewey ou William James. « Les pragmatistes visaient à transformer la philosophie, d’une recherche métaphysique de vérités essentielles, en un ensemble d’outils pratiques pour résoudre les défis sociaux contemporains ». Pour eux, les concepts sont des instruments au service de l’action concrète : les idées sont des instruments pratiques – au même titre que des fourchettes, des tondeuses à gazon ou des stéthoscopes – destinés à aider les individus à faire face aux défis du monde réel. Ils proposent aux philosophes de s’affranchir de leur dépendance aux abstractions et aux formalismes et aux certitudes qu’elle produit. « Aucune connaissance ne garantit son infaillibilité », disait Dewey. Les connaissances doivent pouvoir être affinées en fonction des conséquences de leur mise en pratique.

La philosophie pragmatique s’appuie sur 3 principes. Le premier consiste à prendre en compte les conséquences : la qualité des théories dépend de leurs effets dans le monde réel, ce qui suppose d’évaluer dans la pratique si elles produisent les conséquences souhaitées. Une politique visant à réduire les inégalités de revenus ne s’évalue pas en fonction des principes qu’elle propose, mais se mesure plutôt en observant si sa mise en œuvre réduit effectivement les inégalités. Le second est le principe des outils, c’est un principe qui vise à se défier de l’abstraction qui n’est qu’un outil parmi d’autres. Le troisième est celui de la socialité : toute connaissance est le produit des personnes qui l’élaborent. Cela signifie qu’il n’existe aucune valeur éthique ou objective ultime. 

Cette philosophie a eu des conséquences concrètes, notamment dans le domaine du droit. Jusqu’au début du XXe siècle, le raisonnement juridique aux Etats-Unis était dominé lui aussi par le formalisme, ce qui a suscité des critiques ouvrant la voie à des réformes progressistes, notamment pour élargir les droits et les protections des travailleurs. C’est ce que l’on a appelé le réalisme juridique. Le formalisme juridique estimait que les conséquences sociales réelles des lois étaient sans pertinence pour leur évaluation. Par exemple, les juges américains ont longtemps interprété la liberté contractuelle comme une règle rigide : l’État ne pouvait s’immiscer dans les contrats que les individus concluaient de leur plein gré. La Cour suprême des Etats-Unis a ainsi invalidé en 1905 une loi de l’Etat de New York fixant une durée maximale de travail pour les employés de boulangerie au motif qu’elle était un ingérence déraisonnable face à la liberté de contracter, quelque soit ses effets. En réaction au formalisme juridique, les réalistes ont œuvré pour prendre en compte le monde dans lequel le droit s’inscrit, pour faire du droit un outil pragmatique au service d’objectifs sociaux plutôt qu’un système visant à produire des réponses incontestables. Pour eux, la qualité des lois devait dépendre de leurs effets dans le monde réel. Pour cela, il leur a fallu montrer que les principes juridiques abstraits ne permettent pas d’apporter des réponses claires dans des cas concrets. Les réalistes juridiques ont prôné des changements d’orientation pour prendre en compte la jurisprudence, le contexte et en soutenant que le droit n’était pas un outil neutre, mais politique, et montrer que le droit ne pouvait être résolu par la simple application de principes abstraits. Ce basculement a changé l’application du droit aux Etats-Unis. En 1937, la Cour suprême des Etats-Unis a validé la constitutionnalité de lois sociales telles que celles instaurant un salaire minimum. « L’évolution du droit, passant du formalisme juridique au réalisme juridique, laisse entrevoir une trajectoire analogue pour faire progresser la science des données : le passage du formalisme algorithmique à une nouvelle méthodologie, le réalisme algorithmique.»

Pour appliquer le pragmatisme à la science des données, il faut que « le test ultime des attributs d’un algorithme réside dans les impacts qu’il génère en pratique ». Les data scientists ne peuvent se fier au comportement des entrées et des sorties du modèle. Il faut passer d’une conception des algorithmes comme des modèles mathématiques à une conception pratique d’instruments destinés à améliorer la société. « Ce qui rend un algorithme « équitable » ou « éthique », ce n’est pas qu’il possède des caractéristiques mathématiques associées à ces valeurs, mais qu’il produit, dans le monde réel, des résultats associés à ces valeurs ». Les algorithmes sont des systèmes sociotechniques qui s’inscrivent dans la société où ils se déploient, des pratiques sociales. Et s’ils sont des pratiques sociales, alors il faut développer des mesures d’évaluation adaptées, qui reflètent les effets réels de ces calculs. Prendre en considération les conséquences des systèmes, impose aux ingénieurs d’assumer la responsabilités des préjudices que leurs systèmes causent. « Si un algorithme conçu pour améliorer la société s’avère finalement nuisible, il ne peut être considéré comme socialement bénéfique, quelles que soient les mesures formelles attestant de ses bienfaits. Même si les effets néfastes d’un algorithme n’ont pas été voulus, ils définissent la manière dont celui-ci fonctionne réellement. » Là où le regard des spécialistes doit bouger, c’est qu’ils devraient privilégier les impacts sociaux indépendamment du rôle joué par les algos, quitte à ne pas développer des systèmes de calcul. 

Le réalisme algorithmique repose enfin sur un autre principe et présupposé : les algorithmes sont politiques et ceux qui les fabriquent sont des acteurs politiques à part entière. « Toute activité qui influence la disponibilité des ressources, des droits, des statuts ou du pouvoir dans la société est politique ». Les défenseurs de la neutralité visent bien plus à occulter les rapports de force et perpétuer les hiérarchies sociales existantes, qu’à défendre une impartialité qui n’existe pas. Pour Green, les développeurs doivent reconnaître leur partialité, non pas parce qu’ils ignoreraient certaines choses, mais plus encore parce que leurs travaux portent des valeurs par devers eux. « Les data scientists occupent souvent des postes leur conférant une marge de manœuvre considérable pour prendre des décisions normatives. Or, ils ne devraient pas se considérer comme les arbitres du bien, mais plutôt comme des facilitateurs attachés à la participation démocratique de tous.» 

Dans Logique : La théorie de l’enquête (PUF, 2006), John Dewey décrit la résolution de problèmes comme un processus en quatre étapes. « La première étape consiste à examiner le problème en question pour en comprendre les caractéristiques et définir les critères d’une résolution souhaitable. La deuxième étape consiste à explorer des solutions potentielles et à rechercher une intervention susceptible de résoudre le problème. La troisième étape consiste à mettre en œuvre l’intervention choisie. Enfin, la quatrième étape consiste à évaluer si l’intervention a produit les résultats escomptés. Si les résultats sont satisfaisants, le processus s’achève. » C’est exactement la méthode que Green retient pour l’appliquer aux défis algorithmiques. La méthode se déploie comme une feuille de route visant à 

1. Délimiter le problème
2. Délimiter le projet
3. Analyser les données
4. Mettre en oeuvre
5. Et évaluer. 

Avant de détailler par le menu les enjeux et défis de chaque étape. Mais, rappelle-t-il en préambule, les ingénieurs ne sont pas des « licornes omniscientes capables de tout faire en solitaire ». Si certains collaborent activement avec des communautés et des experts pour mener leurs projets, trop souvent encore, ces échanges restent « formalistes ». Dans l’ensemble, ils restreignent la participation de ces groupes à la simple fourniture d’informations sur les paramètres de mise en œuvre technique (voir par exemple notre article sur le manque de participation des publics). Et il est encore plus rare que les ingénieurs confient à d’autres le pouvoir de décision sur les résultats à privilégier ou l’opportunité même de développer des systèmes. Même lorsqu’ils consultent des communautés, trop souvent encore, les ingénieurs conservent la maîtrise du projet. Et quand c’est le cas, l’implication des parties prenantes est marginale, insuffisante pour influencer de manière significative les résultats. Quand c’est le cas, les ingénieurs ont souvent déjà arrêté leur orientation et restent souvent réticents face aux retours remettant en cause leurs choix (comme nous le montrions dans notre article sur l’échec des déploiements de projets). Enfin, quand ils laissent une place, celle-ci consiste à discuter de paramètres, d’indicateurs qui dévalorisent les savoirs des groupes dépourvus de formation technique. 

En rendant les phases amonts (et avals) du processus plus collaboratives, l’enjeu est de mieux réussir à ouvrir à toutes les parties prenantes les moyens de peser sur les objectifs et la portée des projets. Green rappelle que le data scientist ne connaît jamais la complexité du fonctionnement d’un système. Ce sont ceux qui y sont confrontés les experts. Et c’est leur connaissance qui seule permet de faire la différence. 

Définir le périmètre de projets de science des données réalistes

Délimiter le problème n’est pas si simple car les situations problématiques sont souvent mal définies et ambiguës et nécessitent d’éviter toute attente ou tout objectif préconçu. « Lors du diagnostic des problèmes, il est important de reconnaître qu’il n’existe probablement pas d’explication unique et correcte. La plupart des défis sociaux sont des « problèmes complexes ».» Pour cela, Green invite à l’enquête. A discuter avec les agents ou avec le public. A prendre le temps d’interviewer, de parler. Il donne l’exemple d’entretiens avec des parents confrontés à des systèmes algorithmiques visant à prédire les risques de maltraitance ou de négligence. Pour les familles, ces systèmes stigmatisent les parents plus qu’ils n’améliorent la situation. La réponse proposée par les services sociaux où ces systèmes étaient déployés était inadaptée à leur situation. Pour Green, tout l’enjeu est de poser l’énoncé du problème, de le décrire et de décrire ses causes. Aborder les personnes touchées et regarder si elles sont concernées différemment. C’est en posant un diagnostic approfondi du problème qu’on construit un point de référence qui va fournir un cadre pour la démarche. Et ce diagnostic doit être partagé et validé par ceux avec qui le data scientist doit travailler. 

Une fois le problème cerné, il faut alors élaborer une stratégie de réforme, c’est-à-dire une théorie du changement qui permettrait de résoudre le problème identifié, sans évoquer de technologie. Le but n’est pas nécessairement de tout résoudre d’un coup, mais aussi d’esquisser les étapes. « Lorsque des travailleurs se syndiquent, ils ne cherchent pas simplement à obtenir des salaires plus élevés. Ils visent plutôt à accroître leur pouvoir à déterminer les conditions de travail. Grâce à ce pouvoir, ils peuvent négocier avec la direction de nombreux aspects de leur emploi : les salaires, certes, mais aussi la couverture santé, les mesures de sécurité, et bien plus encore. Pour un syndicat, il n’existe pas de victoire ultime et définitive, mais seulement une succession de compromis et de victoires partielles. Chaque action renforce la capacité du syndicat à remporter de nouvelles victoires partielles lors des campagnes de mobilisation ultérieures », comme le montrait André Gorz dans Stratégie ouvrière et néocapitalisme (Seuil, 1964). « Pour les data scientists, qui cherchent à promouvoir la justice sociale, votre objectif n’est pas d’identifier une stratégie globale de transformation de la société. Ne vous attendez pas à ce qu’une intervention quelconque puisse résoudre un problème social systémique et aboutir à une alternative parfaitement juste. L’objectif est plutôt d’identifier des « réformes non réformistes » : des actions qui, même modestement, orienteront la société vers des politiques et des structures de pouvoir égalitaires. » Pour Gorz, les réformes non réformistes s’inscrivent dans une volonté d’instaurer des relations sociales égalitaires. Elles remettent en cause le statu quo au service des objectifs visés. Compte tenu de cette distinction, les réformes non réformistes sont mieux à même de surmonter les structures politiques et de pouvoir systémiques qui, généralement, font obstacle à la réalisation de la justice sociale. 

La délimitation du projet, elle, consiste à préciser les objectifs à atteindre. « Des objectifs qui doivent être à la fois spécifiques, mesurables, réalisables, pertinents et temporellement définis ». Ils doivent permettre de faire progresser la stratégie de réforme définie et sa contribution doit venir soutenir les acteurs. Ici, l’enjeu est d’identifier « Comment mon expertise et mon statut de data scientist peuvent-ils aider le groupe à atteindre ses objectifs ? »

Pour Green cela suppose par exemple de produire une cartographie des processus pour bien saisir le fonctionnement et les pratiques des acteurs accompagnés, sous forme par exemple d’une représentation détaillée de chaque étape d’un processus opérationnel, voire un organigramme ou un flux de travail (à accomplir avec ceux chargés de le faire pour en valider les étapes, préciser les acteurs impliqués, les objectifs de chacun, leurs contraintes) permettant d’identifier les points de blocages concrets. À San Francisco par exemple, le Département de la santé publique s’inquiétait de la baisse des taux de fidélisation à un programme qui fournit une aide alimentaire aux mères à faibles revenus. Pour comprendre les causes de ce problème, l’agence a collaboré avec l’équipe interne de science des données de la ville. Les spécialistes des données ont analysé six années d’informations et élaboré un modèle d’arbre de décision afin d’identifier les facteurs conduisant les mères à abandonner le programme. Ils ont également interrogé les bénéficiaires et le personnel du programme. Ces analyses ont révélé que les contraintes administratives et la stigmatisation sociale constituaient des obstacles majeurs pour les mères. En réponse, l’agence a réduit les contraintes administratives en simplifiant la prise de rendez-vous et en remplaçant les chèques papier par des cartes de paiement électroniques qu’elles réclamaient. L’agence a également lutté contre la stigmatisation en modifiant la communication du programme. A nouveau, insiste Green, l’enjeu n’est pas toujours de faire de grandes réformes. Mais souvent seulement d’aider les organismes à renforcer leurs capacités techniques, que ce soit en nettoyant leurs données, à former le personnel pour élaborer des indicateurs pertinents ou à faciliter le partage de données entre les différents services. 

Un autre moyen consiste à cartographier le pouvoir, les réseaux d’acteurs en relation ou en conflit, comme « d’identifier des adversaires qu’il convient de soumettre à des pressions, des alliés potentiels qu’il faut convaincre ou des groupes non organisés qu’il s’agit d’unifier ». C’est le cas par exemple du collectif militant Anti-Eviction Mapping Project (AEMP) qui publie des cartes d’expulsion notamment à San Francisco. Avec l’Eviction Defense Collaborative, les deux associations ont produit une carte pour mettre en évidence les arrêts de navettes des entreprises technologiques de San Francisco avec celle des expulsions du centre-ville qui a conduit la ville à réglementer le passage de ces bus. 

Le but, ici, est bien souvent d’analyser les données pour orienter la stratégie de mobilisation. Dans le Connecticut, des locataires de logements abordables étaient exposés à des niveaux de présence de plomb toxiques. Ils ont formé un syndicat de locataires pour se mobiliser contre le problème. Les scientifiques de l’organisation Science for the People sont venu leur apporter leur soutien en croisant les données des inspections des agences chargées de la détection du plomb avec celles du syndicat pour aller démarcher d’autres habitants confrontés au problème et accroître la mobilisation et la pression sur les autorités publiques. Suite à ces actions, une enquête a été ouverte et l’agence de protection de l’environnement est intervenue pour faire nettoyer les immeubles. 

Pour élaborer des spécifications de conception, il faut s’intéresser aux variables cibles des systèmes (c’est-à-dire le résultat que l’algorithme prédit), les mesures d’évaluation et l’utilisabilité pratique, qui permettent de traduire le phénomène étudié en une représentation quantitative susceptible d’être mesurée et prédite. Or, celles-ci ne sont pas toujours définies au mieux, rappelle Green. Un algorithme utilisé par le service des impôts américains pour prédire quelles déclarations de revenus sont non conformes (qui devraient donc faire l’objet d’un contrôle fiscal) évalue « la non-conformité comme le dépôt d’une déclaration comportant une erreur, quel que soit le montant en jeu. Sur la base de cette définition, l’algorithme cible de manière disproportionnée les contribuables à faibles revenus et les contribuables noirs pour des contrôles. À l’inverse, si l’algorithme définissait la non-conformité comme un sous-paiement d’impôts d’un montant significatif, il ciblerait plutôt les contribuables à revenus élevés et non noirs pour ces contrôles » (un problème qui n’est pas sans rappeler celui des indus calculé par la CAF en France, soit dit en passant). 

Parvenir à identifier correctement le problème prend du temps et des efforts, rappelle Green. A New York, le service municipal d’aide aux locataires qui vise à les aider dans leur relations avec leur propriétaires par exemple pour obtenir des réparations d’urgence, a cherché à identifier les locataires qui avaient besoin d’aide. Ils ont mis au point un système pour prédire les locataires harcelés par leurs propriétaires pour mieux cibler leurs interventions. Dans un premier temps, ils ont défini leur algorithme pour prédire les immeubles allant connaître au moins un cas de harcèlement au cours du mois suivant, mais le système sélectionnait des immeubles comportant beaucoup d’appartements, mais avec un faible taux de harcèlement de leurs propriétaires. Les scientifiques ont reformulé le problème pour prédire quels immeubles présentaient la plus forte proportion de locataires harcelés. Le modèle a alors identifié des immeubles plus petits avec des taux élevés et mieux répartis dans la ville. Le second modèle a permis de doubler le taux d’identification de locataires en difficulté avec leurs propriétaires, se révélant ainsi plus efficace pour soutenir la mission de l’agence, à savoir protéger les locataires vulnérables.

Pour Green, il y a beaucoup de variables à prendre en considération pour accomplir des analyses adaptées aux situations. Bien souvent, les associations ou les services publics ont peu de moyens pour intervenir. Cela signifie qu’il faut être capable d’intégrer les contraintes opérationnelles de l’organisme dans les indicateurs d’évaluation. « Les approches d’évaluation standard, qui prennent en compte la performance d’un algorithme sur l’ensemble de la population, ne reflètent pas la qualité de l’algorithme pour le rôle auquel il est destiné. Si un organisme ne peut intervenir qu’auprès d’une petite partie de la population, l’essentiel est d’identifier avec précision le groupe qui bénéficierait le plus d’une intervention. » Et dans de nombreux cas, « l’algorithme le plus performant pour l’ensemble de la population sera différent de celui qui performe le mieux pour le sous-ensemble étudié ».

Enfin, il faut s’assurer que l’algorithme sera utilisable en pratique et qu’il sera dimensionné et adapté aux processus existants. Par exemple, en travaillant avec les services sociaux de l’Illinois pour réduire le risque d’accouchement prématuré, les data scientists ont tenté de prédire les femmes avec le plus grand risque de complication via une application en ligne. Mais ils se sont rendu compte que cette application n’était pas fonctionnelle en pratique, car les services ne disposaient pas des capacités techniques pour en assurer la maintenance. Ils ont alors produit un score de risque depuis un simple formulaire papier facile à remplir. Moins précis que l’évaluation numérique, l’outil s’est avéré plus efficace car les services ont pu l’intégrer dans leurs opérations quotidiennes et a permis d’améliorer de 20% les soins prénataux aux femmes à hauts risques. 

Pour Green, « plus vous aurez défini le périmètre de votre projet de manière pertinente pour le contexte d’utilisation spécifique, plus il sera facile de mettre en œuvre l’algorithme avec succès ». Et c’est seulement après ces étapes importantes de spécifications, que le data scientist peut faire son travail, de sélection, de nettoyage et d’analyse de données.

Là encore, le travail préliminaire consiste à bien comprendre les données, leurs ambiguïtés, leurs biais et leurs limites. Il faut comprendre comment elles sont collectées, leurs manques… Ce qui n’est possible qu’en comprenant leur collecte, leur but, et en discutant avec ceux qui les collectent. Pour Green, « une cause fréquente d’échec des logiciels publics réside dans les méthodes de développement dites « en cascade » : les pouvoirs publics définissent leurs besoins, les techniciens conçoivent et réalisent le système de manière isolée, pour ne le présenter qu’une fois le produit final achevé. L’approche en cascade suppose qu’il est possible de définir tous les détails d’un outil avant d’en entamer la réalisation », comme le montrent Tara Dawson McGuiness et Hana Schank dans leur livre,  Power to the Public: The Promise of Public Interest Technology (Princeton university Press, 2021). « Cette approche mène souvent à l’échec car elle ne prévoit aucune possibilité de retour d’information intermédiaire au cours du processus de développement. Si vous tentez de concevoir un système de manière isolée, vous risquez de négliger les préférences et les pratiques de l’organisme concerné, faute de les avoir abordées en amont. De plus, ces préférences et pratiques sont susceptibles d’évoluer avec le temps. Plutôt que d’adopter une méthode en cascade (waterfall), privilégiez les pratiques de développement « agile » : créez des prototypes de manière itérative, discutez-en ou testez-les avec les utilisateurs finaux, puis ajustez votre travail en fonction des retours obtenus. »

Une fois les données analysées ou modélisées, vous pouvez en tirer des enseignements. Si vous avez élaboré un modèle, c’est à cette étape que vous l’utiliserez pour effectuer des prédictions ou des classifications sur de nouvelles données. Si vous préparez une présentation ou un rapport, c’est le moment de synthétiser les résultats dans un document destiné à être partagé. Ne vous limitez pas aux aspects techniques de vos livrables ; réfléchissez également à la manière de communiquer votre travail. Il est essentiel que votre public puisse interpréter correctement la signification de vos résultats (et, point tout aussi important, ce qu’ils ne signifient pas).

L’implémentation elle aussi doit être pédagogique recommande Green. Elle doit se faire en observant les impacts liés à l’utilisation. « Les projets de science des données sont loin d’être terminés une fois qu’un algorithme a été développé. » Pour cela, il faut non seulement surveiller ce que produit l’algorithme mais plus encore comment il s’insère et influe sur la prise de décisions, dans les processus et observer ses impacts sur les publics touchés. C’est à ce moment-là qu’on déploie des outils pour évaluer leurs effets, que ce soit via des méthodes de projection prospective, des exercices de design fiction, ou des études d’utilisation. 

C’est seulement toutes ces étapes franchies qu’on peut décider ou non d’implémenter le système, estime Green en délibérant avec les parties prenantes, en ayant observé si le système produit bien des effets et à quel niveau. C’est seulement une fois que l’implémentation est réalisée avec attention pour qu’elle s’intègre aux processus, que l’évaluation peut vraiment avoir lieu. En regardant s’il atteint bien ses objectifs et s’il engendre des effets secondaires négatifs. Là encore, le manuel de Green fourmille d’exemples pour procéder à ces évaluations, que ce soit par des essais contrôlés randomisés, des comparaisons avant-après, par des études d’interaction humaines avec le système, des enquêtes sur les groupes affectés par les décisions… 

Bien souvent, les évaluations formalistes des systèmes peinent à évaluer leurs impacts concrets. A San Francisco, les personnes sans abri font l’objet d’une évaluation de leur vulnérabilité par un algorithme. Ces scores orientent les décisions des organismes de logement quant aux personnes à prioriser pour l’attribution d’un logement. Or pour candidater, il leur faut répondre à un questionnaire assez traumatisant, ce qui les conduit à taire leurs récits voire à renoncer et donc à réduire leur score. L’algorithme ne parvient donc pas à accomplir pleinement ce qu’il est censé faire. 

Relever le défi des inégalités : des mesures d’équité… aux interventions structurelles

Résoudre les inégalités n’est pas si simple, rappelle Green. En 2016, les journalistes d’investigation de ProPublica ont montré que l’algorithme de Compas d’évaluation des risques de récidive était biaisé à l’encontre des Noirs. ProPublica a constaté que le taux de faux positifs de COMPAS – le taux de classification erronée d’un prévenu qui ne récidivera pas comme présentant un risque élevé – était deux fois plus élevé pour les prévenus noirs que pour les prévenus blancs. L’algorithme a classé 45 % des prévenus noirs non récidivistes comme présentant un risque élevé. En revanche, il n’a classé que 23 % des prévenus blancs non récidivistes comme présentant un risque élevé. L’algorithme a donc classé de manière disproportionnée les prévenus noirs comme susceptibles de récidiver.

Ces résultats ont suscité une grande consternation, de nombreux commentateurs exprimant leur indignation face à des algorithmes racistes dans des décisions aussi importantes. Mais Northpointe, l’entreprise qui a développé Compas, a réfuté les accusation de discrimination en s’appuyant sur une autre comparaison : parmi les prévenus considérés comme à haut risque, les prévenus noirs et blancs récidivaient à des taux similaires (environ 60 % du temps). Ce qui signifiait que l’algorithme traitait les prévenus noirs et blancs de la même manière quant à leur probabilité de récidive. Pour Northpointe, cette analyse démontrait que COMPAS est impartial. 

Des chercheurs en science des données se sont penchés sur ce débat, supposant qu’il serait possible de trancher la question en ajustant COMPAS pour satisfaire aux notions d’équité présentées par ProPublica et Northpointe. Ils ont cependant rapidement découvert que cela était impossible. Les algorithmes prédictifs discriminent inévitablement une forme ou une autre, et généralement en pénalisant les groupes marginalisés. Dans le cas de COMPAS, la disparité raciale des taux de faux positifs s’explique parce que les accusés noirs récidivent plus fréquemment que les accusés blancs, mais certainement d’abord parce qu’ils sont plus nombreux à être incarcérés et moins pris en charge. L’algorithme détecte cette différence et considère donc les accusés noirs comme plus à risque que les accusés blancs. Des enquêtes ont démontré des biais raciaux, ethniques, sexistes et de classe dans de nombreux autres algorithmes du secteur public.

« Cette caractéristique des algorithmes soulève un problème important pour les data scientists qui tentent de promouvoir la justice sociale. Les groupes marginalisés obtiennent de moins bons résultats dans de nombreux domaines, notamment la criminalité, l’éducation, la réussite professionnelle et la santé. Ce sont ces inégalités qui motivent de nombreux data scientists à œuvrer pour la justice. Mais comme les algorithmes sont entraînés sur des données qui reflètent ces schémas d’inégalité, ils génèrent des prédictions et des classifications qui reproduisent les disparités sociales. » 

Les spécialistes des données ont tenté de relever ce défi en développant le domaine de « l’équité algorithmique ». Comme son nom l’indique, l’équité algorithmique vise à empêcher les algorithmes d’exprimer des biais ou d’exacerber les inégalités. Ce domaine de recherche a réalisé des progrès importants dans le développement de méthodes permettant de réduire certains biais et a incité les spécialistes des données à reconnaître que les algorithmes ne sont pas objectifs.

Malgré ces avancées, l’équité algorithmique reste fondamentalement limitée en tant que méthodologie de promotion de la justice sociale. Le défaut fatal de ce domaine est qu’il considère l’équité comme un attribut technique interne aux algorithmes, explique Green.

L’équité algorithmique représente un exemple typique d’incorporation formaliste : les data scientists ont abordé les questions morales d’équité à travers les méthodes et les orientations du formalisme algorithmique. Cette approche de l’équité a conduit à des algorithmes qui paraissent équitables mais qui, en réalité, perpétuent les inégalités. « Ces limites de l’équité algorithmique signifient que les data scientists manquent d’une voie claire pour lutter contre la discrimination et les inégalités. Les réformes qui promeuvent l’équité sont les plus nécessaires dans les domaines où les disparités sociales sont criantes et généralisées. Mais les data scientists ne disposent pas de méthodes pour concevoir des algorithmes qui réduisent ces disparités plutôt que de les reproduire. Il n’est donc pas évident de savoir comment les data scientists peuvent contribuer à la justice sociale dans ces domaines. »

Pour Green, le réalisme algorithmique offre une voie productive pour pratiquer la science des données dans des domaines marqués par les inégalités car elle « reconsidère l’équité comme une propriété instrumentale – et non intrinsèque – des algorithmes ». « Dans cette optique, pour déterminer si un algorithme est équitable, ce qui compte, ce ne sont pas ses caractéristiques techniques, mais les effets qu’il produit au sein de la société. Par conséquent, les data scientists devraient cesser de poser la question formaliste dominante dans le domaine : « Comment créer des algorithmes qui satisfont à des critères statistiques d’équité ? » Cette question focalise l’attention sur le fonctionnement interne des algorithmes, en se concentrant étroitement sur des processus de décision isolés. Au lieu de cela, les data scientists devraient se demander : « Comment pouvons-nous contribuer à réduire les inégalités sociales et matérielles dans la société ? » Cette question incite les data scientists à privilégier les impacts réels des algorithmes. » 

Certes, cette question ne permet pas de réponses simples. Toutefois, la démarche du réalisme algorithmique structure un processus grâce auquel les data scientists peuvent élaborer des projets favorisant l’équité. Le réalisme algorithmique invite les data scientists à élargir leur perspective au-delà des processus de décision ponctuels pour prendre en compte les environnements sociaux qui entourent ces moments de décision. Cette approche souligne que les data scientists ne sont pas limités à la simple optimisation des modalités de prise de décision : ils peuvent également modifier les structures sociales qui encadrent ces processus. « Ils devraient notamment s’efforcer de (1) réduire les disparités sociales qui alimentent les processus de décision et (2) atténuer les conséquences néfastes découlant de ces décisions. En privilégiant des interventions structurelles plutôt que des mesures d’équité, les data scientists peuvent mener des projets techniques qui contournent les contraintes liées à l’équité algorithmique tout en promouvant la justice sociale.»

Green montre que l’approche formaliste de l’équité, malgré le développement d’innombrables mesures d’équité sous forme mathématique, peine à produire des effets. 

« Les mesures d’équité les plus répandues reposent sur des comparaisons entre des groupes qui valorisent soit la suffisance » (la condition de suffisance est remplie si, parmi les personnes faisant l’objet d’une prédiction donnée, tous les groupes présentent le résultat prédit dans les mêmes proportions. Cette définition de l’équité reflète l’idée que les personnes ayant une probabilité équivalente de manifester le comportement étudié doivent être traitées de manière similaire. Les modèles d’apprentissage automatique respectent généralement ce principe par défaut. Northpointe a soutenu que COMPAS était équitable car il satisfaisait au critère de suffisance) « soit la séparation » (la condition de séparation est remplie si tous les groupes soumis aux prédictions d’un algorithme présentent le même taux de faux positifs et le même taux de faux négatifs. Cette définition de l’équité reflète l’idée que les personnes présentant le même résultat doivent être traitées de manière similaire. ProPublica a soutenu que COMPAS était racialement biaisé car il ne respectait pas le critère de séparation). 

Le problème est que ces deux manières de définir l’équité sont irréconciliables. Et que l’équité se résume alors à une boîte à outil, où l’équité répond ou pas aux mesures mathématiques retenues. L’équité ne se mesure que sous l’angle des données d’entrée et de sortie de processus décisionnels ponctuels et bien souvent privilégie la suffisance à la séparation, notamment parce qu’on a tendance à bien plus valoriser l’égalité formelle, c’est-à-dire celle qui juge selon une norme uniforme, qui est très perméable aux inégalités existantes. Ainsi, si Northpointe a raison d’affirmer que les prévenus noirs récidivent plus souvent, c’est oublier que cette explication occulte les raisons de cette disparité. Cette disparité ne résulte pas d’un phénomène inexplicable ou sans importance. Au contraire, des siècles d’oppression raciale ont criminalisé le fait d’être Noir et ont placé les communautés noires dans des conditions criminogènes telles que la pauvreté endémique, le sous-financement des écoles et la rareté des opportunités d’emploi, rappelle le chercheur.

Pour Green, c’est en cela que l’équité algorithmique est dans une impasse. Les critiques, partisans de la justice algorithmique, suggèrent de privilégier la séparation à la suffisance comme définition de l’équité, pour privilégier l’égalité de résultats entre les groupes. Dans le cas de Compas, cela signifierait produire les mêmes niveaux de faux positifs pour les prévenus noirs et blancs. Mais pour changer d’approche, il faudrait faire évoluer non seulement la prise en compte mathématique, mais également la contrainte juridique. Privilégier la séparation nécessiterait de préconiser des décisions différentes pour les prévenus noirs et blancs présentant le même risque de récidive, ce qui serait illégal en vertu des lois anti-discrimination. Nous sommes là dans le même défi juridique que l’on notait dans le livre de Nathan Genicot. Une impasse éthique que nos sociétés n’ont pas tranchée. 

Pour dépasser cette impasse, Green suggère de passer à une approche instrumentale de l’équité. « Si nous ne pouvons pas choisir d’autres métriques d’équité, que pouvons-nous faire pour obtenir des algorithmes plus équitables ? »

« Pour élaborer une stratégie visant à mettre les algorithmes au service de la lutte contre l’injustice, nous avons besoin de l’éclairage d’une théorie morale qui dépasse le cadre de l’égalité formelle. » Cette théorie doit présenter deux caractéristiques fondamentales. Premièrement, elle doit se concentrer sur les réalités concrètes des inégalités plutôt que sur le simple respect de règles formelles et de normes uniformes. Deuxièmement, elle doit élargir le champ de l’analyse au-delà des points de décision individuels.

Pour cela, la solution que propose Green repose sur l’égalité relationnelle, qui constitue une approche substantielle de l’égalité, car elle privilégie les résultats aux procédures. Elle valorise notamment l’égalité dans les relations entre les individus. Les tenants de l’égalitarisme relationnel estiment que « les individus doivent interagir en tant qu’égaux ou jouir du même statut fondamental », contrairement aux relations hiérarchiques. Les égalitaristes relationnels suggèrent une stratégie différente pour promouvoir l’égalité : modifier les structures sociales qui encadrent les points de décision, c’est-à-dire s’intéresser bien plus aux environnements de décision. « Ce qui compte, ce n’est pas de savoir si un algorithme est conforme aux définitions de l’équité, mais s’il réduit les inégalités sociales et matérielles dans la société ».

Pour y parvenir, Green reprend tout le processus qu’il a proposé (les 5 étapes de sa méthode) pour le réinterroger à l’aune de l’équité. 

Lors de la délimitation du problème, il faut se poser plus avant la question des groupes les plus vulnérables ou les plus défavorisés. Les disparités d’attributs entre les groupes doivent être considérés comme le résultat d’une injustice. Et toujours estimer que les membres du groupe favorisé ont une influence dans la définition des critères de décision. Les attributs d’une personne, comme le mérite, le besoin, la dangerosité, reflètent souvent les intérêts des groupes sociaux dominants. « Plus un groupe dominant a le pouvoir de définir les critères, plus les conditions sont défavorables aux groupes marginalisés. » Il invite par exemple à observer si « les personnes présentant des caractéristiques défavorables font l’objet, de manière disproportionnée, de décisions défavorables » ou si les « les personnes qui reçoivent une décision défavorable subissent des conséquences graves » ou combien de personnes subissent des décisions défavorables. Ces questions permettent d’adapter les réponses stratégiques. Par exemple en fournissant des ressources ou des soutiens aux groupes défavorisés pour amoindrir les effets des calculs en modifiant les critères d’évaluation des décisions. Par exemple, en tentant de modifier les décisions défavorables afin qu’elles privilégient l’aide à la sanction. Ou encore en atténuant les préjudices découlant d’une décision défavorable, ou encore en tentant de réduire le nombre de personnes faisant l’objet de décisions défavorables, en tentant par exemple d’agir sur les ressources disponibles pour permettre davantage de décisions favorables. Ainsi, pour réduire le risque de récidive chez les groupes marginalisés, la première stratégie de réforme en amont consiste à fournir des ressources ou d’autres formes de soutien aux groupes défavorisés. 

Green donne un exemple, en observant comment d’autres décisions permettent de réduire le risque de récidive, par exemple en accompagnant les programmes qui visent à rompre les cycles de la criminalité et de la violence. À Chicago, un programme d’intervention communautaire contre la violence vise à offrir un soutien thérapeutique et social aux personnes à risque d’avoir un comportement violent. Les évaluations ont montré que ces programmes avaient un réel impact en réduisant de plus de 70% le risque d’arrestation pour crime violent chez les participants. Les spécialistes des données peuvent aider par exemple à améliorer le taux de rétention des participants, alors que moins de la moitié des participants vont jusqu’au bout du programme (et compte tenu des ressources limitées des programmes, il est impératif qu’ils réduisent leurs taux d’abandon). En comprenant les raisons de l’abandon ou en élaborant un modèle pour identifier les participants qui risquent d’abandonner, il y a des possibilités pour venir en soutien de ces programmes. Ou encore en concevant un modèle identifiant les meilleures stratégies de rétention. 

Un exemple dans l’actualité plus récente explicite plus avant ce succès. La ville de Baltimore a réduit son taux d’homicides de 60 % entre 2021 et 2025 rapportent Public Health et le Emerald book, en copiant le programme de Chicago. Ce succès s’explique par le fait que la ville ait abordé la violence par arme à feu comme un enjeu de santé publique et ait agit sur le problème non pas par la répression, mais en promouvant un programme pour les personnes les plus à mêmes de tomber dans la violence donnant accès à un logement stable, à des emplois, à des transports publics, comme le préconisent les travaux du Centre pour les solutions contre la violence par arme à feu et du Crime and Justice Lab. Une approche axée sur la santé publique implique d’analyser les données, de se concentrer sur les personnes les plus exposées aux risques pour les repérer et leur proposer un programme adapté d’aides pour s’extraire de la spirale où ils risquent de tomber parce qu’ils ont eux-mêmes été victimes de violences et d’évaluer en permanence ce qui fonctionne et ce qui ne fonctionne pas. En s’appuyant sur des réseaux communautaires locaux, comme la Peace Team, YAP, Roca, Safe streets ou Cure violence, Baltimore a réussi à ce que 91,5% des participants à son programme ne soient plus ni victimes ni auteurs de nouvelles fusillades. Plutôt que de déployer des effectifs de police, la ville a misé sur des médiateurs et un programme d’aides dédiés pour que la réponse à la violence par la violence ne soit plus la seule option. « Le succès de Baltimore a définitivement balayé le mythe selon lequel la réduction de la criminalité nécessiterait nécessairement une augmentation des effectifs policiers.»

Une autre option consiste à attirer davantage l’attention sur les méfaits de la mise en détention auprès des juges, comme l’ont montré les propositions alternatives à Compas, comme des systèmes qui proposent pour chaque individu la meilleure solution pour qu’ils ne récidivent pas en leur proposant les aides les mieux adaptées à leur situation (comme le programme de remise en liberté sous surveillance de la ville de New York qui a permis d’éviter la détention provisoire de 150 000 personnes) ou encore, comme le propose Esas, en proposant aux juges, plutôt qu’un score de risque, d’accéder aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements (voir notre article). 

Il est également possible d’utiliser d’autres solutions encore, comme des modèles statistiques afin d’identifier et de contester publiquement les décisions des juges en matière d’incarcération. À titre d’exemple, des spécialistes des données ont élaboré des modèles évaluant la fréquence à laquelle les juges de New York ont ​​ordonné le placement en détention provisoire entre 2020 et 2022, au regard de leur volume de dossiers. Ils ont ensuite publié un rapport désignant les quatorze juges les plus sévères de la ville. Selon leurs estimations, par rapport à des juges ordinaires, ces quatorze magistrats ont collectivement placé 580 personnes supplémentaires en détention, entraînant 154 années de détention provisoire additionnelles et un coût de 77 millions de dollars pour les finances publiques.

Une autre possibilité encore consiste à œuvrer à réduire les peines prononcées ou à réduire le nombre de personnes placées en détention provisoire par exemple en collaborant avec des avocats commis d’office pour concevoir un outil open-source pour les aider à mieux défendre leurs clients. ou encore en mobilisant des citoyens pour documenter les procédures de la justice et produire des rapports sur leurs actions. 

Green ne promet pas le grand soir de la lutte contre les inégalités. Mais estime que le terrain des interventions concrètes offre de nombreuses possibilités d’action. Pour lui, la data science permet de porter bien d’autres regards sur l’équité algorithmique. Bien sûr, reconnait-il avec humilité, « aucune de ces interventions, prise isolément, ne suffirait à éliminer les inégalités sociales ou les préjudices liés à la détention provisoire. Toutefois, toutes contribuent — par des évolutions progressives mais significatives — à orienter les structures sociales et institutionnelles vers une plus grande égalité relationnelle.» Pour autant que, politiquement, il reste des possibilités d’action, des programmes alternatifs et des financements pour ces programmes… 

Améliorer la prise de décision : passer de l’humain dans la boucle à l’algorithme dans la boucle

« Au cours des années 2010, des villes américaines comme Philadelphie ou San Francisco ont proposé des guichets pour aider les organismes de services sociaux à fournir une aide plus équitable et plus efficace aux personnes sans-abri. L’objectif de l’accès coordonné est d’accorder la priorité en matière de logement aux personnes qui en ont le plus besoin.

Les algorithmes facilitent ce processus en quantifiant la vulnérabilité de chaque personne sollicitant une aide au logement. » Problème : les travailleurs sociaux n’ont pas intégré ces évaluations. Pire, ces algorithmes ont eu l’effet inverse : ils ont exacerbé la vulnérabilité des groupes les plus marginalisés (tels que les immigrés, les personnes transgenres et les personnes noires) et ont donné aux personnes sans-abri le sentiment d’être déshumanisées par le processus d’évaluation, comme le racontait le San Francisco Public Press en 2022. 

« L’une des principales raisons de l’échec de cette initiative est que les travailleurs sociaux se sont trop reposés sur les algorithmes. Au lieu de considérer l’évaluation comme un outil permettant de contextualiser la situation de chaque individu, ils en ont fait le critère déterminant pour l’attribution d’un logement. Les agents chargés des dossiers ont fait valoir qu’ils n’avaient pas le « temps » de procéder à un examen plus personnalisé et que le questionnaire était plus simple à utiliser.

Cette dépendance excessive à l’égard des algorithmes de sélection a transformé un travail autrefois fondé sur l’accompagnement humain en une simple application rigide d’une formule. Auparavant, les travailleurs sociaux nouaient des relations avec les personnes sans abri afin de mieux cerner leurs besoins et de déterminer les formes d’aide les plus adaptées. Après l’introduction d’algorithmes d’accès coordonné au logement, les personnes en quête d’un toit n’ont plus bénéficié d’un accompagnement aussi personnalisé et respectueux. Elles étaient au contraire réduites à un simple numéro et, dans la plupart des cas, renvoyées à la rue.»

Cette histoire rappelle qu’il est très difficile de parvenir à une collaboration efficace entre humains et algorithmes. « On s’attend à ce que la combinaison de l’humain et des algorithmes permette de tirer le meilleur parti des deux mondes : la précision et la cohérence des algorithmes d’une part, l’expertise et le discernement des humains d’autre part. En pratique, toutefois, cette fusion idéale ne se concrétise que rarement.»

L’un des problèmes majeurs réside dans l’incapacité des humains à évaluer correctement la qualité des conseils fournis par les algorithmes ; même les experts peinent à distinguer les bonnes recommandations des mauvaises. Souvent, les décideurs humains accordent une confiance excessive à l’algorithme, ce qui les conduit à suivre des recommandations erronées ou biaisées. Ainsi, lorsque la police de Londres a testé un système de reconnaissance faciale en temps réel, les agents ont « largement surestimé la fiabilité du système », rapportait une analyse de l’AI Now institute. Alors que l’algorithme ne fournissait une réponse correcte que dans 19 % des cas, les agents ont approuvé 62 % de ses recommandations. 

Pour relever le défi de la collaboration, les data scientists ont complété les recommandations d’explications permettant de décrire les raisons pour lesquelles l’algorithme aboutit à sa conclusion. C’est le champ de ce qu’on appelle l’IA explicable (XAI). Malgré l’engouement, force est de constater que ces explications n’améliorent généralement pas la collaboration entre humains et algorithmes. Dans de nombreux cas, les explications conduisent même à de moins bons résultats. Ce problème découle à nouveau de la prédominance du formalisme algorithmique. Si le domaine a défini ce qui caractérise une bonne explication en terme mathématique et a mis au point des outils d’explicabilité, les complexités sociales inhérentes aux collaborations entre humains et algorithmes ont du mal à être saisies par le biais d’abstractions et de métriques. A nouveau, pour Green, il est nécessaire de dépasser le formalisme pour dépasser cette limite. « Ce qui caractérise un algorithme utile, ce n’est pas sa précision maximale ni ses explications techniquement optimales. Ce qui caractérise un algorithme utile, c’est sa capacité à aider les utilisateurs à prendre de meilleures décisions.» Cela semble tautologique, mais observer si cet objectif est atteint ne s’observe pas sur la base de purs formalismes. 

Dans l’approche formaliste, les spécialistes de data science insistent sur l’importance de maintenir un humain dans la boucle de décision. C’est au final toujours lui qui doit pouvoir décider, valider la recommandation du calcul. C’est un moyen censé prémunir des erreurs et des biais. De même, pour dépasser l’opacité intrinsèque aux calculs complexes, les data scientists privilégient des explications elles-mêmes automatisées. L’explicabilité est devenu le principe central et moteur de l’équité. Pourtant, cette explicabilité peine à produire des résultats et reste bien souvent très pauvre, incomplète… (absolument pas « projective », comme je le proposais moi-même). « Aider les utilisateurs à comprendre le fonctionnement d’un algorithme est très différent de les aider à utiliser ses conseils pour améliorer leurs décisions. Les convictions des data scientists quant à la qualité des explications ne correspondent donc pas à la pratique. » En fait, les explications ont pour effet involontaire d’accroître la confiance des utilisateurs envers les algorithmes, indépendamment de la qualité de ces derniers… et les incite à accepter plus facilement des conseils algorithmiques erronés.

Pour Green, à nouveau, il faut passer d’une approche formaliste en la matière à une approche réaliste. C’est-à-dire s’adapter à la manière dont les gens interprètent et utilisent les résultats des systèmes pour prendre des décisions, et pas seulement en faire des outils de décisions pour les gens. Ils doivent venir aider les gens à améliorer leurs décisions plutôt que de les prendre à leur place. Pour cela, ce n’est pas l’humain qu’il faut placer dans la boucle comme le proposent les conseils éthiques, mais l’algorithme, défend Green. En plaçant l’humain dans la boucle, on l’a vu avec la chaîne d’élimination automatisée des systèmes d’IA pour faire la guerre, trop souvent, on ne propose qu’une validation humaine de décisions algorithmiques trop complexes, une pantomime de contrôle. « À l’inverse, l’approche par un algorithme intégré au processus humain reconnaît que les algorithmes sont introduits au sein de processus décisionnels humains préexistants. Ici, ce sont les personnes qui prennent les décisions. Les algorithmes viennent compléter l’analyse de la personne en lui fournissant des éléments pour l’aider à évaluer la situation. Ce qui importe en fin de compte, c’est ce processus de décision humain, et non la capacité de l’algorithme à prendre seul de bonnes décisions ou celle de l’humain à superviser l’algorithme. Un système à algorithme intégré au processus humain, un « algorithme dans la boucle » est tout outil automatisé qui fournit des conseils aux personnes dans le but d’améliorer la prise de décision.»

Confrontés à des décisions à prendre, les humains doivent concilier des objectifs contradictoires. Lorsque les inspecteurs sanitaires choisissent les restaurants à contrôler par exemple, ils doivent concilier la priorité donnée aux établissements présentant les risques les plus élevés et la nécessité de répartir équitablement les inspections entre les différents quartiers. La manière dont ces acteurs pondèrent ces considérations concurrentes influence considérablement leurs décisions.

« L’existence de ces arbitrages implique que les décideurs disposent d’une marge d’appréciation pour déterminer l’issue la plus appropriée dans chaque cas. Bien qu’elle puisse susciter des inquiétudes quant aux risques de partialité ou d’incohérence, cette marge d’appréciation est un élément essentiel d’une prise de décision de qualité. Au quotidien, les bureaucrates de terrain sont confrontés à des situations ambiguës, incertaines et imprévisibles. Supprimer cette marge d’appréciation reviendrait à imposer une logique rigide et formelle à ces situations, empêchant ainsi les agents d’adapter leurs décisions à des cas complexes ou inédits.

Par ailleurs, imposer aux décideurs le respect de règles prescriptives violerait le principe normatif selon lequel les décisions doivent tenir compte de la situation et des besoins des individus. La marge d’appréciation est donc souhaitable, tant sur le plan pratique que normatif : elle permet aux décideurs de trouver un juste équilibre entre des valeurs et des objectifs contradictoires, en fonction des circonstances particulières.

Pour exercer leur pouvoir discrétionnaire de manière réfléchie et bénéfique pour la société, les décideurs doivent faire preuve d’un sens de la responsabilité morale quant à leurs choix. Craignant que cette marge d’appréciation ne favorise de mauvaises décisions ou des abus de pouvoir, les autorités imposent souvent des contraintes strictes aux actions des bureaucrates de terrain. Ces stratégies de contrôle et de conformité permettent généralement de prévenir les dérives les plus graves liées à l’exercice de ce pouvoir. Toutefois, leur efficacité est limitée – un contrôle précis s’avère très difficile dans ces contextes – et il a pour effet de démotiver les agents. Une stratégie bien plus efficace pour améliorer la prise de décision des agents publics consiste à responsabiliser les travailleurs et à leur accorder l’autonomie nécessaire pour exercer leur jugement de manière optimale », comme l’ont souligné bien des chercheurs tels que Michael Lipsky, Street-Level Bureaucracy: Dilemmas of the Individual in Public Services (Russell Sage Foundation, 1980), Bernardo Zacka, When the State Meets the Street: Public Service and Moral Agency (Harvard University Press, 2017) ou Dan Honig, Mission Driven Bureaucrats: Empowering People to Help Government Do Better (Oxford University Press, 2024). Le but d’un algorithme ne peut se réduire à améliorer sa précision (pour autant qu’il le permette réellement, comme le soulignaient les chercheurs Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024) et en pointant le fait que nombre de calculs n’améliorent que très marginalement leur résultats), mais doit prendre en compte nombre d’autres enjeux. Par exemple, un algorithme ne devrait pas chercher à « améliorer la précision des prédictions concernant la vulnérabilité des personnes sans-abri. » « À l’inverse, un projet intégrant des algorithmes dans la boucle décisionnelle déplacerait l’attention des prédictions vers les résultats concrets : « réduire le nombre de personnes vivant sans abri ou logement stable. » Par ailleurs, il conviendrait de prendre en compte les répercussions sur les travailleurs sociaux et sur les personnes sollicitant une aide au logement. Des objectifs connexes pourraient inclure : « améliorer le moral et le sentiment d’accomplissement des travailleurs sociaux » et « augmenter la proportion de personnes sans-abri estimant être traitées avec respect par l’organisme. » La nature multidimensionnelle de ces objectifs implique qu’il n’existera pas d’indicateur unique permettant de déterminer si le projet est une réussite.» D’une certaine manière, pourrait-on dire à la suite de Green, un système qui ne vise qu’à réduire le réel à une seule question sans ambiguïté, part d’une bien mauvaise analyse du réel et fournira par avance une mauvaise réponse. 

Pour améliorer la décision, estime Green, il n’est pas toujours nécessaire d’amener des informations nouvelles à ceux chargés de décisions, mais de comprendre ce qu’ils priorisent déjà. Les travailleurs sociaux chargés de la protection de l’enfance dans le comté d’Allegheny, en Pennsylvanie, privilégient la sécurité immédiate des enfants, tandis que l’algorithme dont ils reçoivent les conseils (l’Allegheny Family Screening Tool, qu’avait étudié Virginia Eubanks) prédit la sécurité des enfants sur une période de deux ans. Cette différence explique pourquoi les travailleurs sociaux ont tendance à ignorer les suggestions de l’algorithme. Nombre de professionnels hésitent à suivre les conseils algorithmiques pour des décisions à forts enjeux, estimant que ces modèles négligent la dimension humaine et la situation particulière des individus. Enfin, pour être exploitables, les enseignements tirés d’un algorithme doivent s’inscrire dans les pratiques quotidiennes et les flux d’information de l’organisation. Dans le domaine médical, par exemple, l’élaboration d’un plan de traitement pour un patient comporte de nombreux aspects allant au-delà de la simple prescription de médicaments. Les médecins doivent prendre des décisions telles que la fréquence des consultations de suivi et l’éventuelle intervention d’autres professionnels de santé (par exemple, des kinésithérapeutes ou des thérapeutes comportementaux). Ainsi, les médecins indiquent qu’ils préféreraient recevoir des recommandations algorithmiques liées à ces étapes organisationnelles, plutôt que de simples indications sur le médicament à prescrire. Ils souhaitent également que ces conseils facilitent les échanges avec les patients et les collègues, car ils élaborent souvent les plans de traitement en collaboration avec ces différents acteurs. 

Le développement d’un algorithme destiné à soutenir les conseillers d’une agence municipale de placement au Danemark met en lumière les avantages d’une collaboration étroite avec les décideurs et d’une ouverture d’esprit quant à la nature de la contribution à apporter. Dans ce cas précis, des spécialistes des données collaboraient avec des conseillers chargés d’aider les chômeurs à développer leurs compétences et à trouver un nouvel emploi. Au début du projet, les spécialistes des données prévoyaient de concevoir un algorithme capable de prédire quels demandeurs d’emploi présentaient le risque le plus élevé de chômage de longue durée. Il s’agissait là d’une approche classique en science des données, axée sur la prédiction de résultats individuels. Toutefois, les conseillers ont fait valoir qu’un tel outil entrerait en conflit avec leur éthique professionnelle. Pour eux, il est essentiel de croire en chaque chômeur et de l’aider à obtenir le meilleur résultat possible. Plutôt que des prédictions sur les comportements individuels, les conseillers ont demandé des prédictions concernant les processus organisationnels. Ils ont expliqué que l’un des principaux obstacles rencontrés par les usagers était la lenteur de l’avancement de leur dossier. Par exemple, des délais importants surviennent souvent lorsque l’agence doit rassembler les documents requis. Ces délais peuvent amener les demandeurs d’emploi à perdre confiance en eux et dans le processus d’accompagnement. Les spécialistes des données n’avaient jamais envisagé ce problème : ils supposaient que les dossiers étaient toujours traités rapidement. Or, les conseillers connaissaient bien ces délais longs et imprévisibles, qui constituaient un défi majeur dans leur travail. Pour y remédier, ils ont demandé un algorithme capable de prédire le temps d’attente estimé pour chaque personne. Cette information leur permettrait de préparer les demandeurs d’emploi au délai prévu et de les maintenir engagés dans des programmes tels que des thérapies ou des formations professionnelles durant cette période d’attente.

Cet exemple danois démontre que la contribution de la science des données qui semble la plus évidente n’est pas toujours la plus utile et l’importance à saisir les besoins de terrain. 

Tout cela nécessite une immersion totale avec le terrain, explique Green. Il faut comprendre comment les agents interprètent les informations, si certains éléments leur semblent confus… Mais surtout, pour Green, cela suppose de dépasser la seule explication. Par exemple en proposant des exemples similaires pour les inviter à mettre leur décision en perspective ou en les invitant à réfléchir par eux-même à une décision avant de recevoir les recommandations des systèmes. « L’idée sous-jacente est que si les individus réfléchissent de manière autonome à une décision, ils l’analyseront plus en profondeur et seront mieux à même d’évaluer les recommandations de l’algorithme. Plusieurs études ont montré que les fonctions de « contrainte cognitive » conduisent à des prédictions humaines plus précises que les scénarios où les utilisateurs ont un accès immédiat aux recommandations algorithmiques. » 

Une autre manière de faire consiste à guider le raisonnement sans recommander de décisions. Une autre manière encore consiste à proposer un éventail de choix par exemple en les rendant interactifs, permettant aux utilisateurs d’évaluer les conséquences des choix qu’ils ont à faire. « En encourageant une implication active – plutôt que passive – dans les systèmes intégrant l’humain dans la boucle algorithmique, l’interactivité aiderait les professionnels à préserver leur sens de la mission et leur autonomie lors de l’utilisation d’algorithmes, évitant ainsi de réduire leur pouvoir discrétionnaire à une simple formalité administrative.»

L’interactivité permet de conjuguer les capacités prédictives d’un algorithme aux connaissances spécifiques et contextuelles et à la démarche d’investigation du décideur. Ainsi, plutôt que de faire des recommandations de prescriptions pour traiter la dépression par exemple, les médecins devraient pouvoir adapter les systèmes aux situations individuelles. 

Dans son manuel, Green soutient que la clé réside dans une interaction profonde des data scientist avec les usagers et ceux qui déploient des outils. Leur intervention ne peut être ponctuelle, plaide-t-il, elle doit s’inscrire profondément dans les pratiques réelles. Il invite également à se défaire du solutionnisme pour produire des systèmes qui élargissent les choix plutôt qu’ils ne réduisent, comme il le disait déjà il y a quelques années. A observer ce que les praticiens en pensent, comment ils réagissent aux systèmes et pas seulement à les déployer voire à les imposer, au risque de leurs échecs. Le développement algorithmique ne peut pas se faire à l’encontre des missions que remplissent les gens. « Les défaillances persistantes des collaborations entre humains et algorithmes sapent la théorie du changement qui sous-tend de nombreux projets de science des données, laquelle vise à obtenir de meilleurs résultats sociaux en améliorant la prise de décision.»

Green termine son livre en prévenant les data scientists de se défier de l’IA générative. L’IA générative accélère et prolonge la logique du formalisme algorithmique. Le risque est de les considérer comme des outils polyvalents, susceptibles d’être appliqués à grande échelle, négligeant toutes les spécificités contextuelles qu’il met en avant dans son manuel.

« Si la science des données continue à suivre le formalisme algorithmique, le domaine produira des outils de plus en plus puissants sur le plan technique, mais souvent inutiles, voire nuisibles sur le plan sociétal. » Face à l’automatisation qui risque de rendre le scientifique des données obsolète, il est nécessaire de réarmer ses capacités. C’est ce que ce manuel propose. « Le réalisme algorithmique offre une piste pour permettre aux data scientists de se distinguer dans un monde où de nombreux aspects techniques de la science des données ont été automatisés. En concevant les algorithmes comme des outils opérationnels plutôt que comme des modèles mathématiques, le réalisme algorithmique redéfinit l’expertise qui caractérise un data scientist efficace.»

Pour l’instant, et cela risque d’être pire à mesure que l’IA se répand partout, « la plupart des data scientists sont formés et employés dans des environnements qui n’encouragent pas – et souvent découragent – le réalisme algorithmique. » De l’enseignement à la recherche, le domaine, pour ne pas disparaître sous les applications produites par l’IA, a besoin de s’ouvrir aux enjeux sociaux et aux applications concrètes, plaide Green. Or, « on continue d’enseigner aux étudiants des sciences de l’information que les dimensions sociales et éthiques des algorithmes sortent du cadre », comme l’expliquait l’ingénieur Jimmy Wu. Pour remédier à cela, il faut reconnecter l’éthique à la pratique. Nous devons sortir des façons dont on enseigne l’éthique dans les écoles d’ingénieurs que ce soit par leur mise en œuvre mathématique et formaliste comme par le biais de dissertations morales déconnectées des enjeux applicatifs. « Il ne s’agit pas d’enseigner l’éthique de manière abstraite aux étudiants en science des données, mais de leur transmettre les orientations et les compétences favorisant une pratique éthique de la discipline ». Il recommande également d’avoir plus de cours cliniques, c’est-à-dire de faire travailler les étudiants sur des projets réels. Et d’aider les étudiants à quitter le monde de la tech où le formalisme règne en maître ou sinon à leur apprendre à promouvoir des produits et des comportements éthiques au sein des entreprises et à faire face aux dilemmes éthiques auxquels ils sont confrontés. 

*

Green ne promet pas de révolution algorithmique. Il propose à la data science de se poser des questions que bien peu se posent, de faire un pas de côté. D’arrêter de croire que le calcul est la solution quand, bien souvent, il est le problème qui ne voit pas ses effets. 

Hubert Guillaud

Ce que l’IA accélère

Les promesses de l’IA pour découvrir de nouveaux matériaux ou révolutionner les découvertes scientifiques sont fortes. L’idée que l’IA serait l’avenir de la science comme on l’entend très souvent est bien plus un moyen d’orienter les investissements qu’une vérité scientifique, au risque d’augmenter la dépendance de la science à l’IA. 

Dans le domaine de la fabrication de médicament, on attend là encore que l’IA permette de nouvelles percées, explique The Economist. Pourtant, les partenariats entre entreprises pharmaceutiques et sociétés d’IA se multiplient, notamment dans l’espoir de mieux identifier des molécules, de raccourcir le temps de développement des essais cliniques et de diminuer le taux d’échec de ceux-ci (actuellement, « les médicaments candidats entrant en essais cliniques ont un taux d’échec de 90 %, ce qui porte le coût de développement d’un médicament efficace à la somme astronomique de 2,8 milliards de dollars »). « Même des gains d’efficacité marginaux représenteraient des avantages considérables. Des rapports provenant de l’ensemble du secteur suggèrent que l’IA a commencé à apporter ces gains. Elle a réduit la phase préclinique (celle qui précède les essais cliniques sur l’homme) à 12-18 mois, contre trois à cinq ans auparavant. Et elle a amélioré le taux de réussite. Une étude publiée en 2024, portant sur les performances de molécules proposées par l’IA lors des premiers essais cliniques, a révélé un taux de réussite de 80 à 90 %. À titre de comparaison, les moyennes historiques se situaient entre 40 et 65 %. »

« La conception d’un nouveau médicament commence généralement par le criblage de petites molécules organiques afin d’identifier celles présentant une activité biologique prometteuse afin de sélectionner les plus probables. L’IA peut analyser des bibliothèques de dizaines de milliards de molécules, en testant des propriétés telles que la puissance, la solubilité et la toxicité grâce à des émulations logicielles de ces molécules, sans qu’il soit nécessaire d’utiliser les molécules réelles en laboratoire. Jim Weatherall, l’un des responsables de cette activité chez AstraZeneca, une autre grande entreprise pharmaceutique, affirme que cette méthode permet de trier les molécules prometteuses deux fois plus vite qu’auparavant, et que plus de 90 % du processus de découverte de petites molécules de l’entreprise est désormais assisté par l’IA. »  

L’IA sert donc d’abord à optimiser les investissements. L’IA contribue également à améliorer la conception des essais cliniques. Par exemple en formulant une hypothèse sur une maladie et en tentant de confirmer ou d’infirmer ces hypothèses par une recherche bibliographique. 

L’IA se révèle également prometteuse dans la sélection des patients pour les essais cliniques. Elle peut analyser les dossiers médicaux, les biopsies et les examens d’imagerie des candidats afin d’identifier ceux qui pourraient tirer le meilleur parti d’un nouveau médicament. Une meilleure sélection des participants permet de réduire la taille des essais, et donc de les rendre plus rapides et moins coûteux. Un autre utilisation de l’IA consiste à créer des patients synthétiques permettant de comparer un patient réel et son double numérique pour comparer l’évolution prédite sans traitement par rapport au patient testé. A terme, les patients synthétiques permettrait de réduire les groupes témoins et leurs coûts (au risque tout de même que ces comparaisons aient une fiabilité relative). 

L’optimisation des essais cliniques via l’IA représente une réduction considérable des risques, avec une diminution concomitante des coûts de développement des médicaments. 

Mais si l’IA promet de produire de nouveaux médicaments, elle ne promet pas que nous ayons les capacités industrielles de le faire, comme le montrent les innombrables pénuries que nous traversons. Elle ne résout pas le risque d’abandon de la santé pour tous, qu’évoquait par exemple le philosophe Alexandre Monnin dans AOC il y a quelques mois (voire notre synthèse).

Au contraire. Dans le domaine de la médecine, comme le soulignaient l’avocate américaine des sans abris Leah Goodridge et la médecin et chercheuse, Oni Blackstock, directrice de l’association Health Justice, dans une tribune pour The Guardian, l’IA risque bien plus d’être utilisée pour refuser des soins que pour faire progresser la médecine. En Californie du Sud, où le nombre de personnes sans abris est l’un des plus élevé du pays, Akido Labs gère des cliniques pour les personnes sans domicile fixe et celles à faibles revenus. Mais ces patients sont vus par des assistants médicaux qui utilisent l’IA pour écouter les conversations, puis proposer des diagnostics et des plans de traitement potentiels, qui sont ensuite examinés par un médecin. L’objectif de l’entreprise, a déclaré son directeur technique à la Technology Review, est de « supprimer le médecin de la consultation ».

Cela s’inscrit dans une tendance plus large où l’IA générative est de plus en plus intégrée au système de santé, rappellent Goodridge et Blackstock. En 2025, une enquête de l’Association médicale américaine a révélé que deux médecins sur trois utilisaient l’IA dans leur travail quotidien, notamment pour diagnostiquer les patients. Une start-up spécialisée en IA (OpenEvidence, qui n’est pas accessible en Europe) a levé 200 millions de dollars pour fournir aux professionnels de santé un ChatGPT pour médecins. Et les législateurs américains examinent actuellement un projet de loi qui autoriserait l’IA à prescrire des médicaments. Bien que cette tendance à l’intelligence artificielle dans le secteur de la santé affecte presque tous les patients, son impact est plus profond sur les personnes à faibles revenus, qui rencontrent déjà d’importants obstacles à l’accès aux soins. « Les personnes sans domicile fixe et à faibles revenus ne devraient pas servir de cobayes pour l’IA dans le domaine de la santé. Au contraire, leurs voix et leurs priorités devraient déterminer si, comment et quand l’IA sera mise en œuvre dans leurs soins ». 

La saturation des hôpitaux, les coûts d’accès au soin… expliquent en grande partie ces développements. D’autant que ces contraintes « sont souvent amplifiées dans les communautés économiquement défavorisées, où les établissements de santé sont souvent sous-financés et les patients non assurés, avec un fardeau plus lourd de maladies chroniques dû au racisme et à la pauvreté ». Les très documentés biais des IA de santé, « qui diagnostiquent bien moins les problèmes des patients noirs et hispaniques, des femmes et des patients bénéficiant de l’assurance Medicaid, promettent surtout d’aggraver les inégalités de santé pour les patients qui rencontrent déjà des obstacles à l’accès aux soins ». Pire, comme on le lit dans la TR, les patients ne sont même pas informés que leur professionnel de santé ou leur système de santé utilise l’IA. Un assistant médical explique ainsi que ses patients savent qu’un système d’IA les écoute, mais qu’il ne leur dit pas qu’elle formule des recommandations diagnostiques. Ces discriminations sont renforcées par la tendance croissante à l’utilisation de l’IA pour déterminer les remboursements de santé des personnes à faibles revenus (voir ce que nous disions d’United HealthCare connu pour sa politique de refus de remboursement de soins de santé). Bref, si l’IA d’un côté promet une amélioration de la production de médicaments, elle risque bien plus d’empêcher les publics d’y accéder. 

Il y a d’autres domaines que l’IA accélère, comme le pointait Cade Metz dans le New York Times. Notamment la recherche en mathématiques, en biologie et en chimie. Mais là encore, bien des annonces tonitruantes se révèlent souvent assez décevantes une fois que les spécialistes les décortiquent. C’était le cas notamment lorsqu’une startup d’IA, Harmonic a annoncé avoir résolu un problème mathématique, avant que les experts ne constatent que ses solutions ne différaient guère des travaux antérieurs de mathématiciens. L’IA parvient à identifier des solutions existantes, enfouies dans des décennies d’articles de recherche plus qu’elle n’en invente. « On a l’impression d’être face à un élève brillant qui a tout mémorisé pour l’examen, mais qui ne comprend pas vraiment le concept », assène le mathématicien Terence Tao. L’IA permet bien plus de suggérer des hypothèses ou des expériences qui permettent de cibler les recherches, explique un spécialiste du cancer, qui constate lui aussi que cela permet d’accélérer les processus. Mais un chercheur expérimenté est toujours nécessaire pour guider le système. Pour Terence Tao, interviewé dans Nature, l’IA peut commettre des erreurs invérifiables dans nombre de domaines, mais en maths, elles sont vérifiables. Les inconvénients sont donc bien plus limités. « On commence à voir des exemples où l’IA – peut-être par chance – résout des problèmes importants pour les mathématiciens. C’est encore très rare et l’IA présente encore de nombreuses faiblesses ; elle ne remplace pas le travail humain. Mais il devient de plus en plus difficile de nier l’efficacité de ces outils. » Mais définir de nouveaux concepts et déterminer les problèmes à résoudre restera probablement du ressort des mathématiciens humains… au moins pendant un certain temps encore, estime le médaillé Fields. 

… au risque de réduire le champ d’investigation de la science

Si l’IA pour la recherche scientifique promet, elle pourrait aussi avoir des effets délétères, rappelle la journaliste Grace Huckins pour la Technology Review et réduire à terme le dynamisme de la science. Une étude publiée dans Nature a révélé que si certains scientifiques perçoivent des avantages professionnels à adopter l’IA, la science dans son ensemble pourrait en pâtir, car l‘IA réduit le champ d’investigation de la communauté scientifique. Cela pourrait s’expliquer par le fait que l’IA excelle particulièrement dans l’analyse de données et de publications existantes, ce qui incite les scientifiques qui l’utilisent à se concentrer sur des domaines établis où des données à grande échelle sont disponibles. Il pourrait en résulter un nombre réduit de scientifiques disponibles pour étudier des problèmes moins adaptés à l’IA. Intégrer efficacement l’IA dans la science est plus qu’un simple défi technique : préserver le dynamisme et la diversité de la science à l’ère de l’IA pourrait nécessiter un effort concerté de la part de la communauté scientifique. 

Dans un éditorial pour Science, Julio Ottino et Brian Uzzi enfoncent le clou et dénoncent le risque d’une « progression sans progrès ». « Les progrès réalisés dans l’utilisation de l’intelligence artificielle pour faire progresser la découverte scientifique rendent de plus en plus réaliste l’idée de systèmes automatisés de « science de bout en bout » : des chaînes de traitement intégrées capables de générer des hypothèses, de mener des expériences (in silico ou robotisées), d’analyser les résultats et de produire des résultats publiables avec une intervention humaine minimale. La question cruciale n’est pas de savoir si l’IA peut « faire » de la science, mais si la science – en tant que système social et évolutif produisant des connaissances fiables – peut survivre à la manière dont l’IA la pratique. »

Or, « la science n’est pas simplement une suite de tâches optimisables. Elle progresse par un processus analogue à l’évolution darwinienne : variation à travers de nombreux efforts indépendants ; sélection par la critique, la réplication et la compétition ; et conservation des résultats robustes. Cette structure distribuée permet à la science de s’autocorriger et de générer de la nouveauté. L’indépendance n’est pas fortuite ; elle est le mécanisme qui produit à la fois la fiabilité et la découverte. »

Mais, la science n’a jamais pleinement atteint cet idéal, rappellent-ils. Elle a aussi été façonnée par les biais, les erreurs et la fraude. Les partisans de l’intelligence artificielle arguent que l’automatisation pourrait atténuer certaines de ces limitations tout en accélérant les découvertes et en élargissant la participation. Reste donc à savoir si l’IA en science réduit ces imperfections ou les amplifie à l’échelle des machines.

L’intégration de l’IA à la science risque de modifier fondamentalement la structure de la science. Notamment en favorisant des plateformes dominantes, entraînées sur des données similaires et optimisées pour certains objectifs. « Comme sur d’autres marchés de technologies numériques, la concentration est un résultat plausible. Le risque est fort qu’une poignée de systèmes façonnent la majorité de la production scientifique (…). La diversité simulée au sein d’un système ne saurait se substituer à la diversité épistémique entre des approches véritablement concurrentes.»

La conséquence n’est pas seulement institutionnelle ; elle est bien épistémique, c’est-à-dire qu’elle concerne toutes les connaissances. « Le système scientifique prospère grâce à l’inefficacité : efforts redondants, tentatives infructueuses et chemins divergents. Il ne s’agit pas de coûts à éliminer, mais de sources de découverte. À l’inverse, les pressions d’optimisation favorisent la convergence. Il risque d’en résulter une production accrue, mais une exploration moindre de l’inattendu.»

« Ce rétrécissement a des implications sur la créativité. Une grande partie de la force de l’IA réside dans l’exploration combinatoire, le réarrangement des connaissances existantes en de nouvelles configurations. Or, nombre d’avancées majeures en science ne sont pas des combinaisons ; ce sont des ruptures, des changements conceptuels qui contredisent les hypothèses des cadres antérieurs. Parce que ces avancées s’écartent des schémas encodés dans les données existantes, elles sont les moins susceptibles d’émerger de systèmes entraînés sur le passé. »

« L’indépendance n’est pas seulement une garantie de fiabilité ; elle est la condition de la rupture conceptuelle. » A l’inverse, « l’optimisation de chaque composant ne garantit pas l’intégrité de l’ensemble. » Au contraire, elle peut la compromettre.

« Il ne s’agit pas de rejeter l’IA, mais de la considérer comme un simple progrès technique. Préserver les propriétés fondamentales d’un système scientifique évolutif devient désormais une contrainte de conception. Les résultats scientifiques doivent garantir une traçabilité claire – une chaîne de responsabilité identifiable qui ne se dissout pas dans des systèmes opaques. Les dispositifs institutionnels et techniques doivent assurer des approches véritablement distinctes, et non de simples variations au sein d’une architecture partagée. »

« Ces exigences ne sont pas des inefficacités à éliminer par l’ingénierie. Elles représentent les solutions accumulées au problème de la fiabilité des connaissances. Un système d’IA peut produire des résultats impressionnants. Mais s’il remplace un processus évolutif par un processus artificiel, il risque de restreindre non seulement le champ de nos découvertes, mais aussi notre capacité de découverte tout court. »

Le financement de la recherche : submergé par l’IA

Geraint Rees et James Wilsdon pour Nature tirent la sonnette d’alarme. L’IA est en train de submerger les appels à projets et demandes de financement de la recherche, améliorant le nombre, la qualité, le volume des demandes au risque de provoquer l’effondrement même du système. Les réponses générées par l’IA peuvent être entraînées sur les publications des chercheurs, sur les critères d’attribution des subventions et même sur les projets retenus pour ajuster les demandes aux résultats attendus. Et l’effet se constate déjà, pointent les chercheurs. Dans une étude qui a regardé les projets de 12 organismes de financement de la recherche de l’Union européenne, les chercheurs montrent une augmentation des candidatures depuis 2022. 

« Les décideurs politiques et les organismes de financement vont devoir repenser l’allocation des fonds de recherche avant que le système ne devienne ingérable. » Confrontés à un afflux de réponses de qualité, ils devront alors faire des choix largement arbitraires quant aux projets à financer et aux candidats. 

Jusqu’à présent, les organismes de financement de la recherche ont principalement réagi à ces évolutions en restreignant l’utilisation de l’IA par les candidats et les évaluateurs, certains déclarant les demandes inéligibles si elles sont élaborées avec de l’IA. Mais ces préconisations sont impossibles à appliquer car la probabilité de détection est faible et ne constitue pas une réponse au problème. Le risque est fort que toutes les propositions répondent aux critères de financement et que les différences entre elles soient minimes. « Lorsque les propositions et les évaluations sont toutes deux gérées par des agents entraînés sur le même corpus de travaux déjà financés, le système n’évaluera plus la qualité des idées, mais plutôt la capacité des agents à simuler les idées précédemment récompensées par les financeurs.» 

« Parmi les propositions visant à remédier à la surcharge des systèmes de financement figurent le recours à des tirages au sort (attribution aléatoire de fonds à des demandes de subvention correspondant à un certain niveau de qualité) et des modèles distribués d’évaluation par les pairs, où les chercheurs qui soumettent des demandes de subvention sont chargés d’évaluer celles d’autres chercheurs. Ces mesures permettent de lutter contre le volume de demandes, mais elles restent inefficaces si les indicateurs de qualité deviennent peu fiables. »

Geraint Rees et James Wilsdon proposent plutôt que les organismes de financement envisagent de recentrer l’évaluation non plus sur les propositions écrites, mais sur le chercheur principal, son équipe et ses programmes de recherche passés et en cours. « Les financeurs devraient investir dans la vérification des antécédents afin d’examiner la performance de recherche d’un individu ou d’un groupe sur une période prolongée, ainsi que dans des entretiens et des évaluations de portefeuilles de la performance d’équipe sur la durée. » Mais cette solution écarte de fait les plus petites ou plus jeunes équipes : les aides risquent alors d’aller uniquement aux projets les plus établis. 

En mars, le Conseil de la recherche médicale du Royaume-Uni a annoncé le rétablissement des entretiens pour tous les candidats présélectionnés : une approche chronophage et laborieuse et peu adaptée aux grands volumes de candidatures. Le NIH américain, regroupant l’ensemble des Instituts nationaux de la santé, lui, a limité à 6 dépôts par an le nombre de candidatures individuelles, après avoir constaté que certains chercheurs en soumettaient plus de 40. Les financeurs pourraient également envisager des approches plus radicales, suggèrent les deux chercheurs.Il pourrait s’agir d’instaurer un quota fixe de propositions par chercheur ou pour l’ensemble de sa carrière, toutes sources de financement confondues. Ils pourraient aussi répartir le budget disponible entre les chercheurs éligibles à l’échelle nationale et attribuer le même montant à tous, éliminant ainsi la concurrence. 

D’autres solutions proposent aux organismes de recherche de s’appuyer sur l’IA pour l’évaluation. « L’IA pourrait ensuite servir à prioriser et à présélectionner les candidatures, en comparant les données selon ces différents profils afin d’identifier les candidats dont le parcours est cohérent avec les informations fournies dans leur dossier. Ce processus de présélection serait transparent, auditable et conçu pour favoriser la diversité, et non la freiner, à travers les différentes étapes de carrière, disciplines et institutions. » Mieux (ou pire, c’est selon), certains modèles proposent de prédire l’impact d’un article ou d’une recherche, fléchant les financements vers les projets les plus porteurs. 

Quelque soient les solutions retenues, la nécessaire transformation du financement de la recherche risque de se faire dans la douleur et la contestation, estiment les chercheurs. La mise en place d’infrastructures IA nécessite des investissements soutenus, des tests rigoureux et une gouvernance continue. Les financeurs confrontés à des contraintes budgétaires pourraient hésiter. C’est oublier pourtant que le système gaspille déjà des ressources considérables en comités d’experts et en nouvelles soumissions, sans parler du temps consacré par les chercheurs à répondre aux appels. Un système basé sur l’IA native et bien conçu pourrait constituer un investissement judicieux, défendent les chercheurs. Reste que des systèmes d’évaluation entraînés sur des données de financement historiques intégreront les inégalités passées, risquant d’amplifier, plutôt que de corriger, l’effet Matthieu, c’est-à-dire la concentration au profit des plus dotés. « Il s’agit d’un risque réel, mais nous pensons que la conception et la gouvernance peuvent contribuer à l’atténuer. Les biais dans les systèmes d’IA sont mesurables, ce qui permet de les examiner et d’y remédier », soulignent-ils, certainement trop rapidement car les biais ne sont ni  mesurables ni corrigeables facilement. Troisièmement, les chercheurs et les institutions pourraient se montrer réticents face aux décisions façonnées par des algorithmes qu’ils ne peuvent pas interroger. La transparence et les mécanismes d’appel pourraient contribuer à instaurer la confiance, défendent-ils encore.

Le système de financement par subventions conçu pour un monde pré-IA est devenu défaillant. Les financeurs doivent s’adapter, estiment les chercheurs. Il pourrait en résulter un système plus performant : un système qui exploite la puissance de l’IA et la combine à des connaissances spécialisées, et qui réduit le temps et l’énergie gaspillés dans la rédaction de demandes de subventions improductives pour les réorienter vers une recherche novatrice. Un constat plus facile à déclamer qu’à mettre au point. 

Prédire les résultats de la science… au risque de l’y enfermer

Certains modèles proposent de prédire l’impact d’un article ou d’une recherche, fléchant les financements vers les projets les plus porteurs, expliquaient donc Geraint Rees et James Wilsdon. Qu’en est-il ? 

Savoir si une étude changera le monde ? C’est pourtant l’idée que propose Funding the Frontier : un tableau de bord pour prédire l’impact de la recherche. L’outil (non disponible) utilise le Big data pour retracer l’impact sociétal des projets de recherche sur les politiques, les médicaments ou les produits, explique Nature (voir également l’article de recherche qui montre des captures d’écran du tableau de bord et la vidéo promotionnelle). Le projet porté par Dashun Wang « intègre des données sur les publications de recherche, les brevets, les documents d’orientation et les essais cliniques, et présente ces informations de manière visuelle et intuitive. Ils ont également combiné cet outil à un algorithme prédictif basé sur l’apprentissage automatique pour prédire les études et les domaines susceptibles d’apporter les plus grands bénéfices sociétaux à l’avenir – par exemple, les subventions les plus susceptibles de déboucher sur un brevet ». « Même sans son aspect prédictif, disposer d’un outil permettant de rechercher l’impact des recherches sur la société » est déjà une information importante, estime un chercheur. 

Un chef de projet d’une importante agence de financement américaine l’a utilisée pour examiner les impacts sociaux généraux des subventions de l’agence, lui permettant de constater l’impact de certaines recherches ailleurs dans le monde. « Un autre utilisateur, investisseur dans le domaine de la recherche biomédicale, a constaté que dans le domaine de la recherche sur la maladie d’Alzheimer, l’impact clinique le plus important au cours des 20 dernières années provenait d’études visant à comprendre la maladie, mais que l’impact futur le plus important prévu se concentrait sur les études portant sur les systèmes de soutien social des personnes atteintes de la maladie, ce qui laisse entrevoir de nouvelles opportunités d’investissement ». 

L’aspect prédictif est pourtant préoccupant, estime le même James Wilsdon qui en évoquait les perspectives précédemment. Le spécialiste des politiques de recherche estime que ce tableau de bord pourrait créer des prophéties autoréalisatrices et des décisions d’investissements plus conservatrices, au détriment de recherches plus originales, capables d’ouvrir d’autres possibilités. 

Coincés dans l’Academic Slop ? 

En attendant, le travail académique commence à crouler sous la « prolifération métastatique de publications » truffées d’hallucinations et de distorsions de contenus, comme s’en plaint sur Facebook la philosophe du droit, Antoinette Rouvroy. L’Academic Slop est arrivé, constate également le chercheur Seva Gunitsky dans sa newsletter. Il raconte que dans la revue dont il s’occupait le nombre de soumission a doublé voire triplé depuis l’apparition de l’IA générative, et que le taux de rejet s’est envolé. Techniquement compétents, certains de ces articles respectent les normes et sont tout à fait convenables. Faciles à produire et exigeant peu de créativité, ils constituent néanmoins le type de travail incrémental légitime que le philosophe des sciences Thomas Kuhn appelait la fabrique de la « science normale ». Pour Gunitsky la valeur d’une théorie originale va continuer à prendre de l’importance. « Les travaux quantitatifs de qualité deviennent bon marché et abondants ; une bonne théorie reste difficile à élaborer ».

Mais l’effet le plus important est que l’évaluation par les pairs repose désormais davantage sur le discernement. Si n’importe qui peut produire un article empirique compétent sur n’importe quel sujet, le principal obstacle devient l’identification des questions importantes à poser. « Dans ce contexte, la question pour les évaluateurs et les éditeurs n’est plus tant « est-ce juste ?» que « pourquoi est-ce important ? ». Cette question est inévitablement subjective, mais pas totalement, car elle exige une solide connaissance des débats en cours. Elle nécessite néanmoins de connaître les tensions et les lacunes productives, les énigmes intéressantes et les idées reçues apparemment établies. »

« Ce concept porte un nom : la phronesis. C’était le terme employé par Aristote pour désigner la sagesse pratique, ou la capacité à discerner la conduite à tenir dans des circonstances particulières. Contrairement à l’épistémè (la connaissance scientifique) ou à la technè (le savoir-faire technique), la phronesis ne peut se réduire à des règles ou à des algorithmes. Elle requiert de l’expérience, du jugement et ce qu’Aristote appelait la « perception ». Cela signifie non seulement l’intelligence, mais aussi la capacité intellectuelle de percevoir les caractéristiques essentielles d’une situation donnée. »

La philosophe Isaiah Berlin appelait cette qualité « le sens du réel » dans le jugement politique : la capacité de percevoir ce qui est possible et ce qui compte à un moment historique donné. Or, il n’est pas certain que les IA possèdent cette capacité voire ne la possèdent jamais. « Si le discernement devient le critère ultime de qualité, nous nous dirigeons encore davantage vers un système à deux vitesses dans l’édition scientifique. Les revues les plus prestigieuses privilégieront les articles d’une originalité remarquable ou présentant des avancées théoriques ou empiriques majeures, tandis que toutes les autres publieront les articles produits par l’IA qui font progresser, de manière graduelle, notre compréhension de sujets spécifiques. Et peut-être que la théorie gagnera en prestige au détriment des méthodes sophistiquées d’analyse des données. »

Pas sûr que la théorie et l’empirisme puissent ainsi si facilement se scinder en deux. Le risque que les publications automatisées se transforment en matière noire scientifique, que personne ne lit ni ne consulte est fort. A nouveau, ici aussi, le risque est fort que s’accentue  davantage les hiérarchies de prestige comme critère d’importance. « Paradoxalement, l’effet uniformisant de l’IA pourrait rendre le monde universitaire plus élitiste encore ».

« La technologie qui nous a inondés de dissertations étudiantes façonnées avec l’IA va maintenant inonder de nos propres travaux, et nous aurons besoin de ce même discernement dont nous nous plaignons de l’absence chez nos étudiants. » Pas sûr que ce soit plus facile pour les experts. L’IA fait peut-être gagner beaucoup de temps à certains, mais la pollution des travaux de recherche qu’elle engendre en fait perdre énormément aux lectrices et lecteurs. Le goulot d’étranglement de la lecture et de la vérification s’annonce plus reserré que jamais. 

La seule chose dont on soit sûr, en observant toutes ces perspectives… ce n’est pas que l’IA apporte un progrès scientifique notable, c’est que l’IA en science renforce les inégalités dans toutes les couches de la science.  

Hubert Guillaud

MAJ du 02/06/2026 : Une analyse de 7,3 millions d’articles de revues scientifiques publiés entre 2020 et 2025 révèle qu’en 2025, un peu plus de la moitié présentent des signes d’influence des LLM, avec des variations importantes d’utilisation selon la région du monde, le prestige de l’établissement, l’éditeur et la discipline. « Le développement économique et la proximité de l’anglais comme langue principale sont des facteurs prédictifs clés de ces variations régionales. Les établissements moins bien classés affichent des taux d’adoption plus élevés que les universités d’élite, les jeunes éditeurs à but lucratif présentent des taux supérieurs à ceux de leurs concurrents, et l’adoption varie considérablement selon les disciplines universitaires. L’adoption des LLM dans la rédaction académique est répandue, mais socialement stratifiée. »

« Le discours selon lequel l’intelligence artificielle révolutionne la science est désormais quasiment incontournable », rappelle William Burns, consultant en politique scientifique, pour Tech Policy Press. « L’histoire raconte déjà que l’IA n’est pas seulement l’avenir : elle révolutionne les découvertes scientifiques ». Même des gens assez critiques de l’IA et de ses développements disent qu’elle possède des « capacités prometteuses » pour la recherche scientifique, justifiant son développement. Pourtant, l’IA, telle qu’elle est actuellement déployée en science, occulte plus qu’elle ne révèle, exacerbant les problèmes qu’elle prétend résoudre. 

Les chercheuses Lisa Messeri et Molly J. Crockett affirmaient l’année dernière dans Nature que « la prolifération des outils d’IA en science risque d’introduire une phase de recherche scientifique où nous produisons davantage, mais comprenons moins ». Mais surtout, l’usage de l’IA pourrait compromettre la capacité à produire des connaissances fiables, sur lesquelles repose tout l’édifice scientifique. Cette crise annoncée prolonge celle que traverse la recherche depuis le début du XXIe siècle, notamment liée à la stagnation des découvertes pharmaceutiques. Burns rappelle par exemple que le Projet Génome Humain dans les années 90 a été lancé en promettant une prolifération de nouveaux médicaments qui n’est jamais advenue. Un chercheur d’une grande entreprise scientifique expliquait en 2008 que « rien de ce que les entreprises ont fait pour accroître la production de nouveaux médicaments n’a fonctionné, y compris les fusions, les acquisitions, les réorganisations et l’amélioration des processus ».

Le microbiologiste américain, Carl Woese, opposant à l’ingénierie biologique, estimait, en 2004, que la crise de l’innovation était liée à la généralisation de l’ingénierie du vivant. En 2011, l’économiste Philip Mirowski estimait que le néolibéralisme, obsédé par la technologie, avait tué la rigueur scientifique. La promesse de renouveau scientifique par l’IA s’inscrit pleinement en prolongement de cette crise. En 2023, l’OCDE expliquait que l’IA pourrait venir aider une science devenue « plus difficile ». A l’image d’AlphaFold, le système de pliage des protéines de Google DeepMind, pour lequel Demis Hassabis et John Jumper ont reçu le prix Nobel de chimie en 2024.

Les protéines ne sont pas des puces de silicium

AlphaFold a permis de prédire la structure de 200 millions de protéines, mais il serait expérimentalement impossible d’en vérifier n’en serait-ce qu’une fraction. Pour ce faire, « il faudrait généralement isoler des protéines des cellules en quantités importantes – un processus capricieux – puis les soumettre à des techniques telles que la diffraction des rayons X et la résonance magnétique nucléaire. Ces étapes pourraient prendre des années, même pour une seule protéine ». Néanmoins, la philosophe Daria Zakharova a affirmé dans un pre-print que si les prédictions d’AlphaFold sont considérées comme fiables et sont utilisées par les scientifiques, cette « connaissance » est bien imparfaite. « D’un point de vue strictement matériel, AlphaFold n’est pas une représentation du comportement des protéines, mais plutôt du comportement des puces de silicium (sur lesquelles repose le calcul). En ce sens, les inventeurs d’AlphaFold ont avancé l’hypothèse que des puces de silicium pourraient imiter les protéines. Cela soulève la question de savoir comment des matériaux sans lien entre eux, tant chimiquement que spatialement et temporellement, pourraient s’imiter. Au minimum, des preuves substantielles seraient nécessaires pour le prouver. Pourtant, lorsque des efforts ont été déployés pour le vérifier, les résultats ont été mitigés », rappelle Burns. Une étude récente de Garrido-Rodríguez et ses collègues a par exemple soutenu que le calcul d’AlphaFold ne « correspondait pas aux modèles déterminés expérimentalement », faisant référence à une classe de protéines omniprésentes et biologiquement vitales appelées serpines. « De toute évidence, des recherches plus approfondies pourraient être nécessaires sur la fiabilité de l’IA en tant qu’outil prédictif ». Pour Burns, les preuves ne sont pas suffisamment solides à ce stade. Bien sûr, le repliement des protéines est complexe. Leur modélisation est ancienne et repose sur des hypothèses manifestement différentes de leur réalité. Longtemps, ces modèles servaient à interpréter des données d’observation issues de la diffraction des rayons X, et non à créer un modèle informatique, comme avec AlphaFold. Le problème, estime le chercheur en cancérologie et lauréat du prix Nobel de physiologie ou médecine 2019, William G. Kaelin Jr., c’est que la publication doit construire son savoir sur des briques plutôt que sur de la paille. 

Au Royaume-Uni, la UK Biobank, une entreprise publique qui détient des données génétiques sur un sous-ensemble de la population britannique, aurait conclu en mars dernier un partenariat avec des sociétés pharmaceutiques et Calico, filiale d’Alphabet, qui auront accès à ces données pour des études menées avec l’IA. Le projet a été décrit par le Financial Times comme « un exemple emblématique de la manière dont les ordinateurs avancés et les modèles d’intelligence artificielle peuvent exploiter de vastes ensembles de données biologiques pour étudier en profondeur le fonctionnement du corps humain et ses dysfonctionnements potentiels ». Une question se pose cependant : l’exploitation de ces ensembles de données est-elle susceptible de produire des connaissances fiables, même en théorie ? En 2017, ces données ont été décrites comme « non représentatives de la population générale… Les participants à la UK Biobank vivent généralement dans des zones socio-économiquement moins défavorisées ; sont moins susceptibles d’être obèses, de fumer et de consommer de l’alcool quotidiennement ; et présentent moins de problèmes de santé autodéclarés ». La structure de ces ensembles de données de santé, et d’autres similaires, qui ne sont certainement pas secrets, suscite des doutes. Même les observateurs optimistes doivent l’admettre : si les données sont inadéquates et l’IA opaque, quelle est la valeur épistémique réelle de ces projets ? Le prix Nobel Kaelin Jr. a conseillé : « La question… devrait être de savoir si… les conclusions sont susceptibles d’être correctes, et non de savoir s’il serait important qu’elles soient vraies. » 

Ralentir la science

Si l’on veut sauver la science de son malaise actuel, des solutions sont déjà possibles, conclut Burns. « Des propositions comme la « slow science » d’Isabelle Stenger semblent valoir la peine d’être tentées, car elles pourraient élargir la charge de la preuve aux affirmations scientifiques et encourager un esprit de service public parmi les scientifiques. Pourtant, si une rénovation épistémique a eu lieu jusqu’à présent dans le domaine scientifique, elle est restée extrêmement timide et n’a pas produit d’effets escomptés. 

Il faut dire que pour les investisseurs, l’idée que l’IA puisse nous sortir de l’impasse actuelle et donner naissance à toutes sortes d’inventions rentables est doublement séduisante. L’IA est une méthode qui ne nécessite que des capitaux pour sa mise en œuvre et qui peut être réalisée à grande échelle, contrairement à la recherche empirique, centrée sur l’humain et fastidieuse, où l’ingéniosité et la chance (qui ne s’achètent pas si facilement) semblent prédominer. Mais investir dans l’IA est aussi un moyen efficace de maintenir le statu quo, tout en semblant le bouleverser, car il pose l’hypothèse d’un avenir technologique sans les changements systémiques qu’impliquent d’autres réformes. 

Dans cette optique, nous devons résister au spectacle. L’IA fait vendre une vision du progrès où les algorithmes peuvent révéler les secrets plus rapidement, mieux et à moindre coût ; pourtant, les secrets de la nature ne sont pas si facilement révélés, et la connaissance sans compréhension n’est pas une connaissance du tout. »

S’il y avait besoin d’une explication supplémentaire, Alberto Romero dans sa newsletter algorithmic Bridge, revient sur une étude du MIT et de Harvard, où les chercheurs se sont demandé si les modèles d’IA pouvaient passer de la simple prédiction au « développement de modèles fiables », en les faisant travailler sur un problème de physique assez classique ? Mais au lieu de tester avec le langage, qui est assez complexe et difficile à analyser, ils se sont concentrés sur la physique classique. Ils voulaient voir si le modèle utiliserait les lois de Newton pour prédire les vecteurs de force à l’origine du mouvement de révolution de la terre autour du soleil ou s’il inventerait simplement ses prédictions sans comprendre la physique réelle. Ils ont conclu que les modèles d’IA font des prédictions précises, mais ne parviennent pas à encoder le modèle universel de Newton et recourent plutôt à des heuristiques spécifiques à chaque cas, non généralisables et fortement incohérents. L’étude montre que « les modèles d’IA sont tout simplement incapables de coder un ensemble de lois robustes pour régir leurs prédictions : ils sont non seulement incapables de retrouver des modèles du monde, mais intrinsèquement mal équipés pour le faire ». Un modèle d’IA d’apprentissage profond est peut-être architecturalement incapable de développer des modèles du monde corrects estiment-ils.Même le rêve que l’IA puisse être utilisée pour améliorer la prédictibilité des modèles climatiques est battue en brèche. Dans leur livre, AI Snake Oil (voir notre recension), les chercheurs Arvind Narayanan et Sayash Kapoor montraient que son amélioration était assez limitée et qu’elle pourrait même atteindre un pallier indépassable, à mesure que les phénomènes deviennent plus extrêmes. La croyance dans un progrès scientifique exponentiel porté par l’IA ne sert qu’à raviver les promesses des technosciences comme le disaient déjà Marc Audétat et les chercheurs invités dans Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015, voir notre recension). L’idée que l’IA serait l’avenir de la science comme on l’entend très souvent est bien plus un moyen d’orienter les investissements qu’une vérité scientifique.

Quand on parle d’Intelligence artificielle on mobilise un terme qui qualifie un ensemble de technologies vaguement reliées, expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans le livre qu’ils viennent de faire paraître, AI Snake Oil (Princeton University Press, 2024, non traduit). 

Il y a peu de liens entre l’IA générative dont on entend tant parler et l’IA prédictive, certainement bien plus utilisée encore, mais où se concentrent les systèmes les plus défaillants qui soient. C’est là surtout que se concentre cette « huile de serpent » à laquelle font référence les deux chercheurs. Sous ce terme, qui qualifie des remèdes miraculeux mais inefficaces, comme tant de charlatans en vendaient dans tout l’Ouest américain, les deux chercheurs désignent une technologie qui ne fonctionne pas et ne peut pas fonctionner comme attendu, et qui ne fonctionnera probablement jamais. Toute la difficulté aujourd’hui, pour le grand public, consiste à être capable de distinguer l’IA qui ne fonctionne pas de celle qui fonctionne. C’est tout l’enjeu de leur livre. 

IA générative vs. IA prédictive

L’IA est désormais devenue un produit de consommation grand public. Le problème, c’est que son utilisation abusive s’est également généralisée. Les deux ingénieurs restent pourtant très confiants. L’IA générative est un outil amusant et utile défendent-ils. Elle peut même être un outil d’apprentissage passionnant, expliquent-ils un peu légèrement. Certes, l’IA générative comporte des risques et peut avoir un coût social élevé. Mais ce n’est rien comparé à l’IA prédictive. Dans leur livre, les deux chercheurs accumulent les exemples pour montrer que dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… partout ces modèles restent englués dans leurs biais. Mais surtout, leurs résultats ne sont bien souvent pas meilleurs qu’un résultat aléatoire. C’est, il me semble, la grande force de leur démonstration et le point le plus original du livre. Pour les chercheurs, l’une des raisons d’une si faible performance tient beaucoup au fait que très souvent, la donnée n’est ni disponible ni décisive. Le problème c’est que l’IA prédictive est très attirante parce qu’elle promet des décisions plus efficaces… Mais l’efficacité est bien plus relative qu’annoncée et surtout bien moins responsable. 

L’IA n’a pas vraiment de définition fixe. Les deux chercheurs s’en amusent d’ailleurs et remarquent que ce qu’on qualifie comme IA correspond souvent à ce qui n’a pas été fait. Dès qu’une application fonctionne avec fiabilité, on ne parle plus d’IA, comme c’est le cas avec les aspirateurs autonomes, l’autopilote des avions, les filtres à Spam, ou l’autocomplétion. Autant d’exemples qui nous montrent d’ailleurs des formes d’IA qu’on souhaiterait plus souvent. Ces exemples doivent nous rappeler qu’elle n’est pas toujours problématique, loin de là. L’IA sait résoudre des problèmes difficiles. Mais elle ne sait pas prédire les comportements sociaux des gens et la prédiction du social n’est pas un problème technologique soluble. 

Il y a aussi certains domaines du social où l’IA peut-être très forte, très précise et très efficace, mais qui posent des problèmes de société majeurs. C’est le cas notamment de la reconnaissance faciale. Le taux d’erreur de la reconnaissance faciale est devenu minuscule (0,08% selon le Nist). Cela n’enlève rien au fait que ces erreurs soient très problématiques, notamment quand elles conduisent à des arrestations qui ne devraient pas avoir lieu. Mais dans le domaine de la reconnaissance faciale, le problème, désormais, n’est plus que la technologie soit défaillante. Ce sont les pratiques, les erreurs humaines, les échecs policiers et d’encadrement de son usage qui posent problèmes. « L’IA de reconnaissance faciale, si elle est utilisée correctement, a tendance à être précise car il y a peu d’incertitude ou d’ambiguïté dans la tâche à accomplir ». Identifier si une personne sur une photo correspond à une autre personne sur une autre photo est assez simple, pour autant que les systèmes aient suffisamment d’images pour s’y entraîner et de moyens pour trouver les éléments qui permettent de distinguer un visage d’un autre. Cela ne signifie pas que l’analyse faciale puisse tout faire, précisent les deux chercheurs : identifier le genre où l’émotion depuis un visage n’est pas possible, car ni l’un ni l’autre n’est inscrit dans l’image. Désormais, « le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne très bien ». Ce ne sont plus ses défaillances techniques qui posent un problème de société, comme c’est le cas des systèmes de prédiction de risques. C’est l’usage qui peut en être fait… comme de pouvoir identifier n’importe qui n’importe où et pour n’importe quelle raison. Attention cependant, préviennent les chercheurs : la reconnaissance faciale peut-être très performante quand elle est utilisée correctement, mais peut très facilement échouer en pratique, comme le montre l’identification depuis des images de mauvaise qualité qui a tendance à produire de nombreux faux positifs. Elle n’est donc ni parfaite ni magique. Et surtout, elle pose un enjeu de société qui nécessite de cadrer son usage, pour trouver les moyens afin qu’elle ne soit pas utilisée de manière inappropriée – et ce n’est pas si simple – et pour que la société se dote de garde-fous et de garanties pour prévenir des abus ou d’utilisations inappropriées.

Nombre d’usages de l’IA demeurent problématiques avertissent les chercheurs. Nombre de ses utilisations relèvent ni plus ni moins de l’imposture. L’IA échoue d’abord et très souvent dès qu’on l’utilise pour produire des prédictions, comme l’a montré Google Flu, l’outil pour prédire la grippe de Google qui se basait sur l’évolution des recherches de symptômes sur le moteur de recherche et dont la précision a fini par s’effondrer sous les requêtes. Non seulement la prédiction est difficile, mais bien souvent son efficacité s’effondre dans le temps. 

Les deux chercheurs nous invitent à intégrer une sirène d’alerte aux projets d’IA. Dès qu’ils abordent le social, dès qu’ils souhaitent prédire quelque chose, dès qu’ils utilisent une variable pour une autre (comme de vouloir reconnaître le genre depuis des images de visages), nous devons être vigilants. 

Les défaillances de l’IA prédictive

Mais il y a d’autres motifs d’inquiétudes auxquels prêter attention. Le battage médiatique autour de l’IA fait que bien souvent ses qualités sont exagérées. Les capacités de prédiction de nouveaux services ou outils sont très souvent survendues. L’une des erreurs les plus courantes consiste à annoncer un taux de réussite particulièrement élevé, alors que très souvent, l’outil est évalué sur les mêmes données que celles sur lesquelles il a été entraîné. C’est un peu comme réviser les questions qui seront posées à un examen avant l’examen. L’étude des résultats de recherche dans nombre de secteurs de la recherche en machine learning a montré partout des résultats problématiques. Ce n’est pas nécessairement intentionnel ou malveillant, excusent un peu facilement les deux ingénieurs, le machine learning est une discipline délicate et il est facile de s’embrouiller. En tout cas, la qualité s’effondre très souvent avec le battage médiatique. Ainsi, des centaines d’études ont proclamé pouvoir détecter le Covid depuis des radiographies des poumons : une revue systématique de plus de 400 articles de recherche a montré qu’AUCUNE n’était fiable. Tant et si bien qu’une équipe de chercheurs a mis au point une chek-list pour aider les développeurs et les chercheurs à minimiser les erreurs. Dans une étude sur l’usage de l’IA prédictive dans l’industrie et l’administration, Narayanan et Kapoor ont fait les mêmes constats et ont listé les principaux défauts de la prédiction :

• Un outil qui fait de bonnes prédictions ne signifie pas qu’il mènera à de bonnes décisions, notamment du fait de la rétroaction des décisions sur les prédictions (​​par exemple un montant de caution plus élevé basé sur une prédiction de récidive peut augmenter le taux de récidive… et d’ailleurs, les peines sévères ont tendance à augmenter la récidive) ;
• Pour prédire, on fait souvent appel à une variable-cible qui ne correspond pas exactement à ce que l’on souhaite prédire, comme d’utiliser la moyenne générale d’un étudiant pour prédire sa réussite l’année suivante. 
• Lorsque la distribution des données sur lesquelles un modèle est formé n’est pas représentative de la distribution sur laquelle il sera déployé, les performances du modèle seront problématiques.
• Il y a toujours des limites à la prédiction. Les résultats sociaux ne sont pas prévisibles avec précision, même avec l’apprentissage. 
• Les différences de performances entre différents groupes sociaux ne peuvent pas toujours être corrigées. 
• Bien souvent les systèmes manquent de possibilité pour en contester les résultats alors que cette contestabilité est un levier important pour se rendre compte de ses erreurs.
• La prédiction oublie souvent de prendre en compte le comportement stratégique qui risque de la rendre moins efficace dans le temps. 

Au XIXe siècle, dans l’Ouest américain, d’innombrables colporteurs vendaient des médicaments miracles, inefficaces et inoffensifs, pour la plupart… mais pas tous. Certains de ces faux remèdes laisseront des morts derrière eux. En 1906, la Food and Drug Administration (FDA) est imaginée pour remédier au problème et rendre ces colporteurs responsables de leurs produits, comme l’explique le dernier rapport de l’AI Now Institute qui revient en détail sur la naissance de l’agence américaine et comment elle a changé le monde du médicament par la construction de mesures préalables à leur mise sur le marché – l’AI Now Institute invite d’ailleurs à s’inspirer de cette histoire pour rendre l’IA responsable en pointant qu’une « réglementation ex ante solide, adaptée à un marché en évolution et à ses produits, peut créer des avantages significatifs à la fois pour l’industrie et pour le public ». 

Si l’AI Snake Oil est une IA qui ne marche pas et qui ne peut pas marcher, souvenons-nous que même une IA qui fonctionne bien peut être nocive. Face aux produits d’IA, il faut pouvoir mesurer à la fois les préjudices qu’ils peuvent provoquer mais également la véracité qu’ils produisent. 

Mais si l’IA défaillante est si omniprésente, c’est parce qu’elle offre des solutions rapides à n’importe quels problèmes. Oubliant que les solutions qui ne fonctionnent pas n’en sont pas, rappellent Kapoor et Narayanan. « Dans le sillage de la révolution industrielle, des millions d’emplois furent créés dans les usines et les mines, avec d’horribles conditions de travail. Il a fallu plusieurs décennies pour garantir les droits du travail et améliorer les salaires et la sécurité des travailleurs. » Nous devons imaginer et construire un mouvement similaire pour garantir la dignité humaine face à l’automatisation qui vient. Nous devons trouver les moyens d’éradiquer le déploiement de l’huile de serpent et construire les modalités pour bâtir une technologie responsable comme nous avons réussi à bâtir une médecine et une industrie agro-alimentaire (plutôt) responsable. 

Pourquoi les prédictions échouent-elles ?

Dans leur livre, les deux auteurs mobilisent d’innombrables exemples de systèmes défaillants. Parmis ceux qu’ils classent comme les pires, il y a bien sûr les outils de prédiction qui prennent des décisions sur la vie des gens, dans le domaine de la santé, des soins ou de l’orientation notamment. 

Un algorithme n’est qu’une liste d’étapes ou de règles pour prendre une décision, rappellent-ils. Très souvent, les règles sont manuelles mais sont appliquées automatiquement, comme quand on vous demande de ne pas percevoir au-delà d’un certain revenu pour bénéficier d’un droit. Le problème, c’est que de plus en plus, les règles se complexifient : elles sont désormais souvent apprises des données. Ce type d’algorithme est appelé modèle, c’est-à-dire qu’il découle d’un ensemble de nombres qui spécifient comment le système devrait se comporter. Ces modèles sont très utilisés pour allouer des ressources rares, comme des prêts ou des emplois, ouvrant ou fermant des possibilités. C’est typiquement ce qu’on appelle l’IA prédictive. C’est par exemple ainsi que fonctionne Compas, le système de calcul de risque de récidive utilisé par la justice américaine, entraîné depuis le comportement passé des justiciables. L’hypothèse de ces systèmes et de nombre de systèmes prédictifs consiste à dire que des gens avec les mêmes caractéristiques se comporteront de la même manière dans le futur. Ces systèmes prédictifs sont déployés dans de nombreux secteurs : la santé, l’emploi, l’assurance… Le problème, c’est que de petits changements dans la vie des gens peuvent avoir de grands effets. La plupart des entreprises qui développent des systèmes prédictifs assurent que ceux-ci sont performants et équitables. Pourtant, on ne peut pas garantir que les décisions qu’ils prennent soient sans biais ou équitables. 

Une bonne prédiction ne signifie pas une bonne décision. L’IA peut faire de bonne prédictions… si rien ne change, c’est-à-dire si elles ne sont pas utilisées pour modifier les comportements, expliquent les chercheurs en prenant l’exemple d’un système prédictif de la pneumonie qui montrait que les gens atteints d’asthme étaient à moindre risque, parce qu’ils recevaient des soins adaptés pour éviter les complications. Déployer un tel modèle, en fait, aurait signifié renvoyer les patients asthmatiques chez eux, sans soins. Corrélation n’est pas causalité, dit l’adage.

Ces erreurs de prédictions ont souvent pour origine le fait que les chercheurs s’appuient sur des données existantes plutôt que des données collectées spécifiquement pour leur produit. Trop souvent, parce que créer des données spécifiques ou faire des contrôles aléatoires est coûteux, les entreprises s’en abstiennent. Comprendre l’impact des outils de décision est également important et nécessite aussi de collecter des données et de faire des contrôles d’autant plus coûteux que ces vérifications, élémentaires, viennent souvent remettre en question l’efficacité proclamée. Techniquement, cela signifie qu’il faut toujours s’assurer de savoir si le système a évalué ses impacts sur de nouvelles données et pas seulement sur les données utilisées pour la modélisation. 

Ces effets sont d’autant plus fréquents que le développement de systèmes conduit souvent les gens à y réagir, à se comporter stratégiquement. C’est le cas quand des candidats à l’embauche répondent aux outils d’analyse des CV en inondant leurs CV de mots clefs pour contourner leurs limites. Une étude a même montré que changer le format de son CV d’un PDF en texte brut, changeait les scores de personnalité que les systèmes produisent sur les candidatures. Quand les entreprises assurent que leurs outils fonctionnent, elles oublient souvent de tenir compte du comportement stratégique des individus. Or, « quand les résultats du modèle peuvent être facilement manipulés en utilisant des changements superficiels, on ne peut pas dire qu’ils sont efficaces ». C’est toute la limite de trop de modèles opaques que dénoncent les deux chercheurs avec constance. 

Le risque, c’est que ces systèmes nous poussent à une sur-automatisation. La sur-automatisation, pour les chercheurs, c’est quand le système de prise de décision ne permet aucune voie de recours, comme l’ont connu les individus suspectés de fraude par l’algorithme de contrôle des aides sociales de Rotterdam. Pour éviter cela, les bonnes pratiques invitent à « conserver une supervision humaine ». Problème : tous les développeurs de systèmes assurent que c’est le cas, même si cette supervision ne conduit à aucune modification des décisions prises. En réalité, les développeurs d’IA vendent des IA prédictives « avec la promesse d’une automatisation complète. La suppression d’emplois et les économies d’argent constituent une grande partie de leur argumentaire ». La supervision n’a donc la plupart du temps pas lieu. Même quand elle existe, elle est bien souvent inappropriée. Et surtout, les résultats et suggestions génèrent une sur-confiance particulièrement pervasive, qui affecte tous les utilisateurs dans tous les secteurs. Dans des simulateurs de vol, quand les pilotes reçoivent un signal d’alarme incorrect, 75% d’entre eux suivent les recommandations défaillantes. Quand ils ont recours à une checklist, ils ne sont plus que 25% à se tromper. 

Mais surtout, insistent les deux chercheurs, les prédictions sur les gens sont bien plus fluctuantes qu’on le pense. Un outil similaire à Compas développé en Ohio et utilisé en Illinois a produit des aberrations car les taux de criminalité n’étaient pas les mêmes entre les deux Etats. Trop souvent les prédictions se font sur les mauvaises personnes. C’était le cas de l’outil de calcul de risque de maltraitance des enfants de Pennsylvanie étudié par Virginia Eubanks, qui n’avait aucune donnée sur les familles qui avaient recours à des assurances privées et donc qui visait disproportionnellement les plus pauvres. « Les outils d’IA regardent ce qui est sous le lampadaire. Et très souvent, le lampadaire pointe les plus pauvres ». L’IA prédictive exacerbe les inégalités existantes. « Le coût d’une IA défectueuse n’est pas supporté de manière égale par tous. L’utilisation de l’IA prédictive nuit de manière disproportionnée à des groupes qui ont été systématiquement exclus et défavorisés par le passé. » Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il ait montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. » 

Trop souvent, on utilise des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins. C’est le même problème pour Compas. Compas utilise des données sur qui a été arrêté pas sur les crimes. Compas dit prédire le crime alors qu’en fait il ne prédit que les gens qui ont été arrêtés. Ces confusions sur les données expliquent beaucoup pourquoi les systèmes d’IA prédictive nuisent d’abord aux minorités et aux plus démunis. 

S’ils sont défaillants, alors peut-être faudrait-il faire le deuil des outils prédictifs, suggèrent les chercheurs. Ce serait effectivement dans bien des cas nécessaires, mais nos sociétés sont mal à l’aise avec l’imprévisibilité, rappellent-ils. Pourtant, trop souvent nous pensons que les choses sont plus prévisibles qu’elles ne sont. Nous avons tendance à voir des régularités là où elles n’existent pas et nous pensons bien souvent être en contrôle sur des choses qui sont en fait aléatoires. Rien n’est plus difficile pour nous que d’accepter que nous n’avons pas le contrôle. Cela explique certainement notre engouement pour l’IA prédictive malgré ses défaillances. Pourtant, expliquent les chercheurs, embaucher ou promouvoir des employés aléatoirement, plutôt que sur de mauvais critères de performances, pourrait peut-être être plus bénéfique qu’on le pense, par exemple en favorisant une plus grande diversité ou en favorisant un taux de promotion fixe. Accepter l’aléatoire et l’incertitude pourrait nous conduire à de meilleures décisions et de meilleures institutions. « Au lieu de considérer les gens comme des êtres déterminés, nous devons travailler à la construction d’institutions qui sont véritablement ouvertes au fait que le passé ne prédit pas l’avenir. »

Pourquoi l’IA ne peut pas prédire le futur ?

La météorologie est l’un des secteurs où la prédiction est la plus avancée. Pourtant, la météo est un système particulièrement chaotique. Des petits changements conduisent à de grandes erreurs. Plus la prédiction est éloignée dans le temps, plus l’erreur est grande. Les données, les équations, les ordinateurs ont pourtant permis d’incroyables progrès dans le domaine. Nos capacités de prédiction météo se sont améliorées d’un jour par décade : une prévision sur 5 jours d’il y a 10 ans est aussi précise qu’une prévision sur 6 jours aujourd’hui ! Ces améliorations ne viennent pas d’une révolution des méthodes, mais de petites améliorations constantes. 

La prévision météo repose beaucoup sur la simulation. Les succès de prévision des phénomènes géophysiques a conduit beaucoup de chercheurs à penser qu’avec les bonnes données et la puissance de calcul, on pourrait prédire n’importe quel type d’évènements. Mais cela n’est pas toujours très bien marché. Le temps est bien plus observable que le social, certainement parce que les conditions géophysiques, contrairement à ce que l’on pourrait penser, sont plus limitées. La prévision météo repose sur des lois physiques calculables. Ce n’est pas le cas des calculs du social. « Cela n’a pas restreint pour autant le développement de prédictions dans le contexte social, même si bien souvent, nous avons assez peu de preuves de leur efficacité ». Le score de risque de défaillance de crédit, Fico, est né dans les années 50 et se déploie à la fin des années 80, en même temps que naissent les premiers scores de risque criminels… Mais c’est avec le développement du machine learning dans les années 2010 que les systèmes prédictifs vont exploser dans d’innombrables systèmes. 

Toutes les prédictions ne sont pas difficiles. Le trafic, l’évolution de certaines maladies… sont assez faciles. Les prédictions individuelles, elles, sont toujours plus difficiles. Et cela pose la question de savoir ce qui définit une bonne prédiction. Est-ce qu’une prédiction météo est bonne si elle est au degré près ou si elle prédit bien la pluie indépendamment de la température ? Notre capacité à prédire les tremblements de terre est excellente, notamment les lieux où ils auront lieu, mais notre capacité à prédire la nécessité d’une évacuation est nulle, car prédire quand ils auront lieu avec suffisamment de précision est bien plus difficile. Bien souvent, la précision de la prédiction s’améliore quand on ajoute plus de données et de meilleurs modèles. Mais ce n’est pas nécessairement vrai. On ne peut prédire le résultat d’un jet de dé quel que soit le volume de données que l’on collecte ! 

Quand les choses sont difficiles à prédire, on a recours à d’autres critères, comme l’utilité, la légitimité morale ou l’irréductibilité des erreurs pour apprécier si la prédiction est possible. Et tout ce qui a rapport à l’individu est bien souvent difficile à prédire, ce qui n’empêche pas beaucoup d’acteurs de le faire, non pas tant pour prédire quelque chose que pour exercer un contrôle sur les individus. 

Kapoor et Narayanan reviennent alors sur le Fragile Families Challenge qui a montré que les modèles d’IA prédictibles développés n’amélioraient pas notablement la prédiction par rapport à un simple modèle statistique. Pour les chercheurs, le défi a surtout montré les limites fondamentales à la prédiction du social. Dans le social, « on ne peut pas prédire très bien le futur, et nous ne connaissons pas les limites fondamentales de nos prédictions ». Les données du passé ne suffisent pas à construire ce type de prédictions, comme les données d’une précédente élection ne peuvent pas prédire la suivante. Améliorer la précision des prédictions du social relève du problème à 8 milliards de Matt Salganik : il n’y a pas assez de gens sur terre pour découvrir les modèles de leurs existences ! Cela n’empêche pas qu’il existe d’innombrables outils qui affirment pouvoir faire des prédictions à un niveau individuel. 

En vérité, bien souvent, ces outils ne font guère mieux qu’une prédiction aléatoire. Compas par exemple ne fait que prédire la partialité de la police à l’encontre des minorités (et dans le cas de Compas, l’amélioration par rapport à un résultat aléatoire est assez marginale… et dans nombre d’autres exemples, l’amélioration du calcul se révèle bien souvent plus mauvaise qu’un résultat aléatoire). Utiliser seulement 2 données, l’âge et le nombre d’infractions antérieures, permet d’avoir un résultat aussi précis que celui que propose Compas en mobilisant plus d’une centaine de données. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence qu’ils ne le sont). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.

Avec ces exemples, les deux chercheurs nous rappellent que la grande disponibilité des données et des possibilités de calculs nous font oublier que l’opacité et la complexité qu’ils génèrent produisent des améliorations marginales par rapport au problème démocratique que posent cette opacité et cette complexité. Nous n’avons pas besoin de meilleurs calculs – que leur complexification ne produit pas toujours –, que de calculs capables d’être redevables. C’est je pense le meilleur apport de leur essai.  

Nous sommes obnubilés à l’idée de prédire un monde imprévisible

Prédire le succès est aussi difficile que prédire l’échec, rappellent-ils. Certainement parce que contrairement à ce que l’on pense, le premier ne repose pas tant sur les qualités des gens que le second ne repose sur les circonstances. Les deux reposent sur l’aléatoire. Et en fait, le succès repose plus encore sur l’aléatoire que l’échec ! Le succès est encore moins prévisible que l’échec, tant la chance, c’est-à-dire l’imprévisible, joue un rôle primordial, rappellent-ils. Le succès dans les études, le succès de produits… rien n’est plus difficile à prédire, rappellent les chercheurs en évoquant les nombreux rejets du manuscrit de Harry Potter. Matt Salganik avait ainsi créé une application de musique et recruté 14 000 participants pour évaluer des musiques de groupes inconnus avec des indicateurs sociaux qui variaient entre groupes de participants. Des chansons médiocres étaient appréciées et de très bonnes musiques négligées. Une même chanson pouvait performer dans un endroit où les métriques sociales étaient indisponibles et sous performer là où elles étaient disponibles. Mais l’expérience a surtout montré que le succès allait au succès. Dans l’environnement où personne ne voyait de métriques : il y avait bien moins d’inégalités entre les musiques. 

Les médias sociaux reposent sur des principes d’accélération de la viralité d’une petite fraction des contenus. Mais la popularité est très variable, d’un contenu l’autre. Ce que font les plateformes, ce n’est pas tant de prédire l’imprévisible que de tenter d’amplifier les phénomènes. Sur YouTube, Charlie Bit My Finger fut l’une des premières vidéos virales de la plateforme. Malgré ses qualités, son succès n’avait rien d’évident. En fait, les médias sociaux sont « une loterie à mèmes géante ». Plus un mème est partagé, plus il a de la valeur et plus les gens vont avoir tendance à le partager. Mais il est impossible de prédire le succès d’une vidéo ou d’un tweet. Même la qualité ne suffit pas, même si les contenus de meilleure qualité ont plus de chance que les contenus médiocres. Par contre l’on sait que les contenus plus partisans, plus négatifs reçoivent plus d’engagements. Reste que la polarisation perçue est plus forte que la polarisation réelle – et il est probable que cette mauvaise perception la renforce. 

D’une manière assez surprenante, nous prédisons très bien des effets agrégés et très mal ces mêmes effets individuellement. Les ordres de grandeur aident à prédire des effets, mais les experts eux-mêmes échouent bien souvent à prédire l’évidence. Aucun n’a prévu l’effondrement de l’URSS, rappelait Philip Tetlock. Et ce n’est pas une question de données ou de capacité d’analyse. Les limitations à la prédictions sont dues aux données indisponibles et au fait qu’elles sont parfois impossibles à obtenir. Mais la prédiction est également difficile à cause d’événements imprévisibles, mais plus encore à cause de boucles d’amplification complexes. Dans de nombreux cas, la prédiction ne peut pas s’améliorer, comme dans le cas de la prédiction du succès de produits culturels. Dans certains cas, on peut espérer des améliorations, mais pas de changements majeurs de notre capacité à prédire l’avenir. Pour Narayanan et Kapoor, notre obnubilation pour la prédiction est certainement le pire poison de l’IA. 

L’IA générative, ce formidable bullshiter

Bien moins intéressants sont les 2 chapitres dédiés à l’IA générative, où les propos des deux chercheurs se révèlent assez convenus. S’il est difficile de prédire l’impact qu’elle va avoir sur l’économie et la culture, la technologie est puissante et les avancées réelles. Pour Narayanan et Kapoor, l’IA générative est déjà utile, expliquent-ils en évoquant par exemple Be My Eyes, une application qui connectait des aveugles à des volontaires voyants pour qu’ils les aident à décrire le monde auquel ils étaient confrontés en temps réel. L’application s’est greffée sur ChatGPT pour décrire les images avec un réel succès, permettant de remplacer les descriptions du monde réel des humains par celles des machines.

Si l’IA générative fonctionne plutôt très bien, ce n’est pas pour autant qu’elle ne peut pas porter préjudices aux gens qui l’utilisent. Ses biais et ses erreurs sont nombreuses et problématiques. Sa capacité à nous convaincre est certainement plus problématique encore. 

Les deux chercheurs bien sûr retracent l’histoire des améliorations de la discipline qui a surtout reposé sur des améliorations progressives, la disponibilité des données et l’amélioration des capacités de calcul. Tout l’enjeu de la technologie a été d’apprendre à classer les images ou les mots depuis les connexions entre eux en appliquant des poids sur les critères. 

En 2011, à l’occasion d’une compétition ImageNet, visant à classifier les images, Hinton, Krizhevsky et Sutskever proposent un outil d’apprentissage profond qui se distingue par le fait qu’il ait bien plus de couches de traitements que les outils précédents : ce sera AlexNet. Tout l’enjeu ensuite, consistera à augmenter le nombre de couches de traitements en démultipliant les données… À mesure que les données deviennent plus massives, les contenus vont aussi avoir tendance à devenir plus problématiques, malgré les innombrables mesures de filtrages. Les problèmes vont y être enfouis plus que résolus, comme l’étiquetage de personnes noires sous le terme de Gorille. On va se mettre alors à mieux observer les données, mais la plupart des critères de référence ne mesurent pas dans quelle mesure les modèles reflètent les préjugés et les stéréotypes culturels. Le problème, c’est que dans le domaine de l’IA, les ingénieurs sont convaincus que découvrir les connaissances dans les données surpasse l’expertise, minimisant son importance. 

« Alors que l’IA prédictive est dangereuse parce qu’elle ne fonctionne pas. L’IA pour la classification des images est dangereuse parce qu’elle fonctionne trop bien. » 

Les systèmes de génération de texte fonctionnent sur le même principe que les systèmes de génération d’image. Jusqu’aux années 2010, il était difficile que les systèmes de traduction automatique gardent en tête le contexte. Ils fonctionnaient bien sur les courts extraits, mais avaient des problèmes avec des textes plus longs. En 2017, Google a trouvé la solution en proposant une matrice plus grande permettant de mieux relier les mots entre eux. C’est la technologie Transformer. L’IA générative textuelle n’est rien d’autre qu’un système d’autocomplétion qui fait de la prédiction du mot suivant. 

La puissance de ces machines est à la fois leur force et leur faiblesse. « Pour générer un simple token – un bout de mot – ChatGPT doit accomplir environ un milliard de milliard d’opérations. Si vous demandez à générer un poème d’une centaine de tokens (une centaine de mots) cela nécessitera un quadrillion de calculs. Pour apprécier la magnitude de ce nombre, si tous les individus au monde participaient à ce calcul au taux d’un calcul par minute, 8 heures par jour, un quadrillon de calcul prendrait environ une année. Tout cela pour générer une simple réponse. » La capacité générative de ces outils repose sur une puissance sans limite. Une puissance dont les coûts énergétiques, matériels et économiques finissent par poser question. Avons-nous besoin d’une telle débauche de puissance ? 

Pour que ces modèles répondent mieux et plus exactement, encore faut-il adapter les modèles à certaines tâches. Cette adaptation, le fine-tuning ou pré-entraînement, permet d’améliorer les résultats. Reste que ces adaptations, ces filtrages, peuvent finir par sembler être une cuillère pour écoper les problèmes de l’océan génératif… 

Les chatbots peuvent avoir d’innombrables apports en interagissant avec l’utilisateur, mais le fait qu’ils dépendent profondément des statistiques et le manque de conscience de leurs propres limites, émousse leur utilité, soulignent les deux chercheurs. Jouer à Pierre-papier-ciseaux avec eux par exemple rappellent qu’ils ne comprennent pas l’enjeu de simultanéité. 

Le problème de ces outils, c’est que la compréhension, n’est pas tout ou rien. Les chatbots ne comprennent rien, et leur regard sur un sujet est limité par leurs données. Mais ils sont configurés pour répondre avec confiance, comme un expert, alors qu’ils sont capables d’erreurs basiques qu’un enfant ne ferait pas. Cela signifie que ces outils ne sont pas sans écueils, rappellent les chercheurs. Ils produisent très facilement de la désinformation, des deepfakes, et permettent à ceux qui les déploient de concentrer un pouvoir très important. Les chatbots sont des bullshiters de première, des menteurs. « Ils sont entraînés pour produire des textes plausibles, pas des vérités ». Ils peuvent sembler très convaincants alors qu‘ »il n’y a aucune source vérifiée durant leur entraînement ». Même si on était capable de ne leur fournir que des affirmations vraies, le modèle ne les mémoriserait pas, mais les remixerait pour générer du texte. Ils répondent souvent correctement, mais sont capables parfois de produire des choses sans aucun sens. Cela tient certainement au fait que « les affirmations vraies sont plus plausibles que les fausses ». Les erreurs, les plagiats sont consubstantiels à la technologie. 

Les usages problématiques de ces technologies sont nombreux, notamment les deepfakes et toutes les tentatives pour tromper les gens que ces outils rendent possibles. Pour l’instant, les réponses à ces enjeux ne sont pas à la hauteur. Les chercheurs ne proposent que de mieux éduquer les utilisateurs aux contenus trompeurs et aux sources fiables. Pas sûr que ce soit une réponse suffisante. 

Les chercheurs rappellent que la grande difficulté à venir va être d’améliorer l’IA générative, alors que ses limites sont au cœur de son modèle, puisqu’elle ne peut qu’imiter et amplifier les stéréotypes des données qui l’ont entraîné. Pour y parvenir, il faudrait parvenir à bien mieux labelliser les données, mais l’effort devient herculéen à mesure que les moissons sont plus massives. Pour l’instant, cette labellisation repose surtout sur des travailleurs du clic mal payés, chargés de faire une labellisation à minima. Pas sûr que cela suffise à améliorer les choses… 

Malgré ces constats inquiétants, cela n’empêche pas les deux chercheurs de rester confiants. Pour eux, l’IA générative reste une technologie utile, notamment aux développeurs. Ils rappellent que ces dernières années, la question des biais a connu des progrès, grâce au fine-tuning. L’atténuation des bias est un secteur de recherche fructueux. Les chatbots progressent et deviennent aussi fiables que la recherche en ligne, notamment en étant capable de citer leurs sources. Pour les chercheurs, le plus gros problème demeure l’exploitation du travail d’autrui. Nous devons opter pour les entreprises qui ont des pratiques les plus éthiques, concluent-ils, et faire pression sur les autres pour qu’ils les améliorent. Oubliant qu’il n’est pas simple de connaître l’éthique des pratiques des entreprises… 

Les deux ingénieurs terminent leur livre par un chapitre qui se demande si l’IA pose une menace existentielle. Un sujet sans grand intérêt face aux menaces déjà bien réelles que fait peser l’IA. Ils le balayent d’ailleurs d’un revers de main et rappellent que l’IA générale est encore bien loin. « La plupart des connaissances humaines sont tacites et ne peuvent pas être codifiées ». C’est comme apprendre à nager ou à faire du vélo à quelqu’un simplement en lui expliquant verbalement comment faire. Ça ne marche pas très bien. Le risque à venir n’est pas que l’IA devienne intelligente, nous en sommes bien loin. Le risque à venir repose bien plus sur les mauvais usages de l’IA, et ceux-ci sont déjà très largement parmi nous. Pour améliorer notre protection contre les menaces, contre la désinformation ou les deepfakes, nous devons renforcer nos institutions démocratiques avancent les auteurs. On ne saurait être plus en accord, surtout au moment où les avancées de l’IA construisent des empires techniques qui n’ont pas grand chose de démocratique.  

*

Malgré ses qualités et la richesse de ses exemples, le livre des deux chercheurs peine à rendre accessible ce qu’ils voudraient partager. Parvenir à distinguer ce que l’IA sait faire et ce qu’elle ne peut pas faire n’est pas évident pour ceux qui sont amenés à l’utiliser sans toujours comprendre sa complexité. Distinguer la bonne IA de la mauvaise n’est pas si simple. Le livre permet de comprendre que la prédiction fonctionne mal, mais sans nous aider à saisir où elle peut progresser et où elle est durablement coincée. 

On a bien constaté que dès que ces outils agissent sur le social où l’individu, ils défaillent. On a bien compris que l’IA générative était puissante, mais les deux ingénieurs peinent à nous montrer là où elle va continuer à l’être et là où elle risque de produire ses méfaits. Les deux spécialistes, eux, savent très bien identifier les pièges que l’IA nous tend et que l’IA tend surtout aux ingénieurs eux-mêmes, et c’est en cela que la lecture d’AI Snake Oil est précieuse. Leur livre n’est pourtant pas le manuel qui permet de distinguer le poison du remède. Certainement parce que derrière les techniques de l’IA, le poison se distingue du remède d’abord et avant tout en regardant les domaines d’applications où elle agit. Un outil publicitaire défaillant n’a rien à voir avec un outil d’orientation défaillant.. Gardons les bons côtés. Les ingénieurs ont enfin un livre critique sur leurs méthodes avec un regard qui leur parlera. Ce n’est pas un petit gain. Si le livre se révèle au final un peu décevant, cela n’empêche pas qu’Arvind Narayanan et Sayash Kapoor demeurent les chercheurs les plus pertinents du milieu. Leur grande force est d’être bien peu perméables au bullshit de la tech, comme le montre leur livre et leur excellente newsletter. Leur défense de la science sur l’ingénierie par exemple – « les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée » – demeure une boussole que l’ingénierie devrait plus souvent écouter.

Après ces 8 semaines qu’on espère avoir été stimulantes… Dans les algorithmes s’arrête pour l’été (on aurait encore 1000 choses à vous raconter, mais on sait que l’été, les lecteurs peinent à ouvrir leurs boîtes mails).

Confrontés à des temps qui s’annoncent difficiles, on ne souhaitait pas vous laisser démunis pour autant. C’est pour cela que nous voulions vous offrir un cadeau. Une lecture qui, nous l’espérons vous redonnera des perspectives pour affronter le monde qui vient. Elle est pour nous une lecture majeure de ces dernières années, tant elle permet de décentrer son point de vue et de refaire une lecture politique des transformations numériques. Cette lecture, c’est celle du livre Data Feminism de Catherine D’Ignazio et Lauren Klein. Ce livre est disponible aux presses du MIT ainsi qu’en open access pour ceux qui lisent l’anglais. Nous vous en proposons un résumé assez complet en français, à imprimer ou à lire en ligne. Téléchargez-le ! Faites le circuler ! 

Signalons que Lauren Klein et Catherine D’Ignazio ont récemment mis à jour les principes du Féminisme de données à l’heure de l’IA. Elles soulignent que les 7 principes établis fonctionnent toujours très bien, mais ajoutent deux préoccupations. Une première sur la question environnementale qui invite à s’inspirer de l’écoféminisme, qui souligne les liens entre les dommages environnementaux et toutes les formes d’oppression structurelles. La seconde revient sur la notion de consentement, qui devrait également pouvoir être mobilisé pour agir, pour autant qu’il soit vu non pas seulement sous un angle individuel, mais également collectif et interdépendant.

Pour un féminisme des données

Le féminisme des données est à la fois un mouvement et un mode de pensée qui s’oppose à la manière dont le monde des datasciences considère les données, comme un matériel à exploiter. Il propose à la science des données et au mouvement pour l’ouverture des données qui le structure de se réinventer, de prendre en considération d’autres valeurs pour partager et exploiter les données. Le féminisme des données n’est pas qu’une critique, il est d’abord et avant tout un programme pour remettre le consentement au cœur de l’échange de données et construire une science des données qui émancipent les utilisateurs plutôt qu’elle ne les exploite. Retour sur un concept novateur et peu connu, une notion politique et manifeste qui propose rien de moins que d’inverser la façon dont on considère les données.

Une sciences des données pour l’émancipation

En 2020, les chercheuses Catherine D’Ignazio et Lauren Klein publient Data Feminism (MIT
Press, 2020, non traduit, disponible en publication ouverte), un livre-manifeste qui propose une
vision politique des données : le féminisme des données.

Pour ces deux spécialistes en science des données, la discipline a besoin du féminisme pour se réinventer. Le Féminisme des donnée est « un mode de pensée sur la donnée et sa communication informés par l’expérience directe, par un engagement à l’action et par les idées associées à la pensée féministe intersectionnelle », qui vise à déconstruire les systèmes de pouvoir, de privilège et d’oppression. A l’heure où les données façonnent le monde et notre relation au monde, il est temps de s’intéresser très précisément à celles-ci, soulignent D’Ignazio et Klein. En cela, le féminisme de la donnée n’est pas seulement un livre, il se veut aussi un mouvement, une réflexion politique, un mode d’action sur le monde. C’est un livre sur qui a le pouvoir et qui ne l’a pas, un livre sur les conséquences de ces différentiels de pouvoir pour les mettre en évidence et les changer.

La science des données a besoin du féminisme pour mettre fin à la spirale d’injustices qu’elle participe à bâtir, expliquent D’Ignazio et Klein. Pour les deux chercheuses, les corps manquent dans les données qu’on collecte. La science des données pense qu’elle peut produire le monde sans les convoquer. Que son objectivité et sa neutralité nécessitent d’appliquer une froide raison sur tout calcul. C’est tout le contraire dont nous avons besoin, expliquent les chercheuses : les problèmes structurels ne peuvent être exposés qu’en les regardant sous l’angle spécifique des personnes et des corps. Nous devons compter ce qui ne l’est pas, notamment parce que les données et le pouvoir s’alignent trop souvent. Ramener les corps des gens, des femmes, des personnes de couleurs, des marginalisés dans les discussions et les décisions, suppose bien sûr, comme le disait déjà Sasha Costanza-Chock de savoir quelles données sont collectées, par qui et pourquoi.

L’histoire est ancienne, mais reste fameuse : quand Andrew Pole, data scientist chez Target, a mis au point un algorithme de prévision de la grossesse des clientes pour favoriser des campagnes marketing dédiées, il a montré que les corps peuvent être exploités sans que les personnes visées n’aient leur mot à dire sur cette exploitation. Target a utilisé son capital de données pour consolider son pouvoir sur ses clientes, sans leur consentement. Les décisions prises du point de vue des données sont trop souvent utilisées pour amplifier les inégalités et asymétries d’information que le contraire. En se basant sur une liste de produits que les femmes enceintes achètent, Target était capable de calculer un score de prévisibilité de grossesse, que l’entreprise a utilisé sans tenir compte des impacts et conséquences sur ses clientes. C’est justement sur les conséquences des décisions qui sont prises sur les gens, par-devers eux, qu’une approche des données par l’émancipation est essentielle. Klein et D’Ignazio déploient un propos qui va à l’encontre de la manière dont on valorise les données aujourd’hui. L’enjeu n’est pas leur transparence ou leur ouverture, qui profitent trop souvent à ceux-là mêmes qui profitent également de leur opacité, mais bien à la libération des personnes que les données calculent : libérer les gens plutôt que de seulement libérer les données !

Un point de vue neutre ne l’est jamais

Cet exemple souligne l’asymétrie profonde de la data science aujourd’hui : la collecte et l’analyse de données se déroulent sans avoir à rendre de compte aux personnes et groupes concernés et ce d’autant plus que ces groupes et personnes sont le moins en capacité de se défendre. En data science, les femmes et les groupes les plus marginalisés sont absents des équipes qui décident : et personne ne pense que c’est un problème ! A la suite de Donna Haraway, les chercheuses rappellent qu’un point de vue neutre ne l’est jamais. Si nous voulons parler d’objectivité en data science, alors nous devons porter attention à la perspective par défaut que défend cette prétendue objectivité. Klein et D’Ignazio défendent une co-libération plutôt qu’une responsabilité (qui consiste à libérer les gens plutôt qu’à libérer les données), la justice plus que l’éthique, l’équité plus que la loyauté, la réflexivité plus que la transparence, la compréhension de l’histoire, de la culture et du contexte plus que la compréhension des algorithmes.

Le féminisme des données repose sur 7 principes qui dirige son action :

• Examiner le pouvoir : le féminisme des données commence par l’analyse du fonctionnement du pouvoir.
• Défier le pouvoir : Le data féminisme s’engage à remettre en question les structures de pouvoir inégales et à œuvrer pour la justice.
• Valoriser l’émotion et l’incarnation. Le féminisme des données nous apprend à valoriser de multiples formes de connaissances, y compris celles qui proviennent des personnes en tant que corps vivants et sensibles dans le monde.
• Repenser le binarisme et les hiérarchies. Le féminisme des données nous oblige à remettre en question le binaire du genre, ainsi que d’autres systèmes de comptage et de classification qui perpétuent l’oppression.
• Adopter le pluralisme. Le féminisme des données insiste sur le fait que la connaissance la plus complète provient de la synthèse de perspectives multiples, la priorité étant donnée aux modes de connaissance locaux, autochtones et expérientiels.
• Tenir compte du contexte. Le féminisme des données affirme que les données ne sont pas neutres ou objectives. Elles sont le produit de relations sociales inégales, et ce contexte est essentiel pour mener une analyse précise et éthique.
• Rendre le travail visible. Le travail de la science des données, comme tout travail dans le monde, est le travail de nombreuses mains. Le féminisme des données rend ce travail visible afin qu’il soit reconnu et valorisé.

Data Feminism n’est pas seulement un propos sur les femmes ou le genre. C’est une réflexion sur l’émancipation par la science des données. La force du livre de Klein et D’Ignazio est de bâtir une réflexion politique sur les données et les calculs… de politiser la science des données sans la réduire à une injonction à l’ouverture ou à l’amélioration sans fin des données. Ce n’est pas un petit pas de côté !

Comme Caroline Criado-Perez dans son livre, Femmes invisibles (First, 2020), les deux chercheuses pointent combien les données sont faillibles, combien elles masquent d’innombrables lacunes de connaissance. Elles reviennent par exemple sur les complications postnatales que connaissent les femmes, et notamment les femmes noires (qui, aux Etats-Unis, ont trois fois plus de risque de mourir d’une complication postnatale que les femmes blanches). Ces différences structurelles sont connues depuis longtemps des associations comme Black Mamas, mais moins au-delà. La presse s’y est certes intéressée (Propublica par exemple), mais ni le détail des complications ni le nombre de femmes noires qui étaient concernées n’étaient détaillés. En 2018, USA Today montrait qu’il n’y avait pas de système national de suivi des complications subies pendant la grossesse et l’accouchement (voir également l’infographie), ni de système de rapport pour s’assurer que les hôpitaux respectaient les normes de sécurité (alors que ces modalités de reporting existent pour d’autres types d’opérations). Ce que nous choisissons de mesurer montre avant tout ce à quoi nous portons de la valeur. Ou pour le dire autrement, « ce que nous tolérons indique ce que nous sommes vraiment« , comme le disait Caterina Fake. Or, bien souvent, les problèmes de pouvoir structurels, systémiques, sont invisibles tant que les gens qui y sont confrontés ne les mettent pas à jour. Pour les deux chercheuses, l’invisibilité est un produit de la science des données et de la « matrice de domination » (un concept que forgea la sociologue Patricia Hill Collins) qui s’imposent à tous et plus encore à ceux qui sont à l’intersection de genre, de race, d’identité, de capacité, d’origine… des systèmes d’oppression.

Il faut prendre conscience de l’éléphant qui se cache dans les data centers. Pas plus les données que ceux qui pratiquent cette science ne sont représentatifs. « Les risques encourus lorsque des personnes issues de groupes dominants créent la plupart de nos produits de données – ne sont pas seulement que les ensembles de données soient biaisés ou non représentatifs, mais d’abord qu’ils ne soient jamais collectés du tout ». Comme le dénonce l’artiste Mimi Onuoha depuis son projet de Bibliothèque de jeux données manquants : qui montre un classeur rempli de dossiers de données vides. Le livre de Criado-Perez comme la fondation Data2X pointent très bien cette « fracture systématique des données de genre ». Pour combler ces lacunes, l’enjeu, bien sûr, consiste à développer et promouvoir un activisme des données, une forme de science des données participative pour collecter justement les données manquantes, à l’image du projet de surveillance communautaire AirBeat du quartier noir de Roxbury à Boston qui souhaitait collecter des données pour dénoncer la piètre qualité de l’air, ou de celui initié dès 1895 par la militante des droits civiques Ida B Wells sur les agressions et lynchages à l’encontre des noirs aux Etats-Unis. Les initiatives de « contre-données » sont nombreuses, à l’image du minutieux travail de Maria Salguero qui compile des informations sur les féminicides au Mexique depuis 2016. Ces initiatives comblent souvent des vides de données, des manques, des lacunes, des négligences statistiques… qui concernent trop souvent les corps minorisés qui ne détiennent pas le pouvoir. Pourtant, bien souvent, le problème n’est pas tant l’absence de données que l’inverse : les bases de données et les systèmes de données des institutions les plus puissantes sont construits sur et pour la surveillance excessive des groupes minoritaires, comme le montrait Virginia Eubanks dans son livre. Ces formes de surveillance excessives reposent souvent sur deux hypothèses erronées : croire que plus de données est toujours mieux et que les données sont neutres. Or, dans le cadre du modèle de prévision du risque de maltraitance des enfants en Pennsylvanie qu’étudiait Eubanks, la disproportion de parents pauvres dans la base de données concentre ses effets sur la pauvreté plus que sur la maltraitance. Pour Klein et D’Ignazio, « les données ne sont jamais neutres ; elles sont toujours le résultat biaisé de conditions et d’inégalités sociales, historiques et économiques ». La science des données masque souvent ses objectifs réels sous un principe d’efficacité qui ne tient pas compte de ses biais. Le système de prévision du risque de maltraitance visait avant tout à produire un mécanisme pour suppléer un personnel limité. La solution technique proposée ne visait pas tant à répondre à la maltraitance des enfants qu’à accélérer la capacité de traitement du donneur d’ordre. Comme le montrait l’exemple de Target, derrière la neutralité des déploiements techniques, les entreprises privilégient toujours leurs objectifs à ceux des personnes qu’elles sont censées servir.

Pour D’ignazio et Klein, la science des données est utilisée presque exclusivement au service du profit, de la surveillance et de l’efficacité. Cela s’explique certainement parce que les données restent coûteuses à produire et que seules les institutions puissantes peuvent les travailler. Les données servent principalement les objectifs des institutions et notamment à consolider leurs contrôles sur leurs clients. L’extractivisme de données engendre une profonde asymétrie entre ceux qui calculent et ceux qui sont calculés. Pour renverser ce paradigme, il est nécessaire d’être attentif à l’impact des données et à qui les assemble. A l’image de l’application IRTH développée par Kimberly Seals Allers, une application à destination des mères de la communauté noire, pour à la fois documenter leurs problèmes spécifiques, les mettre en avant et leur trouver des solutions adaptées. Pour D’Ignazio et Klein, comprendre et examiner qui détient le pouvoir sur les données ne sert pas seulement à comprendre, mais doit d’abord servir à contester ce pouvoir et à le changer, le renverser. Pour le dire autrement, c’est les gens et leurs corps qui doivent nous dire quelles données vont améliorer leur vie et comment. Plus encore, si la donnée ne fait qu’informer, que rendre plus efficace des formes d’extraction et de domination, alors elle rate son objectif principal : libérer celles et ceux qui sont l’objet des données et des calculs.

Co-libérer les gens plutôt que les données

Le Féminisme de données vise à remettre en question les structures de pouvoir. Trop souvent, « les données sont déployées pour soutenir les intérêts des personnes et des institutions en position de pouvoir ». Remédier à ce problème nécessite donc de compiler ses propres « contre-données », de cartographier l’oppression et cela ne peut se faire que depuis d’autres points de vue et donc par d’autres personnes. L’identité de ceux qui produisent les données, leur proximité avec le sujet, les conditions de la collaboration et la direction du projet sont essentielles. La science des données est essentielle pour contester le pouvoir, car l’examiner est essentiel. L’enjeu n’est pas tant l’équité que la co-libération, insistent les deux chercheuses. Le travail mené par Julia Angwin et ProPublica en 2016 sur les biais des systèmes d’évaluation de risque de récidive utilisés par le système judiciaire américain a montré combien les 137 questions qui président à ces évaluations encodaient les inégalités structurelles de la société américaine. Ruha Benjamin évoque d’ailleurs le concept de « nouveau code Jim » pour évoquer combien les systèmes techniques encodent le racisme de la société américaine. « Les données sont toujours le produit de relations sociales inégales ». Comme l’explique Ben Green dans son livre, l’apprentissage automatique prédit plus le passé que l’avenir. Le problème est que les résultats de ces calculs sont activement promus comme objectifs ou neutres, alors qu’ils ne le sont pas. Et cela devient bien plus difficile à mesure que les calculs sont barricadés dans des boîtes noires inscrutables, protégées derrière le droit des sociétés, et donc nécessitant de construire ses propres ensembles de données pour contourner leur inaccessibilité.

Pourtant, si l’analyse et la dénonciation de l’oppression des données peuvent obliger les institutions à rendre des comptes, l’efficacité de la production de contre-données ne suffit pas. Les données de Maria Salguero sur les féminicides ont eu besoin d’être complétées par des commissions gouvernementales, des rapports d’ONG et des décisions de tribunaux pour produire des effets concrets. Les contre-données ne suffisent donc pas à produire du changement, d’autant plus que les données et les calculs sont toujours considérés comme moins partiaux que les individus, plus objectifs par nature. Mais ce n’est le cas que parce que les perspectives de ceux qui les produisent passent pour la valeur par défaut. L’objectivité n’est pourtant pas immanente.

L’éthique des données vise à produire de la responsabilité et de la transparence pour remédier à ce manque d’objectivité. Mais pour les chercheuses, les termes posent problème. Il nous faut passer de concepts qui sécurisent (et entérinent le pouvoir) à des concepts qui le défient, expliquent-elles en nous invitant à modifier les concepts que nous utilisons dans les discussions sur l’utilisation des données et des algorithmes. En passant de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu est de sortir de la recherche de solutions technologiques aux problèmes que pose la technologie.

Pour D’Ignazio et Klein, ce tableau ne signifie pas par exemple que l’éthique n’a pas sa place dans la science des données ou que la question des biais ou de la transparence ne devrait pas être abordée, mais que ces concepts ne suffisent pour rendre compte des causes profondes de l’oppression et limitent finalement l’éventail de réponses pour démanteler l’oppression ! C’est un moyen de remettre de la politique là où certains tentent de l’ôter pour mieux conserver le pouvoir. La capacité à dépolitiser les questions n’est que le privilège de ceux qui ont déjà le pouvoir. D’où la nécessité de parler de justice plutôt que d’éthique, d’équité plus d’égalité comme nous y invitait Sasha Costanza-Chock. Le biais par exemple n’est pas un concept suffisamment fort pour ancrer les idées d’équité et de justice. En effet, pour l’éviter, on a tendance à vouloir enlever les humains de la boucle de décision, au motif que leurs préjugés personnels seraient la principale raison de la continuation des discriminations. Mais ce raisonnement suppose que le racisme par exemple serait plus le fait de mauvais acteurs individuels que de structures ou de systèmes. Alors qu’en fait, remplacer les travailleurs sociaux – qui sont souvent des femmes voire des femmes de couleur, qui font preuve d’empathie et de capacités d’écoute – par des systèmes automatisés qui appliquent un ensemble de critères rigides quelles que soient les circonstances, ne nous prémunit pas des préjugés structurels, au contraire ! « Partir du principe que c’est l’oppression qui est le problème, et non les préjugés, conduit à des décisions fondamentalement différentes sur ce sur quoi il faut travailler, avec qui il faut travailler, et quand il faut se lever et dire qu’un problème ne peut et ne doit pas être résolu par les données et la technologie. »

L’enjeu donc n’est pas tant d’ouvrir ou libérer les données, que de libérer les personnes ! La clé de cette co-libération nécessite un engagement et la croyance dans un bénéfice mutuel, tant pour les groupes dominants que pour les groupes minorisés. La libération des uns et des autres est liée. C’est ce qui motive par exemple le projet Our Data Bodies et son Digital Defense Paybook (dont nous avions déjà parlé). La co-libération nécessite également de nouveaux outils et un autre état d’esprit. « Partir du principe que l’oppression est le problème, que l’équité est la voie à suivre et que la co-libération est l’objectif souhaité conduit à des projets fondamentalement différents qui remettent en cause le pouvoir à sa source. » Cela nécessite aussi de mesurer différemment la réussite d’un projet. La réussite ne repose plus alors sur l’efficacité d’une base de données, la précision d’un algorithme ou la taille de la base de données, mais plutôt du degré de confiance établi, du partage du pouvoir et des ressources, de l’ampleur de l’apprentissage de ceux qui y participent, de la transformation des personnes et des organisations par le processus, de la quantité d’inspiration nouvelle engendrée ! Des objectifs qui sont certes plus flous à mesurer, mais qui peuvent l’être tout de même !

Lorsque Gwendolyn Warren et les chercheurs du Detroit Geographic Expedition and Institute dans les années 70 ont recueilli des données sur les accidents de voiture impliquant les enfants noirs à Détroit, ils l’ont fait pour que les chercheurs rendent à la communauté les connaissances qu’ils exploitaient et permettent à la communauté de créer une stratégie pour combattre les discriminations qu’elle subissait. Pour Warren, l’éducation était un mécanisme d’autonomisation et de transformation.

Pour y parvenir, il faut encore que les femmes comme les personnes de couleurs soient plus nombreuses dans les salles de classe de la science des données, alors que 80 % des professeurs en IA et que 66 % des professeurs d’informatique et de statistiques sont des hommes. Cela nécessite aussi de s’extraire de la croyance que tout cela ne serait qu’une question technique. Pour Laurie Rubel (@Laurie_Rubel), à l’origine du projet Local Lotto (voir également ici), l’enjeu est d’enseigner autrement les mathématiques en tenant compte de l’équité. Laurie Rubel a proposé à des élèves du secondaire de répondre à la question : est-ce que la loterie est bonne pour votre quartier ? Les billets de loterie ont une production sociale. Ils sont bien plus achetés par les travailleurs à bas salaires que par les plus riches. Lors de ces exercices, les élèves devaient parcourir leur quartier pour dresser des cartographies, rencontrer des acheteurs… comprendre les enjeux. Ce travail leur a permis surtout de rétroagir sur leurs communautés, pour leur montrer combien la loterie leur était défavorable. Local Lotto utilise la science des données pour construire une approche concrète et sociale, plutôt qu’abstraite et technique et aider à permettre aux acteurs d’en prendre conscience pour y remédier. Le projet vise à adresser des problématiques d’inégalités de la vie quotidienne. Il valorise l’expérience vécue et le partage. « La justice est un voyage » qui nécessite de travailler aux problèmes que l’injustice cause. Examiner le pouvoir ne suffit pas, rappellent les deux chercheuses. Il faut aussi le remettre en question. Pour cela, il faut prendre l’oppression et l’inégalité comme une hypothèse de base pour créer des systèmes. Cela nécessite d’apprendre des communautés et de concevoir les systèmes avec elles.

Privilégier l’incarnation et l’émotion à la fausse neutralité

Contrairement à ce que l’on pense trop souvent, l’objectivité des données nécessite non pas de promouvoir une forme de neutralité immanente, mais au contraire de mieux les incarner, c’est-à-dire de mieux montrer et valoriser leur subjectivité intrinsèque. C’est ce que propose par exemple Periscopic dans sa formidable infographie sur le nombre de personnes tuées par arme à feu aux Etats-Unis. Contrairement à une présentation traditionnelle du phénomène, l’infographie de Periscopic valorise l’émotion en permettant d’accéder aux informations individuelles sur chaque personne tuée par arme à feu aux Etats-Unis et en totalisant le nombre moyen d’années volées à toutes ces vies !

Cette approche a généré certaines critiques. Alberto Cairo, auteur d’un livre sur la visualisation de données, The Truthful Art (New Riders, 2016, non traduit), estime que l’infographie de Periscopic instrumentalise une cause par l’émotion, alors que la visualisation doit rester neutre ! Dans A Unified Theroy of Information Design (Routledge, 2013, non traduit), Nicole Amare et Alan Manning, expliquent que la visualisation doit rester neutre. La sobriété est nécessaire pour que les lecteurs interprètent les résultats par eux-mêmes. Dans le domaine de la communication de données, l’ornement est souvent considéré comme suspect.

Comme le dit l’historien des sciences Theodore Porter, « la quantification est une technologie de la distance », c’est-à-dire qui met à distance sous principe d’objectivité. La neutralité en est l’idéal. C’est oublier que persuasion est partout, même dans le dépouillement de simples feuilles de calcul ou des plus simples graphiques. Haraway a pourtant été la première à souligner le lien entre l’apparente neutralité et l’objectivité des données. Pour elle, la visualisation de données encourage trop souvent à voir les phénomènes depuis nulle part – voire de loin ou d’en haut. Ce point de vue, cette « ruse », cependant présente comme neutre une perspective partielle, qui est là encore, bien souvent, la perspective du groupe dominant. Pour le grand spécialiste de statistique et de visualisation de l’information, Edward Tufte (@EdwardTufte), le concepteur de visualisation doit s’efforcer d’utiliser l’encre uniquement pour afficher les données… tout embellissement est suspect. Le minimalisme visuel est rationnel. Les éléments décoratifs sont tous suspects d’œuvrer à des formes de persuasion émotionnelle.

La recherche féministe a beaucoup critiqué cette opposition entre raison et émotion, qui vise plus à structurer et imposer des hiérarchies implicites qu’autre chose. Pour D’Ignazio et Klein, le minimalisme visuel n’est pas si neutre qu’il le clame. Trop de théoriciens et de praticiens de la visualisation de données relèvent des disciplines techniques de l’ingénierie et de l’informatique, mais oublient que tout objet, aussi neutre soit-il présenté, est rhétorique. Dans un visuel, un même constat peut être présenté de manière très différente selon sa représentation ou le discours qui l’accompagne, à l’image d’un même graphique factuel sur le chômage proposé par le New York Times, présentant les données selon un point de vue démocrate ou républicain. En fait, soulignent les chercheuses, la visualisation de données dépend toujours d’une interprétation. Les choix éditoriaux qui produisent une visualisation ont des effets de cadrage qui obscurcissent ou mettent en évidence certaines choses plutôt que d’autres. Les conventions autour du minimalisme favorisent une perception de visualisation comme étant neutre et objective. Au final, même les visualisations les plus simples, les plus factuelles, ne sont pas neutres. Par contre, elles sont très persuasives.

Dans une approche féministe des données, expurger toutes traces humaines pour produire une neutralité de façade n’est pas la bonne approche. L’enjeu, au contraire, consiste à affirmer la nature située des connaissances, à affirmer leur partialité. Pour D’Ignazio et Klein, il est nécessaire de rendre les données plus « viscérales » plutôt que neutres. L’émotion n’est pas aussi irrationnelle et illégitime que beaucoup la tiennent. Notre compréhension du monde est une combinaison d’expériences, d’intuitions, de raisons et d’émotions. En 2010, Kelly Dobson a fondé le groupe de recherche Data Visceralization, avec l’objectif de produire des données à ressentir, à expérimenter avec le corps, tant physiquement qu’émotionnellement. Cette viscéralisation n’était pas qu’une expérimentation créative. Pour ceux qui ont animé ce groupe de travail, l’enjeu était de rappeler que nous ne sommes pas des yeux attachés à un cerveau. La viscéralisation des données poursuit également un but d’accessibilité : les données ne peuvent être seulement visuelles. Klein et D’Ignazio évoquent ainsi le travail du Bureau de recherche créative pour le MoMA de New York qui s’est joué (vidéo) du catalogue des 123 951 oeuvres de la collection en faisant lire le nom des artistes masculins par des hommes et ceux des artistes féminins par des femmes pour souligner la nature hautement sexuée des collections… ou encore le travail du collectif Guerrilla Girls qui soulignait que pour entrer au Metropolitan Museum of Art, il fallait assurément être une femme nue arguant que les femmes nues sont le principal sujet des tableaux alors que les artistes femmes, elles, sont inexistantes dans les collections. Faire des données des expériences permet de casser la vue d’ensemble que les visualisations proposent et permettent de faire l’expérience des enjeux peu à peu. L’enjeu est ici de ressentir la différence de genre plutôt que de seulement la voir, comme s’ils s’adressaient à une autre partie du cerveau.

Un autre enjeu également dans les représentations visuelles, consiste à mieux faire figurer l’incertitude, comme d’arriver à montrer la fourchette d’incertitude de sondages. Lors de l’élection de Trump en 2016, les simulations produites par les sondages étaient plus incertaines dans les intentions de vote que leurs représentations. Pour Klein et D’Ignazio, le fait que nombre de graphiques aient suggéré que Clinton allait gagner tient beaucoup au refus de montrer l’incertitude que les sondages exprimaient. Ajoutez-y les biais de nos propres raccourcis mentaux qui tendent à nous faire croire que l’avance d’une candidate sur l’autre tient d’une probabilité plus forte qu’elle gagne… Et vous comprenez mieux le risque à ne pas s’ouvrir à l’incertitude des données. Pour les deux chercheuses, ces exemples doivent nous rappeler que le contexte est roi en matière de visualisation.

Interroger les classements et les catégories

Le féminisme des données oblige à sortir des dichotomies et donc à repenser les catégories et hiérarchies. De nombreux problèmes d’inégalité structurelle sont des problèmes d’échelles. Trop souvent, seul ce qui est compté compte, et ce qui n’est pas compté ne compte pas, rappellent les chercheuses. Ici, il est nécessaire également de nous défier de l’affichage de grands principes. Ainsi, quand Facebook a élargi les modalités pour indiquer son genre, cette nouveauté a été saluée comme le signe d’une grande ouverture. Pourtant, comme l’ont montré les travaux de Rena Bivens (@renabivens), Facebook a continué de résoudre le genre des utilisateurs de manière binaire pour ses clients payants. Mêmes constats en ce qui concerne la politique des « vrais noms » de Facebook qui est justifiée pour des raisons de sécurité, mais qui met activement en danger les utilisateurs les plus marginaux de la plateforme, comme l’ont montré Oliver Haimson et Anne Lauren Hoffmann, par exemple ceux qui portent des noms Amérindiens où les personnes qui cherchent à masquer leurs identités parce qu’elle peut leur porter préjudice.

Les féministes, comme les militants antiracistes et homosexuels, ont beaucoup réfléchi aux problèmes de classification, notamment parce que cela les affectait directement. La solution pourtant ne consiste pas à refuser le classement, mais à nous interroger sur la manière dont les systèmes de classification sont construits, sur la manière dont ils encodent les valeurs et jugements, sur comment ils sont construits et dans quel but, comme l’expliquent Geoffrey Bowker et Susan Leigh Star dans Sorting Things Out (MIT Press, 2000, Arranger les choses, éditions de l’EHESS, 2023). Le problème consiste toujours à savoir s’il vaut mieux être compté ou pas. C’est le paradoxe de l’exposition ou de la classification. Pour un sans papier par exemple, être dénombré peut-être problématique selon ce qui est fait de ce dénombrement. Du point de vue du féminisme de données, la question est toujours de savoir si ce sont les catégories qui sont inadaptées ou le système de classification. A quoi sert-il par exemple que les scanners corporels des aéroports distinguent les hommes des femmes et s’affolent dès qu’une personne ne correspond pas à cette normativité réductrice ?

L’Association médicale américaine qualifie désormais le genre de spectre, plutôt que sur un mode binaire. L’organisme de santé publique britannique a lui développé un questionnaire inclusif et sensible qui permet d’ouvrir la question des catégories de genre en proposant des modalités de non divulgation. En fait, soulignent les chercheuses, selon les circonstances, l’institution qui collecte, et le but de ces collectes, les décisions éthiques peuvent varier. Pour le dire plus simplement, l’éthique ne peut être bornée : chaque comptage nécessite de reposer les questions de contexte et de pouvoir : faut-il compter selon le genre ? Quand et comment ? Même constat du côté de la couleur de peau… Mais la réponse à ces questions n’est possible qu’en répondant à la question à qui et à quoi servent ces comptages et plus encore en assurant que leur utilité reste circonscrite à l’objectif formulé – ce qui est plus difficile à assurer, notamment dans le monde des données, où un comptage, par nature, peut-être réutilisé à d’autres fins. Enfin, soulignent les chercheuses, la question du consentement à ces différents types de comptages est essentielle, pour les groupes minoritaires et notamment du fait des préjudices potentiels qu’il y a à distinguer les gens selon leurs identités fait peser sur eux. Respecter les gens qui sont derrière les données peut sembler tenir de l’évidence. C’est pourtant si rarement le cas qu’il faut bien le rappeler (signalons d’ailleurs sur ce sujet, le travail stimulant du Manifeste pour des technologies pleinement consenties, qui propose des principes pour des technologies de « plein consentement » : sans pression, réversibles, informées, enthousiastes et spécifiques) !

Historiquement, compter a toujours été utilisé pour dominer, discipliner et exclure. C’est pour cela qu’il est nécessaire d’interroger notre infrastructure de classification. Les chiffres ne sont pas toujours des outils d’oppression, mais ils doivent être travaillés pour rééquilibrer la répartition inégale du pouvoir.

Notre besoin de diversité est impossible à rassasier

Pour le féminisme de données, la connaissance la plus complète provient de la synthèse de perspectives multiples, et notamment les plus locales, les plus expérientielles… Sur le site Anti Eviction Map qui lutte contre les expulsions à San Francisco on trouve une centaine de cartes différentes. Beaucoup ont été produites en collaboration avec des organisations différentes afin de documenter le phénomène de l’expulsion dans sa plus complète diversité. L’une des cartes par exemple, montre que la concentration des expulsions recoupe celle des arrêts des Bus qui viennent chercher les employés des grandes entreprises de la tech. Toutes les cartes ne sont pas aussi lisibles, mais l’objectif reste de documenter ce qu’il se passe de multiples façons. Plutôt que de raconter une seule histoire « vraie » ou consensuelle, l’enjeu est aussi de reconnaître les versions multiples voire contradictoires de la réalité, explique l’architecte Katie Lloyd Thomas (@ktlloydt), fondatrice du collectif féministe Taking Place. Pour le féminisme de données, l’enjeu est d’adopter le pluralisme, de valoriser les voix, les points de vue, de la collecte à la communication… Pour se faire, il faut se défaire de la façon dont les méthodes de la science des données ont tendance à supprimer les voix, au profit de la clarté, de la propriété ou du contrôle.

Trop souvent, l’un des principaux aspects du travail du data scientist consiste à nettoyer les données pour mieux les structurer, un travail d’entretien à la fois patient et minutieux, et également un travail d’organisation glorifiant visant à dompter le chaos des chiffres. Le problème, c’est que ces processus contribuent à faire disparaitre des perspectives et à en imposer d’autres. Nettoyer les données consiste aussi à les contrôler. « Cette croyance selon laquelle les données doivent toujours être propres et contrôlées a des racines historiques douteuses ». Trop souvent, le nettoyage est « une astuce pour réduire la diversité », comme l’ont expliqué Katie Rawson (@katie_rawson) et Trevor Munoz (@trevormunoz) dans leur article « Contre le nettoyage ». Le désordre des données est riche d’informations sur les circonstances de leur collecte. Trop souvent, leur nettoyage permet qu’elles soient plus accessibles à d’autres qu’à ceux qui les ont collectés. En fait, expliquent Klein et D’Ignazio, ce nettoyage des données élargit surtout leur disponibilité et notamment leur disponibilité à un plus large niveau, les coupant du contexte de leur production. Ce nettoyage bénéficie également aux data scientists, à ces génies solitaires, souvent blancs et masculins, dont la maîtrise individuelle et l’expertise technique semblent sans bornes. L’un de ces génies est Matthew Desmond (@just_shelter), directeur de Laboratoire de l’expulsion (@evictionlab) à l’université de Princeton et auteur d’Avis d’expulsion, enquête sur l’exploitation de la pauvreté urbaine (Lux éditeur, 2019). La difficulté pour le laboratoire a longtemps consisté à trouver sur quelles données baser ses recherches. Faut-il privilégier des données plus propres et à grandes échelles, faciles à traiter et à acheter où des données plus précises, à l’échelle locale, comme celles produites par Anti Eviction Map mais qui nécessitent d’établir une relation de confiance afin qu’elles ne soient pas utilisées n’importe comment ? Comme nombre d’acteurs dans le domaine des données, le laboratoire a donné la priorité à la rapidité sur la précision. A l’inverse, si l’Anti Eviction Map a privilégié la diversité, leur décision a aussi contribué, de manière tout à fait intentionnelle, à renforcer les capacités techniques et relationnelles des acteurs locaux. L’enjeu était bien de construire une solidarité entre participants afin qu’ils s’entraident dans la lutte contre les expulsions, qu’ils apprennent les uns des autres. La multiplicité permet d’obtenir une image plus complète d’un problème et en renforce les collectifs. Encore faut-il parvenir à reconnaître la partialité de sa compréhension. Cela suppose, bien souvent, de donner accès aux données utilisées et de décrire les méthodes employées. Mais également de compléter ces informations en précisant qui a travaillé sur ces données, quels étaient les points de tensions…

« La prise en compte de la valeur des perspectives multiples ne doit pas se limiter à la transparence et à la réflexivité. Il s’agit également d’inviter activement et délibérément d’autres points de vue dans le processus d’analyse et de narration des données – plus précisément, ceux des personnes les plus marginalisées dans un contexte donné. » Pour l’Anti Eviction Map cela signifie centrer ses données sur les voix et les expériences de ceux qui ont été expulsés, à l’image de la proposition du réseau de Design Justice qui souhaite centrer son travail sur ceux les plus touchés par les données. Pour Klein et D’Ignazio, l’enjeu est bien ici de concevoir des projets de co-libération plutôt que des « données pour le bien » (ce qu’on appelle le mouvement « Data for good », un réseau de réseaux international qui promeut l’usage de la donnée pour l’intérêt général). Si le mouvement Data for good décrit des projets de science des données socialement engagés, que signifie faire le bien ? De quel bien parlons-nous ? Au profit de qui ? Pour la spécialiste en machine learning chez Google Brain et fondatrice de Delta Analytics, Sara Hooker (@sarahookr), ce concept manque de précision, notamment parce que l’engagement ne suffit pas à qualifier l’objectif – l’ingénieur Ben Green faisait une critique assez proche (.pdf) (dont nous avions rendu compte), soulignant les limites à renforcer le bien social sans interroger l’engagement. A l’inverse, la co-libération repose sur la dénonciation et la résolution des relations de pouvoir asymétriques. La co-libération présuppose une lutte qui qualifie l’enjeu… et augmente l’engagement d’objectifs, que ce soit le transfert de connaissance ou la création d’une infrastructure sociale dédiée, que ce soit pour la prise de conscience ou pour armer la lutte sociale. Elle implique des échanges à double sens pour renforcer les capacités techniques de la communauté et un renforcement de la solidarité, par exemple en allouant des ressources à l’infrastructure communautaire et pas seulement une aide technique. « Dans le modèle de co-libération, les projets de science des données deviennent des projets de science communautaire. Ils se déroulent simultanément dans la base de données et dans l’espace public. » L’enjeu est de construire une compréhension partagée autour d’une question et de mobiliser autour de cette compréhension pour en décliner des actions. Les données sont un moyen de générer une prise de conscience et de l’activer. En cela, la co-libération devient une « technologie de rassemblement », où « les informations sont échangées, la cohésion sociale est renforcée et les actions futures sont co-conspirées », une forme de « feu de camp » pour réactiver la participation politique, expliquent Kein et D’Ignazio – une forme de nouvelle cartographie d’alliances.

L’enjeu n’est pas pourtant de rester petit ou local. Les données peuvent aussi permettre d’atteindre d’autres échelles de co-libération, expliquent les chercheuses en évoquant le projet d’Atlas mondial de la justice environnementale, initié par Leah Temper et Joan Martinez-Alier qui collecte des informations sur les conflits écologiques depuis les luttes mêmes de ces acteurs. Certes, l’approche est plus pluraliste, participative et itérative que les approches extractivistes et quantitatives du Big data traditionnel, mais en fin de compte, même si cela prend plus de temps, les données, les relations et les capacités des communautés produites sont d’une bien meilleure qualité.

Les chiffres ne parlent pas d’eux-mêmes

Le féminisme des données affirme que les données ne sont ni neutres ni objectives. Elles sont le produit des inégalités et, sans contexte, elles ne disent rien : ne sont ni précises ni éthiques.

En 2014, le célèbre blog FiveThirtyEight a publié un article montrant que l’enlèvement de jeunes femmes au Nigeria était un problème qui empirait. Mais l’article a dû rapidement être rétracté. Le site avait utilisé une base de données mondiale spécialisée sur les conflits, le GDELT. Le problème est que cette base collecte des articles de presse en démultipliant les faits depuis les sources. FiveThirtyEight avait compté chaque article comme un événement alors que beaucoup d’articles de presse relayés décrivaient le même événement. L’histoire raconte la difficulté à agréger des données dont on ne sait pas grand-chose, à notre tendance à surestimer l’exhaustivité sur l’exactitude. Certains chercheurs parlent de « Big Dick Data » pour qualifier des projets qui fétichisent la taille, exagèrent leurs capacités scientifiques ou techniques et ignorent le contexte. Nous sommes de plus en plus cernés par des portails de données qui permettent de télécharger ou d’échanger de vastes ensembles de données, dans un modèle d’accès illimité à l’information que nous considérons trop souvent comme un bien inhérent.

L’un des principes centraux de la pensée féministe est que toute connaissance est située, nécessitant de relier les données au contexte de leur production pour mieux comprendre leurs limites fonctionnelles, les obligations éthiques associées et la manière dont le pouvoir a contribué à leur élaboration. Trop souvent, pourtant, rappellent les chercheuses, les jeux de données sont fournis sans contexte ni métadonnées, c’est-à-dire sans informations sur leur provenance et sans dictionnaires pour les décrire. Klein et D’Ignazio donnent l’exemple simple et courant d’un jeu de données sur les dépenses de la ville de Sao Paulo au Brésil. Le jeu de données n’est pas difficile à comprendre en tant que tel, mais le processus qui l’a produit est bien moins clair. Comment la ville gère-t-elle ses appels d’offres ? Comment décide-t-elle de leur attribution ? Les offres publiées correspondent-elles à toutes les offres ou seulement à celles qui ont passé un contrat avec la ville ? Qu’est-ce qui explique les variations de numérotation ?… Or sans réponses, il semble difficile d’explorer, analyser ou traiter ces données. Comme l’explique Christine Borgman (@scitechprof) dans son livre Big Data, Little Data, No Data (MIT Press, 2015, non traduit) : une infrastructure de connaissances est « une écologie de personnes, de pratiques, de technologies, d’institutions, d’objets matériels et de relations ».

Klein et D’Ignazio rappellent rapidement l’histoire du mouvement pour l’ouverture des données publiques, né au milieu des années 2000 d’une conjonction d’acteurs (gouvernements, associations, individus et militants) pour favoriser l’accès aux données, ces nouveaux types de documents publics. Sous prétexte de promouvoir le développement économique par la création de services les utilisant, d’accélérer le partage de connaissance et la science, et d’améliorer la transparence démocratique, nombre d’États, de villes et régions ont peu à peu ouvert des portails de données. Mais, comme elles le rappellent encore, le financement limité a conduit à prioriser l’ouverture de certaines données sur d’autres et surtout a rarement permis de documenter les jeux de données. Pour le spécialiste de l’ouverture des données britannique, Tim Davies (@timdavies), on s’est parfois retrouvé face à des « décharges de données brutes », incapables d’assurer l’engagement ou la responsabilité. Nombre de jeux de données demeurent peu utilisés, attendant que « les utilisateurs entreprennent le travail intensif de déchiffrer les arcanes bureaucratiques qui obscurcissent leur signification ». On parle aussi de données zombies pour désigner des ensembles de données publiés sans objectifs ou cas d’utilisation. Qu’importe ! Finalement, comme l’affirmait Chris Anderson de Wired en 2008, toute théorie devenait inutile, les données parleraient d’elles-mêmes ! Mais la corrélation sans contexte est clairement insuffisante, comme le montrait Safya Umoja Noble (@safiyanoble) dans son livre Algorithms of Oppression (NYU Press, 2018, non traduit), en démontrant que les résultats de Google Search ne sont pas seulement racistes et sexistes à l’image de nos sociétés, mais entretiennent le sexisme et le racisme en renvoyant vers ces contenus sous prétexte de les classer en fonction des liens et de leur audience, encourageant finalement leur audience dans une boucle de circulation perpétuelle.

Depuis 1990, suite au meurtre de Jeanne Clery, une loi visant à améliorer la collecte de données relatives aux crimes commis sur les campus américains a été votée, imposant de mettre à la disposition du public ces statistiques. En 2016, trois étudiants en journalisme de données ont téléchargé ces données collectées par le Clery Center (@CleryCenter) pour comprendre ce qu’il en était de la culture du viol sur les campus. Ils se sont rendu compte qu’un petit établissement rural du Massachusetts semblait connaître bien plus d’agressions sexuelles que la prestigieuse université de Boston. En enquêtant, ils se sont rendu compte que certains établissements publiaient leurs chiffres et que d’autres avaient les ressources institutionnelles nécessaires pour les minimiser, notamment en accompagnant les victimes pour minimiser les plaintes. Les chiffres ne parlent pas d’eux-mêmes à nouveau, les données sont bien souvent « cuites et recuites » que brutes, c’est-à-dire toujours obtenues, toujours travaillées et retravaillées, sensibles à nombre de facteurs externes qui président aux multiples étapes de leur production. Bien souvent, les données tiennent plus d’indicateurs culturels qu’elles ne décrivent une réalité. Pour les chercheuses, nous avons besoin de bien plus de théorie et de bien plus de contexte pour saisir les enjeux de pouvoir des données. Les chercheuses prennent l’exemple des travaux qu’a mené Desmond Patton (@DrDesmondPatton) du SafeLab afin d’utiliser l’IA pour comprendre le rapport à la violence des jeunes de Chicago. Mais pour mieux comprendre un jeu de données de tweets, il a utilisé certains de ces jeunes pour mieux classer les données. Il a ainsi remarqué que des tweets utilisant des termes agressifs, comme le terme « tuer » ne visait pas tant à menacer d’autres personnes qu’à faire souvent référence à des paroles de chansons et donc à partager des symboles culturels. Pour les deux chercheuses, cet exemple souligne combien il ne peut y avoir de sciences des données sans le nécessaire travail social qui en éclaire le sens et l’action.

Communiquer en contexte nécessite non pas de chercher à être neutre, mais à regarder ce que les données produisent effectivement, expliquent les chercheuses en montrant deux graphiques représentant exactement les mêmes données, le plus exact pouvant être taxé de partialité alors que le second, semblant plus neutre se révèle bien plus manipulateur et plus ouvert à une mauvaise interprétation. La justice nécessite aussi de reconnaître et nommer les formes d’oppression que ce soit le racisme, le sexisme, l’homophobie… pas de les neutraliser, expliquent-elles.

Rendre les méthodes plus robustes et conserver le contexte des données, tel est l’enjeu de Cuidando do Meu Bairro (Prendre soin de mon quartier), une initiative à destination des habitants de Sao Paulo qui vise justement à ajouter du contexte et des éclaircissements aux données locales. Heather Krause, fondatrice de Datassist et We all count (@datassist), un projet pour développer l’équité en data science, a développé nombre d’outils pour favoriser l’équité et notamment le concept de biographie des données, consistant à demander à leurs producteurs de répondre à des questions de base : « d’où vient le jeu de données ? Qui l’a collecté ? Quand ? Comment ? Pourquoi ? ». C’est exactement l’enjeu du « datasheets for datasets » développé par Timnit Gebru pour Microsoft (voir notre article Utiliser l’IA pour détecter ses propres biais ? »). Les guides d’utilisation de données sont une piste essentielle, insistent Klein et D’Ignazio ! Les deux chercheuses signalent ainsi l’exemple de Woman Stats initié par le géographe Chad Emmett (@emmett_chad) et la professeure de sciences politiques Valerie Hudson, une vaste base de données sur les violences faites aux femmes qui distingue des variables de pratiques et de droit selon les conditions juridiques des pays d’où proviennent les données. Une façon de souligner l’incomplétude de leurs données. Ainsi les statistiques sur le viol soulignent que les modalités d’enregistrements sont peu comparables d’un pays à l’autre.

Reste à savoir qui doit éclaircir les données. Bien souvent, les journalistes et les ONG font un bon travail de nettoyage et de contextualisation, pour autant qu’ils bénéficient de financements durables, d’expertises et de normes. Le problème, trop souvent, c’est que gérer les données nécessite de l’investissement au risque de garder durablement des ressources de qualité médiocres, voire dangereuses. Sans argent, la production de contexte risque de rester l’exception plus que la norme.

Rendre le travail visible

L’ultime principe du féminisme de données consiste à rendre le travail visible. Une étude sur Github, cette plateforme collaborative de travail sur le code source, montrait que les utilisatrices avaient moins de chances de voir leurs contributions acceptées si elles s’identifiaient comme femmes. Pourtant, en permettant de voir les contributions à chaque projet, Github a participé à changer le regard sur la réalité du travail du code, montrant combien il relève d’abord et avant tout d’une collaboration patiente. Mais contrairement à Github, la production de données et de visualisations s’inscrit dans de longues chaînes de collaborations qui tendent à écraser les contributions plutôt qu’à les mettre en avant. La formidable cartographie des navires qui naviguent à travers le monde est le résultat d’un long travail d’innombrables contributeurs. Comme l’explique Miriam Posner, les chaînes d’approvisionnements elles-mêmes, ont trop souvent intérêt à écraser et transformer les contributions. Et on constate la même chose dans le monde de la production de données.

La dénonciation des formes de travail invisibles est ancienne et s’est cristallisée longtemps sur le travail domestique non rémunéré des femmes. Elle s’est considérablement élargie depuis, notamment à celui des utilisateurs des plateformes. Reste que la science des données prospère largement sur cette invisibilisation en mobilisant largement des plateformes de crowdsourcing que ce soit pour étiqueter des films, des documents, corriger des fautes… comme l’ont montré nombre d’études sur la sous-classe mondiale de la modération, allant de Ghost Work (Mariner Books, 2019, non traduit) de Mary Gray et Siddharth Suri, à Derrière les écrans (La découverte, 2020) de Sarah T. Roberts en passant par En attendant les robots (Seuil, 2019) d’Antonio Casilli. Derrière les hiérarchies actuelles du travail des données se répètent d’anciennes hiérarchies technologiques fondées sur le sexe, la classe sociale et la race, explique Lilly Irani, comme celles de la première génération d’informaticiennes, ces Figures de l’ombre (Harper Collins France, 2017) qu’évoquait Margot Lee Shetterly. En 2008, d’ailleurs, Irani avait lancé le Turkopticon pour permettre aux utilisateurs du Mechanical Turk d’Amazon de signaler les conditions de travail que les commanditaires de la plateforme leur imposaient. Mais après 10 ans de service, le service, entièrement bénévole, a fermé sous l’épuisement. L’exploitation d’une main d’œuvre précaire trouve son origine bien sûr dans la longue histoire coloniale et esclavagiste, qui ne cesse de prolonger ce même schéma d’exploitation.

Pour répondre à ces invisibilisations, nous devons améliorer les études sur la production de données, estiment Klein et D’Ignazio, comme le propose Anatomy of an AI System de Kate Crawford  et Vladlan Joler. Montrer le travail invisible est un moyen de résister au storytelling de l’innovation dominante. Documenter qui y participe, comme y invite la Charte des droits des collaborateurs, également. Documenter ce travail permet également de montrer la quantité de travail physique nécessaire à la numérisation, comme l’a pointé la représentation visuelle du catalogage des livres pour la librairie du Congrès imaginé par Ben Schmidt. Enfin, bien sûr, c’est un moyen de valoriser également le travail de soin et le travail émotionnel à l’image du projet Atlas of Caregiving, visant à documenter le travail nécessaire autour de malades atteints de maladies chroniques afin d’en souligner sa complexité et sa pluralité.

Les déséquilibres du pouvoir sont partout dans les données… Ce n’est qu’en montrant toute la fragilité de chaque donnée que nous pourrons défier et relever leurs conséquences.

Réinventer notre rapport aux données et aux calculs

La force du livre de Klein et D’Ignazio consiste à nous confronter à nos propres impasses. Elles nous invitent à mettre à jour nos concepts, à renverser nos catégories de pensées et, pour y parvenir, à dépasser, renforcer et politiser plus avant nos exigences. Peut-être est-il plus que jamais nécessaire, comme elles nous y invitent, de modifier notre cadre de réflexion, de changer les concepts avec lesquels nous légitimons les évolutions des calculs… Les limites de l’ouverture et de la transparence dans les systèmes techniques sont dénoncées depuis longtemps. Peut-être que pour les dépasser, faut-il remiser et réinventer les concepts qu’on utilise, en tout cas les mettre à jour ! En nous invitant à passer de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu que Klein et D’Ignazio formulent nous invite à sortir de la recherche de solutions technologiques aux problèmes que pose la technologie. Ce n’est pas un petit pas de côté. En nous invitant notamment à dépasser les limites de l’ouverture des données ou du gouvernement ouvert, pour revenir au sens et à l’impact des données elles-mêmes, les deux chercheuses nous montrent une voie d’appropriation et de libération pour résister à l’impact des calculs et des bases de données.

Dans la conclusion de leur ouvrage, Klein et D’Ignazio nous invitent, à l’image des contestations qu’ont connu l’industrie de la technologie, notamment la grève chez Google de 2018 (le Google Walkout for real change), à « occuper en masse les infrastructures numériques », à ralentir les chaînes numériques, à canaliser les solidarités numériques vers les espaces physiques… De la Tech Workers Coalition aux plateformes comme Coworker.org ou aux organisations comme Tech Solidarity en passant par l’essor des coopératives technologiques aux manifestes comme ceux de Design Action Collective et bien sûr aux communautés de pratiques elles aussi revendicatrices comme le réseau Design Justice, Data for Black Lives (@data4blacklives) ou l’Algorithmic Justice League… sont autant de formes de mobilisation qui visent à faire des données un outil de changement social profond plutôt qu’une arme d’oppression au service du pouvoir financier (voir notre article « Vers un renouveau militant des questions technologiques ?).

La science des données doit désormais dépasser ses présupposés premiers, à savoir ses méthodes uniquement quantitatives reposant sur la seule puissance des données, la force brute des traitements automatisés, sa fausse neutralité, son ouverture sans enjeu… Le féminisme des données ne vise pas à produire de la technologie pour elle-même, mais au contraire, à en libérer les acteurs. Utiliser les données pour mettre fin à l’oppression est un objectif bien plus stimulant que les utiliser pour la perpétuer.

Hubert Guillaud

Article originellement publié sur InternetActu.net le 27 septembre 2021.

« La science est un puissant outil politique ». Pourtant, si nous avons appris quelque chose de ces deux années de pandémie, c’est certainement combien elle n’est pas neutre. Combien elle n’est pas à même de régler les désaccords publics… explique le spécialiste de la gestion de risque à la New Mexico Tech Taylor Dotson (@dots_t) dans un lumineux extrait de son livre The Divide : how fanatical certitude is destroying democracy (Le clivage : comment la certitude fanatique détruit la démocratie, MIT Press, 2021, non traduit).

La science est souvent présentée comme pure, exempte de valeurs. De prime abord, la méthode scientifique semble à l’opposé la méthode politique. « La première présente les faits pour se demander quelle conclusion en tirer, quand la seconde présente ses conclusions pour chercher les faits capables de la soutenir ». Dans le rapport entre les deux, le problème à résoudre semble relativement simple : il y a souvent trop de politique et pas assez de science ! Mais c’est encore croire que la science serait quelque chose d’intrinsèquement pur, uniquement corrompue par des forces qui lui sont extérieures. Pour le spécialiste des rapports science-société, Daniel Sarewitz, la science a toujours été façonnée par la société. Archimède, ce scientifique modèle, a surtout fabriqué des machines de guerre, tout comme aujourd’hui la science est largement orientée par les entreprises. Reconnaître ces influences ne signifie pas que tout financement corrompt, mais que de puissants groupes d’intérêts économiques et politiques orientent effectivement la recherche. La science est orientée d’intérêts. La recherche est traditionnellement masculine et bien plus à destination des populations aisées, blanches et âgées qu’autre chose. On dépense bien plus pour les dysfonctionnements érectiles que pour les maladies tropicales. « Les valeurs façonnent la science à presque tous les stades, qu’il s’agisse de décider des phénomènes à étudier ou de choisir comment les étudier et en parler ».

« Qualifier un produit chimique de « perturbateur endocrinien » plutôt que d' »agent hormonal actif » met en évidence son potentiel de nuisance. Les scientifiques font chaque jour des choix chargés de valeurs en ce qui concerne leur terminologie, leurs questions de recherche, leurs hypothèses et leurs méthodes expérimentales, qui peuvent souvent avoir des conséquences politiques. Partout où les spécialistes des sciences sociales ont regardé de près, ils ont trouvé des éléments de politique dans la conduite de la science. Tant et si bien qu’il n’est pas simple de discerner précisément et exactement où finit la science et où commence la politique.

Certaines recherches deviennent problématiques quand d’autres ne sont toujours pas remises en question (comme les partis-pris en faveur de de l’industrie de l’armement que dénonçait brillamment le journaliste Romaric Godin de Mediapart en soulignant combien ce secteur particulièrement aidé ne produisait que très peu d’effets d’entraînement industriel ou de ruissellement d’innovation…). Le fait de considérer la science comme pure jusqu’à ce qu’elle soit politisée de l’extérieur empêche donc un débat plus large sur la question suivante : « Quels types d’influences politiques sur la science sont appropriés et quand ? »

« Améliorer la capacité des femmes et des minorités à devenir des scientifiques ou orienter la science vers des objectifs plus pacifiques ou plus satisfaisants pour la vie est politique dans un sens différent de celui qui consiste à occulter intentionnellement les effets nocifs du tabagisme », explique Taylor Dotson. Reste que pour faire ces distinctions, il serait nécessaire d’arrêter de croire au mythe d’une science apolitique – et en la croyance que la politique pourrait être basée sur LA science. Là encore, l’un des problèmes c’est certainement de croire qu’il n’y en a qu’une ! La pandémie nous a pourtant pleinement montré que la vérité de l’épidémiologie n’était pas là même selon les spécialités médicales d’où on la regardait. Pour beaucoup, il suffirait pourtant de placer des experts à la tête des décisions politiques pour éclaircir les influences que la science subit et mieux révéler une vérité qui serait, elle, impartiale. Mais, explique Taylor Dotson, « la scientisation de la politique repose sur la même hypothèse que les attaques contre la politisation explicite de la science ». Bien souvent, elle vise à dépolitiser les questions publiques qui posent problème.

Pourtant, rappelle-t-il, nous croulons sous les études scientifiques mal menées, mal conçues, aux résultats peu reproductibles ou peu fiables… Une politique guidée par la preuve scientifique ne nous garantit pas vraiment qu’elle soit guidée par la réalité. En fait, on peut largement douter que la science puisse fournir une base solide et indiscutable à l’élaboration des politiques. Reste, souligne Dotson, même si les valeurs et la politique jouent un rôle dans la recherche, la science doit rester un moyen dominant de régler les questions publiques. « Il ne fait aucun doute qu’il est préférable d’avoir recours à certaines recherches scientifiques pour décider d’une question complexe plutôt que de ne pas en avoir du tout. De plus, même si les résultats scientifiques sont parfois biaisés ou même complètement faux, les institutions scientifiques valorisent au moins le fait d’essayer d’améliorer la qualité des connaissances. »

La science s’établit progressivement, par l’accumulation de preuves et de démonstrations qui vont dans le même sens. Mais l’expertise doit toujours pouvoir être balancée et contre-balancée. Et dans ce domaine, rappelle très justement Dotson, la scientisation des controverses publiques empêche souvent de reconnaître que les personnes qui ne sont pas scientifiques ont d’importantes contributions à apporter. À Flint, dans le Michigan, les scientifiques n’ont pas porté beaucoup d’attention aux plaintes des habitants qui signalaient d’importants problèmes de santé jusqu’à ce que les études soulignent qu’ils avaient raison.

Dans la science, les controverses sont nombreuses. Bien souvent, elles sont politiques. Les écologistes sont plus critiques à l’égard des cultures génétiquement modifiées que ceux qui travaillent dans le secteur de la transformation des organismes. Aucun groupe d’experts ne peut donner une analyse complète et juste d’un problème, soutient Dotson. Dans Uncertain Hazards (Cornell University Press, 2001, non traduit), Silvia Noble Tesh explique qu’il est souvent très difficile, voire impossible, de prouver qu’une substance a des effets néfastes sur le corps humain. Les tests sont réalisés sur des animaux pour des raisons éthiques et leurs réactions sont très différentes de celles des humains. La thalidomide par exemple, qui même en quantités infimes produit des malformations congénitales chez l’homme, n’affecte les chiens qu’à fortes doses. De même, il est difficile d’obtenir une mesure précise d’une quantité de toxine à laquelle des gens peuvent être exposés et trop de facteurs favorisent des confusions (tabagisme, autres substances toxiques…) d’autant que les populations exposées tiennent de petits groupes… L’examen approfondi de cas litigieux révèle souvent des perspectives contradictoires plus que des convergences d’opinions. Daniel Sarewitz estime que dans de nombreux cas la science aggrave les controverses plus qu’elle ne les résout, notamment parce que la politique attend des certitudes, quand la science produit surtout de nouvelles questions. La science avance souvent en produisant de nouvelles incertitudes et de nouvelles complexités. On pourrait ajouter aussi qu’elle produit souvent des tendances, plus que nécessairement des certitudes.

En fait, l’un des problèmes de la science est d’introduire ses propres biais. Dans Seeds, Science and Struggle (MIT Press, 2012, non traduit), « la sociologue des sciences Abby Kinchy (@abbykinchy) a constaté que le fait de privilégier les évaluations fondées sur des faits tend à écarter les préoccupations non scientifiques. La controverse sur les cultures génétiquement modifiées est souvent réduite à la seule probabilité d’un dommage évident pour l’environnement ou le corps humain. Pour de nombreux opposants, cependant, les conséquences les plus inquiétantes des cultures OGM sont d’ordre économique, culturel et éthique », et notamment sur les cultures non transgéniques. Pour que le débat reste ancré dans la science, il exclut très souvent ce qui n’en relève pas. Ainsi dans notre réponse scientifique à la pandémie, les considérations médicales se sont faites au détriment de toutes autres considérations, notamment celles liées aux libertés publiques. De même, les débats sur le génie génétique oublient les préoccupations socio-économiques qui vont à l’encontre d’une vision industrielle de l’agriculture. De même, dans le débat sur les voitures sans conducteur, on oublie d’observer si l’avenir de nos déplacements ne bénéficierait pas bien mieux d’un monde de transports en commun…

« La politique scientifique privilégie les dimensions de la vie qui sont facilement quantifiables et rend moins visibles celles qui ne le sont pas ». Les débats scientifiques sont également biaisés quant à la charge de la preuve. Les lobbies d’entreprises exigent que les réglementations les affectant soient prouvées par une science solide, mais cela signifie qu’aucune réglementation stricte ne peut être élaborée tant qu’un préjudice n’est pas démontré de manière concluante – et ce sans compter que les camps n’ont pas toujours le même rapport de force pour élaborer ces preuves. Enfin, les scientifiques peinent souvent à fournir des réponses fermes, notamment face à des phénomènes complexes, comme c’est le cas en médecine ou dans les sciences de l’environnement. Les appels à une science solide finissent par être une tactique dilatoire qui donne un avantage aux produits industriels, et ce malgré leurs risques… Ainsi, « les scientifiques ont appris dans les années 1930 que le bisphénol A, un composant de nombreux plastiques, imitait les œstrogènes dans les cellules des mammifères, mais ce n’est qu’en 1988 que l’Agence américaine de protection de l’environnement a commencé à réglementer l’utilisation du bisphénol A et ce n’est qu’en 2016 que les fabricants ont finalement été contraints de le retirer de leurs produits. » Dans ce cas, pendant des années, les partisans du bisphénol ont fait passer leurs adversaires plus prudents pour des antiscientifiques au prétexte que les faits (c’est-à-dire l’absence de preuve concluante) n’étaient pas établis. Trop souvent finalement « l’absence de preuve est considérée comme une preuve de l’absence ».

Pourtant, chacun semble de plus en plus agir comme si la science pouvait être apolitique, alors qu’actions et discours qui résultent de cette croyance relèvent bien plus du fanatisme que du scientisme. « Dans une culture dominée par le scientisme politique, les citoyens et les responsables politiques oublient comment écouter, débattre et explorer les possibilités de compromis ou de concession les uns avec les autres. Au lieu de cela, nous en venons à croire que nos opposants n’ont qu’à être informés des faits ou vérités « corrects », sévèrement sanctionnés ou simplement ignorés. Il existe sans doute des cas où le fanatisme peut être justifié, mais le scientisme politique risque de transformer tout débat comportant un élément factuel en un débat fanatique. »

Les risques d’une politique factuelle

Dans un long article pour disponible sur The New Atlantis, Taylor Dotson rappelle que pour le philosophe Karl Popper déjà, dans La société ouverte et ses ennemis, la menace à laquelle sont confrontés nos sociétés démocratiques et ouvertes, n’est pas la désinformation ou l’ignorance, mais la certitude. Pour Popper, la connaissance scientifique est par nature provisoire. L’objectivité scientifique ne découle pas tant des qualités cognitives ou de la neutralité des chercheurs, mais de leur engagement critique vis-à-vis de leurs travaux respectifs, dans une forme de dissidence productive. Les ennemis de ce système sont ceux qui insistent d’abord et avant tout sur une certitude parfaite. « La conviction que la désinformation est aujourd’hui la principale menace pour la démocratie nous rend aveugles aux effets pernicieux de la certitude ». Popper promouvait une défense épistémologique de la démocratie, c’est-à-dire l’idée que la démocratie comprend en elle même un ensemble de stratégies pour aider les sociétés à faire face à l’incertitude. Elle met l’accent sur le caractère provisoire des vérités politiques. La politique est le résultat d’un processus de négociation dans lequel les individus se défient les uns les autres, et pas la décision liée à une compréhension supérieure d’une classe d’experts. Popper n’avait pas imaginé que la certitude fanatique descendrait jusqu’aux individus.

Internet permet de choisir son propre chemin de découverte. L’expérience que l’individu y fait lui semble libre, même si les messages, informations et recherches peuvent être sélectionnés par des algorithmes ou présentés de manière partiale. Les médias sociaux promettent une forme de liberté intellectuelle, suggérant que nous pouvons nous débrouiller seuls dans le dédale de l’information. Le scientisme est une théorie simple de l’expertise qui consiste à déléguer les questions spécifiques et techniques aux experts. Le problème, c’est que le scientisme refuse aux non-experts tout rôle dans les réponses spécifiques. Les non-experts se doivent d’écouter la science, comme si les compromis politiques qu’elle produisait n’étaient pas de leur ressort ni problématiques. Depuis que l’expression post-vérité est entrée dans notre vocabulaire, les inquiétudes liées au conspirationnisme ont explosé. Reste que la désinformation et la mésinformation ne s’y réduisent pas. D’abord parce que les conspirations existent et surtout parce que nous sommes en droit d’interroger et critiquer. Bien sûr, le conspirationnisme réduit toutes les questions politiques à des machinations, dans une forme de théorie cynique de l’expertise, où les experts ne servent que les nantis et les puissants.

Conspirationnisme comme scientisme sont tous deux préoccupés par la certitude, estime Taylor Dotson, qui les renvoie dos à dos. Les deux séduisent nos sociétés ouvertes et incertaines en promettant un monde plus simplement ordonné. D’un côté en rejetant les expertises, de l’autre en les adoubant. Pour Dotson, nous devons résister à la tentation de les mettre sur le compte de la personnalité des gens, de leur état mental ou même des médias sociaux. Car les deux tirent leur pouvoir de séduction de la préoccupation de notre culture pour les faits et les données. L’un comme l’autre produit une « politique factuelle », où les citoyens ne débattent plus, ne délibèrent plus, mais consacrent leur énergie à aligner les preuves pour étayer leurs croyances et intérêts. Ils construisent des formes d’intolérance excessives qui sont pour l’un comme l’autre camp, indiscutablement rationnelles et objectives. « Cette politique est pathologiquement pathologisante – c’est-à-dire qu’elle vise à disqualifier les opposants en les diagnostiquant comme pathologiques » Le risque est de transformer tout désaccord en maladie psychique et à en immuniser celui qui fournit le diagnostic. Pire, cela suggère que la seule raison de participer à la politique est d’avoir des opinions fondées sur des preuves. Certes, les preuves et les faits ont une grande importance, mais les valeurs en ont tout autant. Le risque, en masquant nos oppositions sur les valeurs, est de miner nos capacités à délibérer, et finalement à dépolitiser nos désaccords, à leur enlever leur complexité morale et pratique. « Dès lors que nous considérons que la politique est définie uniquement par « les faits », la politique n’existe plus », rappelle Dotson. « La démocratie fonctionne traditionnellement par le biais de la fracturation et de la reformation constantes de coalitions, d’alliances composées de groupes disparates cherchant chacun à transformer leurs propres aspirations en lois. Elle dépend des ennemis précédents qui s’associent et négocient pour conclure des accords, pour atteindre des objectifs communs ». Mais si l’opposition politique n’est considérée que comme le produit de la désinformation ou de l’analphabétisme scientifique, tout compromis devient impossible, irrationnel, puisqu’il consiste à sacrifier la vérité. « Nous nous sommes profondément trompés en croyant que l’ère de la post-vérité pouvait être combattue en redoublant d’efforts en faveur de la science », estime Dotson. Au contraire, le scientisme rend plus difficile l’enjeu à réconcilier des positions antagonistes et qui deviennent méfiantes l’une envers l’autre. La politique factuelle attise le conspirationnisme. « En se retranchant à tout bout de champ derrière le principe « suivre la science », nos dirigeants ont réduit les gens à des vecteurs de propagation de la maladie, à des points de données à contrôler, tout en affichant une attitude indifférente à l’égard de leurs réalités vécues ». Ce « leadership » rend assurément les personnes sceptiques, explique Dotson en se référant à une étude qui s’intéresse à l’impact du leadership sur les croyances conspirationnistes de leurs employés. Les leaderships despotiques – « où les employés se sentent dominés, contrôlés et marginalisés » – nourrissent les craintes. Là où les leaders sont despotiques, les employés sont plus susceptibles de croire que leurs managers sont ligués contre eux. En minimisant le caractère faillible des avis d’experts et la nature provisoire des connaissances, en minimisant le doute, le scientisme alimente le conspirationnisme. Lorsque les erreurs et changements d’avis des experts ne sont pas ouvertement discutés, l’intention malveillante devient souvent la seule explication. La politique factuelle oublie de tenir compte de l’essence même de la politique : à savoir des visions morales différentes, l’évaluation et la recherche de compromis constants. Le scientisme comme le complotisme promettent un monde où la politique serait pure. Tous deux produisent une société fermée aux désaccords politiques.

Pour Dotson, la politique devrait se préoccuper bien plus de connexion que de savoir. Pour l’historienne Sofia Rosenfeld, « ce dont les individus ont besoin, c’est du retour à un type de vie publique qui les oblige à peser et à considérer constamment les choses du point de vue des autres » – or, à tout voir par les données, le risque est de n’embrasser aucun point de vue, comme nous le disaient Lauren Klein et Catherine D’Ignazio. Pour le politiste Benjamin Barber, le discours démocratique fort incorpore « l’écoute aussi bien que la parole, le sentiment aussi bien que la pensée, et l’action aussi bien que la réflexion » Le désaccord est inéluctable. La politique est un processus d’apprentissage qui doit accepter ses incertitudes. « Les experts de la santé n’auraient pas dû décourager aussi vigoureusement le port de masques au début de la pandémie, surtout pas en affirmant avec une confiance aussi mal placée qu’il n’y avait aucune preuve que les masques fonctionnaient. Au lieu de cela, ils auraient dû faire part de leurs préoccupations concernant la pénurie de masques et de leur incertitude quant à l’utilité exacte des masques en dehors d’un hôpital ». Pour Dotson, le déploiement du vaccin restera entravé tant que les experts et les responsables nieront leurs incertitudes les concernant. Les accidents nucléaires du milieu du XXe siècle sont en partie imputables aux faits que les centrales aient été déployées plus rapidement que la reconnaissance de leurs dangers potentiels. Boeing a poussé ses ingénieurs à travailler deux fois plus vite qu’à l’accoutumée pour mettre au point la conception du 737 Max compromettant sa stabilité. L’adoption généralisée de techniques agricoles intensives a généré des problèmes environnementaux imprévus. « La nouveauté, le rythme et l’échelle se combinent pour mettre à l’épreuve la capacité des organisations, même les meilleures, à reconnaître et à corriger les erreurs. »

Dans Dealing with an Angry Public (Free Press, 1996, non traduit), Lawrence Susskind et Patrick Field soulignaient que les colères des publics sont alimentées lorsqu’elles sont minimisées ou sous-estimées. Lorsque les erreurs se produisent – et elles se produisent -, la confiance est bien souvent irrévocablement perdue. « Tant que les experts et les politiques tenteront de forcer le consensus en faisant appel à la science, les préoccupations des citoyens ne feront que croître ». Et Dotson de rappeler, à la suite du livre de l’historienne Nadja Durbach Bodily Matters (2004) que le mouvement de résistance nourri contre la vaccination antivariolique en Angleterre au XIXe et début du XXe siècle a été apaisé en introduisant l’objection de conscience. Pour Dotson, nous devrions apprendre des désaccords et leur laisser de l’espace. Être d’accord est plus la fin de la politique plus que son début, et même ainsi, être d’accord est souvent partiel, provisoire et contingent. Pour lui, en abandonnant l’idée que le consensus doit précéder la politique, nous pouvons promouvoir une gouvernance plus réactive, qui aspire à gagner la confiance progressivement en testant de nouvelles politiques.

Partir de l’expérience des gens pour les amener à considérer les points de vue différents et à créer des liens, fonctionne mieux qu’une approche basée sur les faits ou l’information. Enfin, il souligne qu’il est plus que nécessaire de s’intéresser sérieusement aux expériences de ceux qui hésitent à se faire vacciner. Les Afro-Américains par exemple, sont plus sceptiques à l’égard des vaccins alors qu’ils ont été plus touchés par le virus. Mais leur hésitation est le fruit d’une longue méfiance à l’égard du système médical, lié aux injustices raciales historiques et aux disparités de traitement actuelles, bien plus qu’à leur analphabétisme scientifique ! Le scepticisme vaccinal des personnels de santé s’explique bien plus par le fait qu’ils aient travaillé pendant des mois sans protection efficace et que le système, finalement, ne fait pas de leur bien-être une priorité. « Si notre politique avait été ancrée dans l’appréciation de l’expérience plutôt que dans l’idolâtrie de l’expertise, nous aurions depuis longtemps reconnu que l’hésitation à se faire vacciner n’est pas seulement une question d’ignorance. Nous aurions remarqué les dysfonctionnements plus profonds de notre système médical. »

Enfin, estime Dotson, nous devons ouvrir nos débats à une diversité de considérations morales plutôt que de ne regarder que les modèles épidémiologiques.

Dotson ne semble pas confiant. Remettre l’incertitude, l’expérience et le désaccord moral en politique nécessite un long chemin. Nos dirigeants préfèrent maintenir le cap d’une politique factuelle. Pour résoudre ces difficultés, Helene Landmore propose de transférer davantage de gouvernance à des conseils délibératifs… comme l’a été, en France, la convention citoyenne pour le climat. Encore faut-il entendre ce que ces conventions disent ! Pour Dotson, nous devons trouver la voie d’une démocratie qui cherche moins à avoir raison et qui recherche un peu plus la délibération et l’interconnexion.

Pas sûr que nous en prenions le chemin. Dans un monde où la donnée devient centrale, celle-ci risque de produire beaucoup d’illusion du consensus que d’antagonismes et de diversité.

Hubert Guillaud