Reader TTS

Les mathématiques dévorent le monde réel : comment reprendre le contrôle des modèles qui, à grande échelle, produisent de l’inégalité ? Pierre Guyot Publié le 04 mars 2019 La deuxième partie

de la décennie 2010 voit l’algorithme (re)devenir un objet d’attention de premier ordre, atteignant presque simultanément les champs académique, éditorial et médiatique. De manière presque

concomitante, en France, la « question des algorithmes » est ainsi à la fois posée par la sociologie du numérique et par la presse grand public, entre une historiographie du salafisme et des

conseils pour « libérer son cerveau ». À peine objet d’étude et déjà sujet de société, l’algorithme est à la foi symbole tout trouvé d’une mutation sociale et creuset de toute une série de

représentations culturelles, qu’elles soient fictives ou prospectives. L’ALGORITHME ET SON ACTION SUR LE RÉEL Resituer l’algorithme à travers sa capacité d’action, nouvelle et souvent

nuisible, sur le réel : c’est là le premier mérite de l’ouvrage de Cathy O’Neil, docteure en mathématique d’Harvard devenue _data scientist _dans une start-up new-yorkaise, blogueuse

reconnue sur le sujet et active dans le mouvement citoyen Occupy Wall Street. Le discours est donc celui d’une praticienne… Et d’une praticienne repentie : Cathy O’Neil est une ancienne « 

_quant_ », analyste quantitative, qui a travaillé dans un fonds d’investissement spéculatif, et ce en pleine crise financière. C’est à partir de cette expérience qu’elle a pris conscience du

rôle néfaste des modèles mathématiques prédictifs, lorsque la société place en eux une confiance démesurée. Cathy O’Neil a tôt fait d’établir un parallèle entre la foudroyante crise du

crédit et la « croissante dystopie » algorithmique, qui voit le Big Data régenter l’ensemble des domaines principaux socio-politiques (l’éducation, l’accès au logement et au crédit,

l’emploi, les politiques sécuritaires, la justice). Leurs points communs : les WMD, pour _Weapons of Math Destruction_, armes de destruction mathématique, un jeu de mot sur les _Weapons of

Mass Destruction_, armes de destruction massive. Les WMD sont basés sur des « modèles », qui analysent des comportements, calculent des probabilités et enfin ciblent, optimisent, trient.

Dans les Big Data, tout découle du modèle que l’on se choisit et tout découle de choix : choix des paramètres, choix des données, choix de ce que l’on qualifie comme succès. Et, là est tout

le discours de Cathy O’Neil : ces modèles, loin d’être neutres, sont simplement des « opinions traduites en mathématiques ». Cela aboutit à ces WMD, qui « s’assurent que les prétendus

perdants de la société restent les perdants de la société », une grande machine à inégalité construite par des modèles opaques, opérant à grande échelle, nuisibles. Les exemples, nombreux,

sont extrêmement démonstratifs : le_ stop-and-frisk_ new-yorkais et autres politiques sécuritaires préventives basées sur la discrimination des minorités ethniques ou sociales, l’évaluation

statistiquement absurde des professeurs, les conséquences sociales imprévisibles du classement des universités américaines d’U.S. News, les logiciels de recrutement eux aussi discriminants

utilisés par les grandes entreprises, etc. > Des industries entières reposent sur ces modèles algorithmiques, > maintenant leurs proies dans un cercle infini de vulnérabilité Des

industries entières reposent sur ces modèles maintenant leurs proies dans un cercle infini de vulnérabilité. C’est le cas des redoutables prêts sur salaire (les _payday loans_, sortes

d’avances sur salaire, prêts à très court terme, garantis par des sociétés de crédit) ou de l’éducation à but lucratif, ces lycées et universités _for-profit_, dont le volume de recrutement,

grâce aux « modèles », a triplé entre 2004 et 2014 (plus de 10 % des élèves nord-américains étudient aujourd’hui dans ce type d’établissement). LE DATA SCIENTIST ET LE POLITIQUE _Weapons of

math destruction_ est donc à la fois le récit d’une désillusion, une analyse fouillée de l’entrée dans le réel des algorithmes et enfin, quoique moins approfondi, un plaidoyer pour le

changement. Cathy O’Neil en appelle en effet à une éthique des algorithmes, un défi dont l’importance est comparée à l’établissement des standards sociaux en réaction aux exploitations

nouvelles induites par la deuxième révolution industrielle. Sur la question de la méthode, c’est un autre parallèle qui est fait : celui avec la crise financière de 2007, une nouvelle fois

évoquée, et à l’auto-discipline du Manifeste des modélisateurs financiers, rédigé pour moraliser la profession, dès 2008. Malgré son ancienneté, l’existence même du champ de l’_engineering

ethics_ (l’éthique de l’ingénierie) ne va pas de soi : la sociologue Christelle Didier l’écrivait encore en 2010, quand elle appelait les ingénieurs, qu’elle définit comme les personnes

capables de transformer une idée ou un algorithme en une chose visible, à, enfin, « prendre leur part » dans les questions éthiques liées à ces choses visibles qu’ils participent à

concevoir. La question se pose tout particulièrement ici, et l’équivalent d’un serment d’Hippocrate pourrait être prêté par les _data scientists_, nous dit Cathy O’Neil. Celui-ci se

concentrerait sur les possibles mauvais usages et détournements d’interprétations faits de leurs modèles mathématiques. > C’est à l’homme d’embarquer de meilleurs valeurs dans les > 

algorithmes, en créant des modèles qui suivent nos principes > éthiques Puisque les processus prédictifs des _big data_, en codifiant — c’est-à-dire, en répétant — le passé, n’inventent

pas un « nouveau » réel (c’est l’idée qu’ils nous enferment dans une « bulle de filtres », concept théorisé dès 2011), c’est à l’homme d’« explicitement embarquer de meilleurs valeurs dans

nos algorithmes, en créant des modèles _big data_ qui suivent nos principes éthiques ». AUDITER NOS ALGORITHMES D’autres auteurs insistent sur la mise en place de régulations

gouvernementales et sur la nécessaire transparence des grandes entreprises : c’est aussi le cas de Cathy O’Neil. La régulation devrait renforcer le droit du consommateur (le droit de savoir,

par exemple, lorsqu’un _credit score_ ou un e-score est utilisé pour le juger), prévoir de nouvelles politiques anti-discrimination (punir les entreprises qui refuseraient d’employer un

candidat dont l’analyse du génome rendue possible par la médecine prédictive montre qu’elle a un fort risque du cancer du sein) ou, suivant le perfectible modèle européen, assurer l’opt-in,

c’est-à-dire le consentement a priori de l’utilisation de ses données personnelles. Mais c’est surtout l’audit algorithmique qui est présenté comme une solution « vitale ». Celui-ci

s’affirme déjà comme un nouveau champ de recherche, investi par plusieurs laboratoires américains (Princeton, Carnegie Mellon, la NYU ou le MIT) … et auquel les grandes entreprises

s’associent, comme récemment Google et Microsoft dans un atelier dédié aux questions de justice, de responsabilité et de transparence dans le machine learning — une manière, aussi, de mieux

connaître (et optimiser) leurs propres algorithmes ? Si un intérêt à éliminer des biais est bel et bien exprimé par les mastodontes du numérique, nous apprend Cathy O’Neil, celui-ci est

borné par le refus marqué de la transparence. L’ouvrage s’affirme finalement aussi comme un diagnostic de l’impuissance algorithmique. « Oubliez, pour la ou les deux prochaines décennies, la

construction d’outils qui pourraient mesurer l’efficacité d’un professeur », nous dit par exemple Cathy O’Neil : audits et études d’impact des modèles mathématiques qui nous gouvernent

aujourd’hui aboutiraient inévitablement à prendre la mesure de l’invraisemblable simplification d’un réel trop complexe pour être réductible à un flux d’informations intelligible. Un

contre-pied déjà classique à la théorie qui sous-tend ce que nous pensons être une « société de l’information », la théorie cybernétique, selon laquelle on peut approcher le réel non plus

via les structures, mais, exclusivement, par les comportements. Tout n’est pas « algorithmisable », certes, mais une politisation de la question algorithmique est souhaitable, pour que

ceux-ci, maîtrisés, personnalisés, contrôlés par les utilisateurs et transparents, participent à régénérer la démocratie. Une politisation qui peut passer par des choix non-intuitifs : pour

lutter contre les biais du _machine learning_ qui renforcent les discriminations existantes, il faudrait ainsi faire entrer dans le jeu des données sensibles, qu’on aurait a priori plutôt

envie de cacher. Par exemple : utiliser des statistiques ethniques pour prouver quantitativement que l’algorithme utilisé par les organismes prêteurs repose sur une discrimination raciale.

L’idée, en tout cas, est de faire des choix : de créer de nouvelles boucles de rétroaction et de nouveaux biais, cette fois positifs.