La discrimination par proxy est l'éléphant dans la pièce de l'industrie de l'IA, et c'est d'une simplicité choquante : les systèmes d'apprentissage automatique découvrent des motifs dans les données qui sont en corrélation avec des caractéristiques protégées comme la race, l'âge, le sexe ou le statut socio-économique puis utilisent ces motifs pour prendre des décisions, discriminant effectivement sans jamais considérer explicitement la caractéristique protégée elle-même. Une IA n'a pas besoin de connaître la race de quelqu'un si elle connaît son code postal, ses habitudes d'achat et ses schémas de discours. L'algorithme trouve les raccourcis, les proxys, et les exploite sans pitié. Voici comment cela fonctionne en pratique. Entraînez une IA sur des données historiques de criminalité pour prédire les infractions futures, et elle apprendra absolument que certains quartiers, certains noms, certains schémas de mouvement sont en corrélation avec des arrestations. Mais les arrestations ne sont pas des crimes ce sont des schémas de maintien de l'ordre, façonnés par des décennies d'application discriminatoire. L'IA apprend le biais intégré dans les données, puis l'amplifie. Une étude de 2019 publiée dans Science Advances a révélé que les systèmes d'analyse faciale commerciale avaient des taux d'erreur allant jusqu'à 34,7% pour les femmes à la peau plus foncée par rapport à 0,8% pour les hommes à la peau plus claire. Les algorithmes n'ont pas été explicitement formés pour être racistes, ils ont juste appris à partir de jeux de données biaisés où la peau plus claire était surreprésentée et mieux éclairée. L'enthousiasme du Royaume-Uni pour la surveillance des crimes à l'arme blanche alimentée par l'IA se précipite vers ce désastre exact. Plusieurs forces de police ont déployé ou testé des systèmes qui prétendent identifier les porteurs potentiels de couteaux grâce à l'analyse CCTV, à la reconnaissance de démarche et au jumelage de motifs comportementaux. Le Metropolitan Police Service a expérimenté l'analyse prédictive pour les violences graves. La South Wales Police a mené des essais de reconnaissance faciale. La logique semble attrayante : utiliser l'IA pour repérer les comportements suspects, prédire les points chauds, identifier les individus susceptibles de porter des armes. La réalité est un racisme mathématique à grande échelle. Ces systèmes apprennent inévitablement des proxys pour la race, la classe et l'âge parce que ces caractéristiques sont en corrélation avec qui est arrêté, fouillé et arrêté sous les pratiques policières actuelles. Les jeunes hommes noirs à Londres sont statistiquement plus susceptibles d'être arrêtés et fouillés non pas parce qu'ils commettent plus de crimes à l'arme blanche, mais parce qu'ils sont ciblés plus agressivement. Fournissez ces données à une IA, et elle apprend : signalez les jeunes hommes noirs. L'algorithme ne comprend pas le racisme systémique ou le biais policier. Il ne voit que des motifs et optimise. Une recherche de l'Ada Lovelace Institute en 2022 a révélé que les outils de police prédictive au Royaume-Uni surpoliciaient systématiquement les zones avec des proportions plus élevées de minorités ethniques, créant des boucles de rétroaction où les prédictions biaisées ont conduit à une application biaisée, générant des données biaisées, renforçant les prédictions biaisées. Le problème technique est insidieux car les proxys sont souvent des caractéristiques prédictives légitimes isolément. Le style vestimentaire, l'heure de la journée, l'emplacement, les modèles de mouvement ces choses-là sont en corrélation avec divers comportements. Mais combinés, ils créent des résultats discriminatoires parce qu'ils remplacent des caractéristiques protégées. Une IA pourrait apprendre que les personnes portant certaines marques de vêtements dans certains quartiers à certaines heures valent la peine d'être signalées. Ce n'est pas explicitement raciste, mais le motif qu'elle a appris s'aligne presque parfaitement sur la race et la classe. Supprimez un proxy, et l'algorithme en trouve un autre. Des chercheurs du MIT ont découvert que même lorsque la race était explicitement exclue des algorithmes de justice pénale, les systèmes reconstruisaient le biais racial via des proxys comme les codes postaux, les prénoms et les contacts antérieurs avec la police. Maintenant, voici où cela devient inconfortable : que se passerait-il si de nouvelles données montraient une augmentation des crimes à l'arme blanche parmi les jeunes hommes blancs, et que l'IA commençait à les cibler à la place ? Serait-ce toujours raciste ? Absolument oui et c'est le point critique qui expose pourquoi ces systèmes sont fondamentalement défectueux. La loi sur la discrimination protège toutes les races, pas seulement les minorités. Si un système d'IA commençait à flagrant délit les jeunes hommes blancs sur la base de motifs démographiques plutôt que de comportements individuels, ce serait une discrimination par proxy classique, juste dans une direction différente. L'Equality Act 2010 au Royaume-Uni protège explicitement contre la discrimination fondée sur la race (y compris les blancs), l'âge et le sexe. Un système qui traite n'importe quel groupe racial ou d'âge comme intrinsèquement suspect viole ces protections, quel que soit le groupe ciblé. Mais la question plus profonde est qu'un tel système apprendrait toujours à partir de motifs d'application biaisés, pas à partir des taux de criminalité sous-jacents. Si la police commençait soudainement à arrêter et fouiller agressivement les jeunes hommes blancs dans les quartiers aisés, les données d'arrestation augmenteraient, l'IA apprendrait le motif, et la boucle de rétroaction commencerait juste avec un groupe démographique différent. Le défaut fondamental n'est pas quel groupe est ciblé ; c'est que le système confond l'activité policière avec l'activité criminelle. Le crime se produit partout. Le maintien de l'ordre est sélectif. Toute IA formée sur des données de maintien de l'ordre sélectif apprendra à être sélectivement discriminatoire. Que ce soit contre les jeunes hommes noirs à Brixton ou les jeunes hommes blancs à Cornwall, elle utilise toujours des proxys démographiques au lieu de preuves individualisées, et c'est illégal en vertu de la loi britannique. Le rêve de surveillance s'effondre en temps réel. En 2023, le Bureau du Commissaire à l'information du Royaume-Uni et la Commission pour l'égalité et les droits de l'homme ont conjointement averti que de nombreux systèmes d'IA déployés par les forces de police violaient probablement les lois sur la protection des données et l'égalité. Amsterdam a interdit la reconnaissance faciale dans les espaces publics après avoir conclu que les risques de discrimination étaient ingérables. San Francisco, Boston, et Portland ont totalement interdit l'utilisation gouvernementale de la reconnaissance faciale. Ce ne sont pas des décisions anti-technologie ce sont des admissions que la technologie ne fonctionne fondamentalement pas sans intégrer et amplifier les inégalités existantes. Le problème fondamental est le suivant : les systèmes d'IA sont des machines de prédiction formées sur des données historiques pour anticiper des résultats futurs. Mais si vos données historiques reflètent une société discriminatoire et c'est le cas vos prédictions perpétueront et amplifieront cette discrimination. Il n'y a pas de solution algorithmique à cela. Vous ne pouvez pas vous en sortir par l'ingénierie lorsqu'il s'agit de données de formation biaisées lorsque le biais est la société elle-même. Les systèmes de surveillance des crimes à l'arme blanche proposés identifieront absolument des motifs. Ils ne seront que des motifs de qui est surveillé, pas qui commet des crimes. Et lorsque ces systèmes seront déployés, ils concentreront la surveillance, les arrêts et les arrestations encore plus lourdement sur les communautés déjà sur-policiées, créant la boucle de rétroaction exacte qui rend le problème insoluble.