La discriminación por proxy es el elefante en la habitación de la industria de la IA, y es sorprendentemente simple: los sistemas de aprendizaje automático descubren patrones en los datos que correlacionan con características protegidas como raza, edad, género o estatus socioeconómico, y luego usan esos patrones para tomar decisiones, discriminando efectivamente sin considerar explícitamente la característica protegida en sí misma. Una IA no necesita saber la raza de alguien si conoce su código postal, hábitos de compra y patrones de habla. El algoritmo encuentra los atajos, los proxies, y los explota sin piedad. Así es como funciona en la práctica. Entrena una IA con datos históricos de delitos para predecir delitos futuros, y absolutamente aprenderá que ciertos vecindarios, ciertos nombres y ciertos patrones de movimiento correlacionan con arrestos. Pero los arrestos no son delitos son patrones de policía, moldeados por décadas de aplicación discriminatoria. La IA aprende el sesgo incrustado en los datos, luego lo amplifica. Un estudio de 2019 publicado en Science Advances encontró que los sistemas comerciales de análisis facial tenían tasas de error de hasta el 34.7% para mujeres de piel más oscura comparado con el 0.8% para hombres de piel más clara. Los algoritmos no fueron entrenados explícitamente para ser racistas simplemente aprendieron de conjuntos de datos sesgados donde la piel más clara estaba sobrerrepresentada y mejor iluminada. El entusiasmo del Reino Unido por la vigilancia de delitos con cuchillos impulsada por IA se dirige hacia este desastre exacto. Múltiples fuerzas policiales han desplegado o probado sistemas que afirman identificar potenciales portadores de cuchillos a través del análisis de CCTV, reconocimiento de marcha y coincidencia de patrones de comportamiento. La Policía Metropolitana ha experimentado con análisis predictivos para violencia grave. La Policía de Gales del Sur realizó pruebas de reconocimiento facial. La lógica suena atractiva: usar IA para detectar comportamientos sospechosos, predecir puntos críticos, identificar individuos que probablemente lleven armas. La realidad es racismo matemático a gran escala. Estos sistemas inevitablemente aprenden proxies de raza, clase y edad porque esas características correlacionan con quién es detenido, registrado y arrestado bajo las prácticas policiales actuales. Los jóvenes hombres negros en Londres son estadísticamente más propensos a ser detenidos y registrados no porque cometan más delitos con cuchillo, sino porque son más agresivamente direccionados. Alimente esos datos en una IA, y aprende: señalizar a jóvenes hombres negros. El algoritmo no entiende el racismo sistémico o el sesgo policial. Solo ve patrones y optimiza. La investigación del Instituto Ada Lovelace en 2022 encontró que las herramientas de policía predictiva en el Reino Unido consistentemente sobrerreportaron áreas con mayores proporciones de minorías étnicas, creando bucles de retroalimentación donde las predicciones sesgadas llevaban a una aplicación sesgada, que generaba datos sesgados, que reforzaba predicciones sesgadas. El problema técnico es insidioso porque los proxies a menudo son características predictivas legítimas en aislamiento. Estilo de ropa, hora del día, ubicación, patrones de movimiento estas cosas sí correlacionan con varios comportamientos. Pero cuando se combinan, crean resultados discriminatorios porque están sustituyendo características protegidas. Una IA podría aprender que las personas que usan ciertas marcas de ropa en ciertos vecindarios en ciertos momentos valen la pena ser señaladas. No es explícitamente racista, pero el patrón que ha aprendido se acopla casi perfectamente a raza y clase. Elimine un proxy, y el algoritmo encuentra otro. Investigadores del MIT descubrieron que incluso cuando se excluía explícitamente la raza de los algoritmos de justicia criminal, los sistemas reconstruían el sesgo racial a través de proxies como códigos postales, nombres y contacto previo con la policía. Ahora, aquí es donde se pone incómodo: ¿qué pasa si los nuevos datos mostraran un aumento en los delitos con cuchillo entre jóvenes blancos, y la IA comenzara a señalarlos en su lugar? ¿Sería eso todavía racista? Absolutamente sí y este es el punto crítico que expone por qué estos sistemas están fundamentalmente rotos. La ley de discriminación protege a todas las razas, no solo a las minorías. Si un sistema de IA empezara a señalar desproporcionadamente a jóvenes hombres blancos en función de patrones demográficos en lugar de comportamiento individual, eso sería discriminación por proxy de libro, solo apuntando en una dirección diferente. La Ley de Igualdad de 2010 en el Reino Unido explícitamente protege contra la discriminación basada en raza (incluyendo blanca), edad y sexo. Un sistema que trata a cualquier grupo racial o etario como inherentemente sospechoso viola esas protecciones, sin importar qué grupo está señalando. Pero el problema más profundo es que tal sistema todavía estaría aprendiendo de patrones de aplicación sesgada, no de tasas de criminalidad subyacentes. Si la policía de repente empezara a detener y registrar agresivamente a jóvenes blancos en áreas acomodadas, los datos de arrestos se dispararían, la IA aprendería el patrón, y el bucle de retroalimentación comenzaría solo con un grupo demográfico diferente. El defecto fundamental no es qué grupo es señalado; es que el sistema confunde actividad policial con actividad criminal. El crimen sucede en todas partes. La policía es selectiva. Cualquier IA entrenada en datos de policía selectiva aprenderá a ser discriminatoria de manera selectiva. Ya sea discriminando contra jóvenes negros en Brixton o jóvenes blancos en Cornwall, sigue utilizando proxies demográficos en lugar de evidencia individualizada, y eso es ilegal bajo la ley del Reino Unido. El sueño de vigilancia se está desmoronando en tiempo real. En 2023, la Oficina del Comisionado de Información del Reino Unido y la Comisión de Igualdad y Derechos Humanos advirtieron conjuntamente que muchos sistemas de IA desplegados por las fuerzas policiales probablemente violaban las leyes de protección de datos e igualdad. Ámsterdam prohibió el reconocimiento facial en espacios públicos después de concluir que los riesgos de discriminación eran ingobernables. San Francisco, Boston y Portland prohibieron el uso gubernamental del reconocimiento facial por completo. Estas no son decisiones anti tecnología son admisiones de que la tecnología fundamentalmente no funciona sin incrustar y amplificar las desigualdades existentes. El problema fundamental es este: los sistemas de IA son máquinas de predicción entrenadas con datos históricos para pronosticar resultados futuros. Pero si tus datos históricos reflejan una sociedad discriminatoria y lo hacen tus predicciones perpetuarán y amplificarán esa discriminación. No hay un arreglo algorítmico para esto. No puedes crear una solución técnica cuando el sesgo es la sociedad misma. Los sistemas de vigilancia de delitos con cuchillo que se están proponiendo identificarán absolutamente patrones. Solo serán patrones de quién es vigilado, no de quién comete delitos. Y cuando esos sistemas se desplieguen, concentrarán la vigilancia, las detenciones y los arrestos aún más en las comunidades ya sobre vigiladas, creando el exacto bucle de retroalimentación que hace el problema insoluble.