代理歧视是AI行业中无人敢提的“房间里的大象”，而且其原理令人震惊地简单：机器学习系统从数据中发现与受保护特征（如种族、年龄、性别或社会经济地位）相关的模式，然后利用这些模式进行决策，实际上在不明确考虑受保护特征本身的情况下进行歧视。AI不需要知道某人的种族，只要它知道他们的邮政编码、购物习惯和语言模式。算法找到了捷径，代理，并无情地利用它们。 实际操作中是这样的。用历史犯罪数据训练AI来预测未来犯罪，它绝对会发现某些街区、某些名字、某些活动模式与逮捕相关。但逮捕不是犯罪，而是受几十年歧视性执法塑造的警务模式。AI学习了数据中固有的偏见，然后加剧了它。2019年发表在《科学进展》上的一项研究发现，商业面部分析系统对于肤色较深的女性的错误率高达34.7%，而对于肤色较浅的男性仅为0.8%。这些算法并没有明确地被训练成种族主义者，它们只是从肤色较浅者更广泛代表和照明更好的有偏见的数据集中学习。 英国对AI驱动的持刀犯罪监控的热情正奔向这种灾难。多个警察部门已经部署或测试了声称通过监控闭路电视分析、步态识别和行为模式匹配来识别潜在持刀者的系统。伦敦警察厅已尝试使用预测性分析处理严重暴力事件。南威尔士警察局进行了面部识别试验。逻辑看起来很吸引人：使用AI发现可疑行为，预测热点，识别有可能携带武器的个人。现实是大规模的数学种族主义。 这些系统不可避免地学习种族、阶级和年龄的代理，因为这些特征与当前警务实践中谁被拦截、搜查和逮捕相关。伦敦的年轻黑人男性在统计上更有可能被截停和搜查，不是因为他们犯下更多持刀犯罪，而是因为他们被更积极地针对。将这些数据输入AI，它学习到：标记年轻黑人男性。算法不了解系统性种族主义或警察偏见。它只是看到模式并进行优化。Ada Lovelace Institute在2022年的研究发现，英国的预测性警务工具始终在少数族裔比例较高的地区加强警务，形成偏见预测导致偏见执法，产生偏见数据，再次加剧偏见预测的反馈回路。 技术问题难以察觉，因为这些代理特征通常在单独情况下是合法的预测特征。服装风格、时间、地点、行为模式，这些事物确实与各种行为相关。但结合在一起时，它们会产生歧视性结果，因为它们象征受保护特征的代理。AI可能学习到在某些街区穿着某品牌服装的人在特定时间值得标记。它不是明确的种族歧视，但它所学到的模式几乎完全适应于种族和阶级。去除一个代理，算法找到另一个。麻省理工学院的研究人员发现，即使在刑事司法算法中明确排除种族特征，这些系统仍通过邮政编码、名字和与警察的先前接触等代理重新构建种族偏见。 现在的问题是：如果新数据表明年轻白人男性的持刀犯罪激增，AI开始针对他们，这还算种族主义吗？绝对是的——这是证明这些系统根本有缺陷的重要一点。歧视法保护所有种族，不仅仅是少数群体。如果一个AI系统基于人口统计模式而非个人行为过多地标记年轻白人男性，那将是典型的代理歧视，只不过指向了不同的方向。2010年英国的《平等法》明确规定禁止基于种族（包括白人）、年龄和性别的歧视。无论系统针对哪个群体，只要将任何种族或年龄群体视为固有可疑，都违反了这些保护。 但更深的问题是这样的系统仍然是从有偏见的执法模式中学习，而不是从根本犯罪率中学习。如果警方开始在富裕地区对年轻白人男性进行强力截停和搜查，逮捕数据将激增，AI将学习这种模式，并开始反馈循环，只是涉及不同的人口群体。根本缺陷不在于哪个群体受到针对，而在于系统将警察活动与犯罪活动混淆。犯罪无处不在。警务是选择性的。任何基于选择性警务数据训练出来的AI都会学会选择性歧视。无论是在Brixton歧视年轻黑人男性还是在Cornwall歧视年轻白人男性，它仍然使用人口代理而不是个性化证据，在英国法律下这是非法的。 监控梦想正在实时崩溃。2023年，英国信息专员办公室和平等与人权委员会共同警告称，警察部队部署的许多AI系统可能违反了数据保护和平等法。阿姆斯特丹在得出歧视风险无法管理的结论后禁止了公共场所的面部识别。旧金山、波士顿和波特兰完全禁止政府使用面部识别。这些不是反科技决定，它们是对技术在不嵌入和放大现有不平等的情况下根本行不通的承认。 根本问题是：AI系统是预测机器，基于历史数据预测未来结果。但如果你的历史数据反映了一个歧视性社会（它确实如此），你的预测将会延续和加剧这种歧视。对此没有算法修复方案。当偏见是社会本身时，你无法通过工程方法解决偏见训练数据的问题。提议的持刀犯罪监控系统绝对能够识别模式。它们只识别出谁被警察拦截的模式，而不是谁犯了罪。当这些系统部署时，它们会更加集中监控、截停和逮捕已经过度警务的社区，创造出使问题无解的反馈循环。