التمييز عبر البدائل هو الفيل في غرفة صناعة الذكاء الاصطناعي، وهو أمراً بسيطاً بشكل صادم: تكتشف أنظمة التعلم الآلي أنماطاً في البيانات ترتبط بالخصائص المحمية مثل العرق والعمر والجنس أو الحالة الاجتماعية والاقتصادية ثم تستخدم تلك الأنماط لاتخاذ القرارات، مما يؤدي فعلياً إلى التمييز دون النظر بشكل صريح إلى السمة المحمية نفسها. لا يحتاج الذكاء الاصطناعي معرفة عرق الشخص إذا كان يعلم رمز بريده وعاداته الشرائية وأنماط حديثه. حيث يجد الخوارزم الحجج والتلميحات ويستغلها بلا رحمة. إليك كيفية عمله في الممارسة العملية. درب الذكاء الاصطناعي على بيانات الجريمة التاريخية للتنبؤ بالجرائم المستقبلية، وسوف يتعلم تماماً أن بعض الأحياء، وبعض الأسماء، وبعض أنماط الحركة ترتبط بالاعتقالات. لكن الاعتقالات ليست جريمة بل هي أنماط تطبيق الأمن، التي شكلتها عقود من التنفيذ التمييزي. يتعلم الذكاء الاصطناعي التحيز المضمن في البيانات، ثم يضخمه. وجدت دراسة عام 2019 نشرت في مجلة Science Advances أن أنظمة التحليل الوجهي التجارية كانت لديها معدلات خطأ تصل إلى 34.7٪ للنساء ذات البشرة الداكنة مقارنة بـ 0.8٪ للرجال ذات البشرة الفاتحة. لم تدرب الخوارزميات على أن تكون عنصرية بشكل صريح بل تعلمت فقط من مجموعات بيانات منحازة حيث كانت تضاء البشرة الفاتحة بشكل أفضل. إن حماس المملكة المتحدة لمراقبة الجرائم بالسكين المدعومة بالذكاء الاصطناعي يتجه نحو هذا الكارثة بالضبط. قامت العديد من قوات الشرطة بنشر أو اختبار أنظمة تدعي تحديد حاملي السكاكين المحتملين من خلال تحليل كاميرات المراقبة والتعرف على المشية ومطابقة الأنماط السلوكية. جربت شرطة العاصمة التحليلات التنبؤية للعنف الخطير، وأجرت شرطة جنوب ويلز تجارب التعرف على الوجه. تبدو المنطق مغرياً: استخدام الذكاء الاصطناعي للكشف عن السلوك المشبوه، والتنبؤ بالمناطق الساخنة، وتحديد الأفراد الذين من المحتمل أن يحملوا أسلحة. الواقع هو العنصرية الرياضية على نطاق واسع. تتعلم هذه الأنظمة بشكل لا مفر منه مؤشرات للعرق والطبقة والعمر لأنها ترتبط بمن يتعرض للتوقيف والتفتيش والاعتقال بموجب الممارسات الشرطية الحالية. الشباب السود في لندن هم إحصائياً أكثر عرضة للتوقيف والتفتيش ليس لأنهم يرتكبون جرائم بالسكين أكثر، وإنما لأنهم مستهدفون بشكل أكثر عدوانية. زود المحكمة بذلك البيانات، وسوف يتعلم الذكاء الاصطناعي: اعلم الشباب السود. لا يفهم الخوارزم التمييز العنصري النظامي أو تحيز الشرطة. إنها فقط ترى الأنماط وتحسنها. وجدت أبحاث معهد Ada Lovelace عام 2022 أن الأدوات التنبؤية الشرطية في المملكة المتحدة كانت تراقب بشكل مستمر المناطق ذات النسب العالية من الأقليات العرقية، مما يخلق حلقات رد فعل حيث تنبؤات منحازة تؤدي إلى تنفيذ منحاز، والذي ينتج بيانات منحازة، مما يعزز التنبؤات المنحازة. المشكلة التقنية خبيثة لأن المؤشرات غالباً ما تكون ميزات تنبؤية شرعية عند النظر إليها بشكل منفرد. أزياء اللبس، وقت اليوم، الموقع، أنماط الحركة كل هذه الأشياء تتوافق مع سلوكيات متنوعة. ولكن بمجرد دمجها، تخلق نتائج تمييزية لأنها تعمل كبدائل للخصائص المحمية. قد يتعلم الذكاء الاصطناعي أن الأشخاص الذين يرتدون علامات تجارية معينة في أحياء معينة في أوقات معينة يستحقون الإبلاغ. ليس عنصرياً بوضوح، لكن النمط الذي تعلمه يتطابق تقريباً على العرق والطبقة. قم بإزالة مؤشر واحد، وسيجد الخوارزم آخر. وجد الباحثون في MIT أن حتى عند استبعاد العرق بشكل صريح من خوارزميات العدالة الجنائية، أعادت الأنظمة بناء التحيز العرقي من خلال المؤشرات مثل رموز البريد والأسماء والاتصالات السابقة بالشرطة. والآن يأتي الجزء المقلق: ماذا لو أظهرت البيانات الجديدة ارتفاعاً في جرائم السكين بين الشباب البيض، وبدأ الذكاء الاصطناعي في استهدافهم بدلاً من ذلك؟ هل سيكون هذا عنصريًا؟ بالطبع نعم و هذه هي النقطة الحرجة التي تكشف لماذا هذه الأنظمة مكسورة أساساً. القوانين التي تحمي ضد التمييز تحمي جميع الأعراق، وليس فقط الأقليات. إذا بدأت نظام ذكاء اصطناعي في الإبلاغ عن الشباب البيض بشكل غير متناسب استنادًا إلى أنماط ديموغرافية بدلاً من السلوك الفردي، سيكون ذلك مثالًا على التمييز عبر البدائل، لكنه موجه في اتجاه مختلف. تحظر قانون المساواة لعام 2010 في المملكة المتحدة التمييز استنادًا إلى العرق (بما في ذلك الأبيض)، والعمر، والجنس. النظام الذي يعامل أي مجموعة عرقية أو عمرية باعتبارها مشبوهة مخالفًا لتلك الحمايات، بغض النظر عن المجموعة المستهدفة. لكن القضية الأعمق هي أن مثل هذا النظام سيتعلم من أنماط تنفيذ متحيزة، وليس من معدلات الجريمة الأساسية. إذا بدأت الشرطة فجأة في توقيف وتفتيش الشباب البيض في المناطق الغنية بشكل عدواني، سترتفع بيانات الاعتقال، وسيتعلم الذكاء الاصطناعي النمط، وستبدأ حلقة رد الفعل مع مجموعة ديموغرافية مختلفة. الخلل الأساسي ليس فقط في المجموعة المستهدفة؛ إنه في أن النظام يخلط بين نشاط الشرطة والنشاط الإجرامي. الجرائم تحدث في كل مكان. لكن تطبيق القانون انتقائي. أي ذكاء اصطناعي مدرب على بيانات تطبيق القانون الانتقائي سيتعلم أن يكون تمييزيًا بالاختيار. سواء كان يميز ضد الشباب السود في بريكستون أو الشباب البيض في كورنوال، فإنه لا يزال يستخدم مؤشرات ديموغرافية بدلاً من الأدلة الفردية، وهذا غير قانوني بموجب قانون المملكة المتحدة. حلم المراقبة ينهار في الوقت الحقيقي. في عام 2023، حذرت مكتب مفوض المعلومات في المملكة المتحدة ولجنة المساواة وحقوق الإنسان بشكل مشترك من أن العديد من أنظمة الذكاء الاصطناعي التي تنشرها قوات الشرطة من المحتمل أن تنتهك قوانين حماية البيانات والمساواة. حظرت أمستردام التعرف على الوجه في الأماكن العامة بعد أن استنتجت أن مخاطر التمييز لا يمكن التحكم بها. في سان فرانسيسكو وبوسطن وبورتلاند حظر استخدام الحكومة لتقنية التعرف على الوجه بالكامل. هذه ليست قرارات مضادة للتكنولوجيا، بل اعترافات بأن التكنولوجيا بشكل أساسي لا تعمل بدون تضمين وتضخيم التفاوتات الموجودة مسبقاً. القضية الأساسية هي هذه: أنظمة الذكاء الاصطناعي هي آلات توقع مدربة على البيانات التاريخية لتوقع النتائج المستقبلية. ولكن إذا كانت بياناتك التاريخية تعكس مجتمعاً تمييزيًا وهي كذلك، فإن توقعاتك ستكرر وتضخم ذلك التمييز. لا يوجد إصلاح خوارزمي لهذا. لا يمكنك الهندسة للخروج من بيانات تدريب متحيزة عندما يكون التحيز هو المجتمع نفسه. ستحدد أنظمة مراقبة الجرائم بالسكين المقترحة الأنماط بالتأكيد. لكنها ستكون أنماط لمن يتعرض للمراقبة، وليس من يرتكب الجرائم. وعندما يتم نشر تلك الأنظمة، ستزيد تركيز المراقبة والتفتيش والاعتقالات بشكل أكبر على المجتمعات التي تم استغلالها بالفعل بشكل كبير، مما يخلق حلقة رد الفعل التي تجعل المشكلة غير قابلة للحل.
💻 technology
السر القذر للذكاء الاصطناعي: التمييز عبر البدائل سيقضي على أحلام المراقبة
يبدو الذكاء الاصطناعي رائعاً في العروض التوضيحية، لكنه يفشل بشكل كارثي عند نشره في العالم الحقيقي. الجاني؟ التمييز عبر البدائل - حيث يتعلم الذكاء الاصطناعي أن يكون عنصرياً أو طبقياً أو عمرانياً دون أن يتم تعليمه بذلك بشكل صريح. وهو على وشك الانفجار بشكل مذهل في مشاريع المراقبة.
رأيي
صناعة الذكاء الاصطناعي تبيع قوات الشرطة منتجًا مضمونة رياضيًا ليكون عنصرياً، ولا يريد أحد أن يصرح بذلك بشكل مباشر. هذه ليست عيوبًا بل ميزات لطريقة عمل التعلم الآلي. لا يمكنك تدريب خوارزم على بيانات متحيزة وتوقع نتائج غير متحيزة. يشبه الأمر محاولة بناء بيت مستوي على أساس مائل. كل حل تقني متطور يجد طرقًا أكثر إبداعًا للتمييز. ما يثير غضبي هو الجهل المتعمد. تقوم قوات الشرطة والمسؤولون الحكوميون بشراء هذه الأنظمة وهم يعرفون أو يختارون ألا يعرفوا أنها ستستهدف بطبيعتها المجتمعات السوداء والبنية. إنهم يختبئون خلف أسطورة موضوعية الذكاء الاصطناعي، متظاهرين بأنه لأن الكمبيوتر هو الذي اتخذ القرار، فإنه بطريقة ما عادل. لكن التمييز الخوارزمي لا يزال تمييزًا، حتى لو تم تنظيفه من خلال الرياضيات. وعندما تنتج هذه الأنظمة حتماً فضائح اعتقالات خاطئة، أنماط تفتيش وتمييزية، دعاوى حقوق مدنية سنرى نفس المسؤولين يتصرفون بصدمة، يلومون البائع، ويوعدون بمزيد من الرقابة. النمط متوقع بشكل يائس. ستفشل مشاريع مراقبة الجرائم بالسكين. ليس لأن التكنولوجيا غير ناضجة بل نضجت بما يكفي لتكون خطيرة. ستفشل لأنها تحاول حل مشكلة اجتماعية بحل تقني يشفر ويضخم المشكلة الاجتماعية. عندما تبدأ الدعاوي القضائية في التحرك، عندما يصبح التمييز لا يمكن إنكاره، عندما تضرب ردة الفعل العامة، سيتم إدخال هذه البرامج بسرية. ولكن ليس قبل أن تحدث ضررًا حقيقيًا لمجتمعات حقيقية. هذا هو ثمن حماسة الذكاء الاصطناعي لدينا: تجارب تجرى على أجساد المظلومين أصلاً.
ماذا سيحدث بعد ذلك
ستصل أول دعوى تمييز رئيسية ضد إحدى قوات الشرطة في المملكة المتحدة التي تستخدم مراقبة الذكاء الاصطناعي خلال 18 شهرًا. لن تأتي من قضية رفيعة المستوى ستكون من مراهق في هاكني أو بريكستون، توقف مرارًا وتكرارًا من قبل الضباط الذين يعملون بناءً على درجات المخاطرة الخوارزمية، الذي سيرفع دعوى بموجب قانون المساواة لعام 2010. ستكشف القضية عن وثائق الشرطة الداخلية التي تبين أن النظام أشار عليه استنادًا إلى الموقع، والملابس، وأنماط الوسائط الاجتماعية التي تتوافق تمامًا مع العر ق. ستسوي القوة بشكل سري، لكن البيانات الداخلية ستتسرب. في الوقت نفسه، تقوم شركات التأمين والشركات الأمنية الخاصة بالفعل بشراء تكنولوجيا مماثلة، وسيواجهون حتى تدقيقًا أقل. بحلول عام 2027، سنرى فضائح التمييز عبر البدائل في خوارزميات التوظيف، وتقييم الائتمان، وتقييم مخاطر التأمين الصحي - كلها تستخدم نفس المنطق الخطأ مثل أنظمة الشرطة. النمط يظهر بالفعل: تمثل الأنظمة الذكاء الاصطناعي التي نشرت في الولايات المتحدة لقرارات الإفراج بكفالة، وتوصيات الإفراج المشروط، وتوقعات العودة للجريمة كلاً من تمييز ضد المتهمين السود من خلال متغيرات البدائل. المملكة المتحدة متأخرة بسنوات قليلة فقط على نفس الجدول الزمني الكارثي. السؤال الحقيقي هو ما إذا كان المشرعون سيتصرفون بشكل استباقي أم سينتظرون حتى يستمر عدد الضحايا من الحياة المدمرة في الزيادة. قانون الذكاء الاصطناعي للاتحاد الأوروبي، الذي دخل حيز التنفيذ في عام 2024، يصنف بعض أنظمة الذكاء الاصطناعي على أنها 'عالية المخاطر' ويحظر استخدامات معينة تمامًا لكن المملكة المتحدة، بعد خروج بريكست، تتبع نهج تنظيمي أخف. ذلك سيكلف الأرواح والحرية. بحلول الوقت الذي تجبر فيه الفضيحة على اتخاذ الإجراءات، سيكون الآلاف من الأشخاص قد تعرضوا للمراقبة التمييزية، التوقيف، البحث، والاعتقالات بناءً على التحيز الخوارزمي. سيتم حظر التكنولوجيا أو تقييدها بشكل كبير، لكن ليس قبل أن تلحق أضرارًا لا يمكن إصلاحها. الشك الوحيد هو عدد المجتمعات التي ستكون مختبرات تجارب لهذا التجربة الفاشلة.
ما يخبرنا به التاريخ
ليست المرة الأولى التي يعد فيها تكنولوجيا جديدة بجعل الشرطة 'موضوعية' بينما تقوم فعليًا بتشفير التمييز. في الثلاثينيات، ادعى علم الإنسان الجنائي وعلم الوراثة إمكانية تحديد الميل الإجرامي بشكل علمي من خلال قياسات الجمجمة وملامح الوجه. استخدمت هذه العلوم الزائفة في تبرير التمييز العنصري وسياسات تحسين النسل. تم دحضها في النهاية، لكن ليس قبل أن تتسبب في أضرار جسيمة. في الآونة الأخيرة، أدخل قانون الجريمة لعام 1994 في الولايات المتحدة أدوات تقييم المخاطر 'المبنية على الأدلة' التي يفترض أنها تقلل التحيز في الحكم. بدلاً من ذلك، أوصت هذه الأدوات بشكل منهجي بأحكام أطول للمتهمين السود لأنها كانت تعتمد على بيانات تاريخية تعكس تنفيذًا تمييزيًا وعدم المساواة الاجتماعية والاقتصادية. ووجد تحقيق لمؤسسة ProPublica في عام 2016 أن COMPAS، واحدة من أكثر الأنظمة عدالة جنائية استخدامًا، كانت أكثر عرضة مرتين للإشارة بشكل خاطئ إلى المتهمين السود على أنهم 'عالي المخاطر' مقارنة بالبيض. تكرر الآن المملكة المتحدة هذا الخطأ بالضبط بتكنولوجيا أكثر تعقيدًا ولكن بنفس المنطق الخاطئ: استخدام البيانات التاريخية المتحيزة لتوقع المستقبل، ثم التصرف بدهشة عندما تستمر التوقعات في تعزيز التحيز.
تأثير السوق
شركات المراقبة بالذكاء الاصطناعي تتجه نحو منحدر تنظيمي سيقضي على تقييماتها. تولد Palantir Technologies (PLTR)، التي تتداول حاليًا حول 22 دولارًا، إيرادات كبيرة من العقود الحكومية بما في ذلك وكالات الشرطة والاستخبارات في المملكة المتحدة. مع ازدياد فضائح التمييز وتشديد التنظيمات، ستواجه هذه العقود إلغاء وتحديات قانونية. يمكن أن تشهد الأسهم انخفاضًا بنسبة 20 إلى 30٪ في السنتين المقبلتين مع تفاقم أزمة التمييز عبر البدائل. تشاؤم بشأن Clearview AI والشركات الناشئة المماثلة في التعرف على الوجه معظمها خاص، ولكن على المستثمرين الانتباه إلى أي إعلانات أولية وتجنبها. تفاؤل بشأن شركات الأمن والسلامة التقليدية التي تركز على البنية التحتية بدلًا من التنبؤ الذكاء الاصطناعي. الشركات مثل Johnson Controls International (JCI) و Honeywell (HON) التي تقدم أنظمة أمنية فيزيائية بدون مخاطر التمييز الخوارزمي تبدو نسبيًا أكثر أمانًا. يواجه القطاع الأوسع للذكاء الاصطناعي أزمة مصداقية. بينما شركات مثل Microsoft (MSFT) و Google (GOOGL) لديها تدفقات إيرادية متنوعة، قد تضررت سمعتها الأخلاقية فيما يتعلق بالذكاء الاصطناعي بالفعل بسبب الصراعات الداخلية حول التحيز والتمييز. توقع زيادة التقلبات والمخاطر التنظيمية عبر قطاع الذكاء الاصطناعي مع ظهور القيود المفروضة على التعلم الآلي الحالي بشكل لا يمكن إنكاره. ستشهد الفترة بين 2025 و2027 المرجح رؤى الموجة الأولى من دعاوى التمييز ضد الذكاء الاصطناعي الرئيسية، مما يجبر الشركات على التخلي عن التطبيقات عالية المخاطر أو مواجهة تعرض قانوني هائل.