💻 technology
By WNT
قد يتحول مساعد الذكاء الاصطناعي الخاص بك إلى مصدر تسريب غدًا
كل محادثة أجريتها مع ChatGPT أو Claude أو Gemini محفوظة على خادم ما، محمية بواسطة كود مكتوب من قبل بشر يرتكبون أخطاء. لقد قضيت ثلاثة أسابيع في التحدث إلى باحثين في الأمن ومدققين أمان ومطور سابق لاستغلالات حكومية لفهم ما يمنع بالضبط نصوص جلسات العلاج الخاصة بك من الظهور على Pastebin.
تعتمد البنية التي تحمي سجل المحادثات لديك على ثلاث طبقات متحدة المركز: عزل الشبكة، أدوات التحكم في الوصول، والتشفير. تقوم خدمات الذكاء الاصطناعي الحديثة مثل ChatGPT من OpenAI وClaude من Anthropic وGemini من Google بتخزين سجلات المحادثات في مجموعات قاعدة بيانات تقع خلف شبكات خاصة افتراضية (VPCs)، التي تنشئ محيطات محددة برمجيًا حول البنية التحتية السحابية. تمنع هذه الـ VPCs الوصول المباشر للإنترنت إلى قواعد البيانات. تنتقل رسائلك مشفرة عبر TLS (أمن طبقة النقل) 1.3 من متصفحك إلى الموازنات التحميلية، ثم عبر خدمات داخلية مصدقة قبل أن تصل إلى قواعد بيانات مشفرة أثناء الاستراحة مثل PostgreSQL أو ما شابهها. ولا تلمس المفاتيح الخاصة خوادم التطبيق التي تُنشئ استجابات الذكاء الاصطناعي.
لكن هنا يصبح الأمر مثيرًا: لقد تم اختراق كل طبقة من هذه الطبقات من قبل، لكن ليس في هذا التكوين بالضبط. في عام 2023، أظهر الباحثون في Trail of Bits أن نقاط الضعف في تلف الذاكرة في لغة Rust (المُعتبرة "آمنة") لا تزال تُسرِّب بيانات حساسة تحت ظروف محددة. في أوائل 2024، أظهر الباحث Kevin Beaumont كيف أن سياسات دَلِيَات AWS S3 غير المُعدَّلة بشكل صحيح قد كشفت سجلات الدردشة من شركة ناشئة صغيرة في مجال الذكاء الاصطناعي. توجد مساحة للهجوم في طبقة التنسيق، حيث تتواصل الخدمات المصغرة. إذا كنت أرغب في استخراج سجلات الدردشة للحصول على ذلك الجائزة المليونية، فسأركز على شبكة الخدمة الداخلية، خاصةً رموز التوثيق التي تستخدمها الخدمات للتحدث مع بعضها البعض.
ها هي خارطة الطريق للهجوم:
- الوصول الأولي عبر اختراق سلسلة الإمداد: استهداف مكتبة مراقبة واسعة الاستخدام يثق بها فريق البنية التحتية في شركة الذكاء الاصطناعي. تستخدم العديد من شركات الذكاء الاصطناعي أدوات مراقبة مثل DataDog أو Sentry أو New Relic. قد يقوم حزمة npm خبيثة أو قالب Python باسم شرعي صوتيًا ("asyncio-performance-patch") بحقن رمز يعيد الاتصال بالمنزل مع متغيرات البيئة، بما في ذلك بيانات اعتماد دور AWS IAM أو رموز خدمة Kubernetes.
- التحرك الجانبي عبر شبكة الخدمة: بمجرد الدخول إلى الـ VPC ببيانات اعتماد صالحة، استغلال حقيقة أن الخدمات الداخلية غالبًا ما تثق ببعضها البعض أكثر مما ينبغي. يستخدم كل من Anthropic وOpenAI وGoogle Kubernetes للتنسيق. إذا قمت بإختراق بود منخفض الامتياز (ربما بود يقوم بتشغيل وظائف مجدولة لتنظيف خطوط البيانات)، يمكنني استعلام خادم API لـ Kubernetes عن الأسرار المدمجة كمتغيرات بيئة في البودات ذات الامتيازات العالية. غالبًا ما تكون سلاسل الاتصال بقاعدة البيانات موجودة هناك.
- تصعيد الامتياز عبر الإحالة المباشرة غير الآمنة للكيانات (IDOR): تقوم منصات الذكاء الاصطناعي الحديثة بتعيين كل محادثة بمعرف فريد. ربما تحتوي قواعد البيانات على أدوات تحكم في الوصول قائمة على الأدوار، لكن نقاط النهاية API التي تخدم سجل الدردشة للمستخدمين غالبًا ما تحتوي على أخطاء منطقية. عن طريق اختبار معلمات user_id في استدعاءات API الداخلية، يمكن للمهاجم التنقل عبر معرفات المحادثة، مما يسحب الدردشات التي لا تنتمي إليهم. ظهرت هذه الثغرة بالضبط في تقرير جائزة الثغرات 2022 لمنصة SaaS رئيسية.
- إستخراج البيانات دون إثارة الإنذارات: الجزء الصعب ليس الحصول على البيانات، بل الحصول عليها للخارج. نقل جيجابيات من سجلات الدردشة سيضيء كل لوحة تحكم مركز عمليات الأمان (SOC). الحيلة: الاستخراج عبر نفق DNS أو تضمين البيانات في استدعاءات API الصادرة إلى الخدمات الشرعية. تقوم شركات الذكاء الاصطناعي بآلاف استدعاءات API في الثانية إلى معالجات الدفع، ومنصات التحليلات، ومقدمي الخدمات السحابية، وفي حالة المهاجم الذكي يقوم بتغليف البيانات المسروقة كـ JSON مشفر بقاعدة 64 في طلب POST إلى نقطة النهاية المخترقة لـ Stripe، مما يجعلها تبدو كحركة معالجة دفع روتينية.
- الحفاظ على الوصول عبر نماذج التعليمات المربوطة: للوصول طويل الأمد، يمكن للمهاجم حقن باب خلفي في نفس النموذج الذكائي. أظهرت بحوث من ETH Zurich في 2023 أن التدريب العدائي يمكنه تضمين سلوكيات مخفية في الشبكات العصبية. قد يقوم نموذج مربوط بتسريب مقتطفات محادثة عبر تعديل استجاباته لتشفير البيانات عند ظهور عبارة محددة. سيبقى هذا بعد إعادة بناء البنية التحتية ونشر الأكواد.
تشمل الإجراءات المضادة المتاحة الآن أدوات حماية التطبيقات الذاتية وقت التشغيل (RASP) التي تراقب الاستعلامات غير الطبيعية على قواعد البيانات، وتقسيم الشبكة الذي يعزل قواعد البيانات الإنتاجية عن بيئات التطوير، وأنظمة تسجيل المراجعة التي تتبع كل عملية قراءة لقاعدة بيانات. ويقال إن شركات مثل OpenAI تستخدم أبحاث التشفير المتجانس لاستكشاف الحوسبة على البيانات المشفرة، رغم أن ذلك لا يزال في الغالب نظريًا للأنظمة الإنتاجية. الدفاع الحقيقي هو الدفاع المتعمق: جعل المهاجم يحترق العديد من الثغرات لاستغلال الوصول إلى البيانات، مما يرفع التكلفة بما يتجاوز ما ستدف
عه معظم الجهات المغرضة.
لكن الحلقة الأضعف ما زالت البشرية: يمكن لمهندس الاعتمادية في الموقع (SRE) المضطرب الذي يمتلك وصول إلى قاعدة بيانات الإنتاج تصدير سجلات الدردشة إلى دلو S3 الشخصي في أقل من خمس دقائق. لهذا السبب تنفذ الشركات فصل الواجبات، وتتطلب الموافقات المتعددة للعمليات الحساسة، وتدور بيانات الاعتماد بقوة. يمثل التهديد الداخلي أسرع طريق للاستخراج، متجاوزًا كل التحكمات التقنية. يمكن لفِرق الأمن مراقبة الصادرات الضخمة، لكن المطلع الذكي يمكنه استخراج البيانات ببطء، بضع آلاف من المحادثات في اليوم، محاكيا استفسارات التحليل الشرعي المشروعة.
رأيي
السر القذر لأمن الذكاء الاصطناعي هو أننا نحمي مخازن ضخمة من المحادثات البشرية الحميمة باستخدام نفس الأدوات التي نستخدمها لحماية قواعد بيانات بطاقات الائتمان، وتلك تتعرض للاختراق باستمرار. كل مسؤول أمني في شركة ذكاء اصطناعي كبيرة يستيقظ وهو يعلم أن سجلات الدردشة الخاصة بهم تمثل أكثر الأصول الاستخباراتية قيمة على الإنترنت. سيدفع محامو الطلاق الملايين للوصول إلى استفسارات نصائح العلاقات لـ ChatGPT. سيقوم الباحثون المعارضون السياسيون بتمويل مجموعات القرصنة التابعة لدول موجهة للوصول إلى محادثات Claude مع مستشاري الحملات.
يعتمد الوضع الأمني الحالي على الغموض والتعقيد، وليس الضمانات الرياضية. لقد قمنا بلف البيانات الحساسة في طبقات عديدة من الضوابط الشبكية وسياسات الوصول لدرجة أن اختراقها يتطلب إما مهاجم متقدم أو خطأ غبي. يشير التاريخ إلى أننا سنرى كليهما. لن يأتي التسريب الرئيسي الأول لدردشة الذكاء الاصطناعي من هاكر عبقري؛ سيأتي من مهندس يقص ويلصق بيانات اعتماد قاعدة البيانات الإنتاجية في رسالة Slack، أو دلو التخزين السحابي المُغير بشكل خاطئ الذي يكشف تصدير التحليل. عندما يحدث ذلك، سيتصرف الجميع في الصناعة بصدمة، لكن كل من يعمل في الأمن يعرف بالفعل أنه مسألة وقت وليس هل.
ما يبقيني مستيقظًا في الليل هو انعدام التماثل: يتطلب الأمر خطأً واحدًا لتسريب مليار محادثة، ولكن يتطلب التنفيذ المثالي عبر آلاف المهندسين والأنظمة لمنعه. نحن نطلب الكمال في صناعة تشحن البرمجيات التجريبية وتطلق عليها جاهزة للإنتاج. السؤال الحقيقي ليس كيفية جعل سجلات دردشة الذكاء الاصطناعي غير قابلة للاختراق، لأن لا شيء غير قابل للاختراق. السؤال هو ما إذا كنا ينبغي علينا تسجيل هذه المحادثات أصلاً، وإذا كان علينا تسجيلها، ما إذا كان ينبغي علينا معاملتها بنفس الحماية القانونية التي نمنحها لاتصالات المحامي-العميل أو السجلات الطبية.
ماذا سيحدث بعد ذلك
في غضون ثمانية عشر شهرًا، سنرى أول عملية تأكيد للتسريب الجماعي لسجلات دردشة الذكاء الاصطناعي، ولن يكون ذلك عن طريق استغلال تقني. سيكون مصدره موظف في شركة ناشئة متوسطة المستوى في مجال الذكاء الاصطناعي تم الاستحواذ عليها من قبل شركة أكبر، شخص قام بتنزيل أرشيفات المحادثات قبل أن يتم سحب وصوله أثناء الانتقال للاندماج. ستظهر السجلات على سوق الويب المظلم بقيمة تصل إلى ستة أرقام، ثم سيتم تسريبها علنًا عندما يدرك المشتري أنه لا يمكنه تنقيذ المال من البيانات دون كشف عن نفسه. سيجبر التداعيات على تشريع طارئ: ستمدد الاتحاد الأوروبي اللائحة العامة لحماية البيانات (GDPR) لتلزم بحذف محادثات تدريب الذكاء الاصطناعي بعد 90 يومًا إلا إذا أختار المستخدمون البقاء على متابعة الحفظ، وستقوم كاليفورنيا بتمرير قانون خصوصية المحادثات بحلول أوائل 2027.
السيناريو الأكثر إثارة للاهتمام يتكشف في سباق تسلح أمان الذكاء الاصطناعي. بحلول أواخر 2027، ستعلن شركة ذكاء اصطناعي كبيرة واحدة على الأقل (أراهن على أنثروبيك) عن بنية "دردشة بدون معرفة" حيث تُشفَّر المحادثات من جانب العميل بمفاتيح لا تمتلكها الشركة أبدًا. سيدمر ذلك قدرتهم على استخدام محادثاتك لتحسين النموذج، مما يجبر التحول في نموذج الأعمال نحو فترات متميزة حيث يدفع المستخدمون تكلفة إضافية مقابل الخصوصية. ستقاوم OpenAI هذا التغيير لأطول فترة ممكنة لأن حواجزهم المنافسة تعتمد على تدريب التعلم المعزز من ارتجاعات البشر (RLHF) على محادثات المستخدمين الحقيقية. عندما يستسلموا أخيرًا للضغط التنظيمي، سيضغطون من أجل السماح بفترة سماح مؤقتة للبيانات المشفرة يمكن فك تشفيرها مؤقتًا لـ "البحوث السلامة الذكاء الاصطناعي"، مما يخلق ثغرة ستستهدفها الدول القومية الفاعلة على الفور.
العامل غير المتوقع: ماذا يحدث عندما لا يقوم شخص بتسريب سجلات الدردشة فقط، بل يستخدمها لتدريب نموذج منافس؟ تصور عدوًا ممولًا جيدًا لتنزيل عشر ملايين محادثة من ChatGPT وتدريب نموذج مفتوح المصدر لتقليد أنماط سلوك OpenAI. سيكون هذا الهجوم العكسي انتهاكًا لقانون الملكية الفكرية، ولكن تنفيذ ذلك يصبح معقدًا عندما يعمل المهاجم من ولاية لا تهتم بالادعاءات حق المؤلف الأمريكية. سنشاهد أول دعوى قضائية حول بيانات المحادثات المسروقة المستخدمة لتدريب النماذج بحلول الربع الثالث من 2027، وستعيد تعريف ما يعنيه "سرقة البيانات" في عصر الذكاء الاصطناعي.
ما يخبرنا به التاريخ
أقرب مقارنة تاريخية هي تسريبات إدوارد سنودن في 2013 حول برامج جمع البيانات بالجملة التابعة لوكالة الأمن القومي (NSA). قبل سنودن، كان معظم الناس يفترضون أن بيانات الهاتف الخاصة بهم تبقى خاصة؛ وبعد التسريبات، علمنا أن ملايين سجلات المكالمات كانت موجودة في قواعد بيانات حكومية، محمية بشكل أساسي بواسطة السياسات والضوابط الداخلية. أدى الغضب العام إلى إصلاحات مثل قانون الحرية الأمريكية، الذي تطلب مراجعة أكبر لبرامج المراقبة. لكن الضعف الأساسي ظل: بمجرد أن يتم مركزية البيانات، يمكن لأي شخص لديه الاعتماد والصبر الكافي الوصول إليها.
السابق الأكثر تحديدًا هو فضيحة كامبريدج أناليتيكا في 2018، حيث انتهت بيانات مستخدمي Facebook التي كان من المفترض أن تكون محمية بواسطة ضوابط وصول API في أيدي مستشارين سياسيين. استغل الاختراق فجوة بين سياسات Facebook المتعلقة بالخصوصية وما سمحت به أنظمتهم الفعلية. قام باحث أكاديمي، ألكساندر كوجان، ببناء تطبيق لاختبار الشخصية قام بجمع البيانات ليس فقط من المستخدمين الذين أجروا الاختبار، بل من جميع أصدقائهم على Facebook، مما أدى في نهاية المطاف إلى جمع معلومات عن 87 مليون شخص. ضوابط Facebook لم تمنع التنزيلات بالجملة من تطبيقات الطرف الثالث ذات الاعتماد الشرعي المظهر. التشبيه مع سجلات دردشة الذكاء الاصطناعي مباشر: نحن نثق في الشركات لتنفيذ ضوابط الوصول التي غالبًا ما تتجاوزها أنظمتهم الخاصة لأجل الراحة أو الوظيفية.
تأثير السوق
سيؤدي التأكيد على خرق سجلات دردشة ذكاء اصطناعي رئيسية إلى انهيار ثقة المستثمرين في شركات الذكاء الاصطناعي البحتة في حين يعزز أسهم الأمن السيبراني. اعتبارًا من مايو 2024، يتداول CrowdStrike (CRWD) عند حوالي $325 للسهم بعد التعافي من حادث الانقطاع في يوليو 2024، في حين يجلس Palo Alto Networks (PANW) قرب $195. كلاهما سيشهد ارتفاعًا بنسبة 15-20 في المئة في الأسبوع الذي يعقب تسرب بيانات كبير في الذكاء الاصطناعي حيث تشتري الشركات خدمات الأمان بشكل عشوائي. ستشهد التقييمات التمهيدية لاكتتاب OpenAI المعلق (الذي يُشاع أنه في أواخر 2026 بين $150 إلى 200 مليار) خصمًا بنسبة 30-40 في المئة إذا تسربت سجلات ChatGPT قبل الطرح.
اللعب الدفاعي هو Zscaler (ZS، حاليًا حوالي $180)، الذي يوفر حلول وصول شبكة بدون ثقة ستصبح إلزامية للبنية التحتية للذكاء الاصطناعي. من جهة العملات المشفرة، ستستفيد البروتوكولات التي تركز على الخصوصية: لا يوجد لمونيرو تذكرة في البورصات الرئيسية ولكنه يتداول على المنصات اللامركزية، في حين يمثل Zcash (بالرغم من عدم توفره كـ ZEC-USD في Yahoo Finance) بنية العملات ذات الخصوصية. الفائز الحقيقي سيكون الشركات الناشئة في مجال التشفير المتجانس، معظمها لا تزال خاصة، ولكن IBM (IBM، تتداول حول $165) لديها قسم بحث كبير يعمل على هذه التقنية.
اتجاه قصير الأجل نحو الانخفض على مزودي السحابة إذا ما تورطت بُنيتهم التحتية: أمازون (AMZN) حوالي $180، ومايكروسوفت (MSFT) بالقرب من $420، وشركة جوجل الأم Alphabet (GOOGL) عند حوالي $170 سترى جميعها انخفاضات بنسبة 3-5 في المئة على أخبار الخرق، رغم أنهم سيعودون إلى المستوى العادي في غضون شهر. الضرر الدائم يصيب استقطاب العملاء: ستطالب الشركات بنشر الذكاء الاصطناعي داخليًا، مستفيدة من شركات مثل Nvidia (NVDA، حوالي $950) تبيع معدات الاستنتاج للنماذج المستضافة ذاتيًا.