وكيل ذكاء اصطناعي يتجاهل أوامر مديرة الأمان في ميتا

كشفت "سامر يو"، مديرة التوافق والأمان في مختبر الذكاء الاصطناعي بشركة "ميتا"، عن تفاصيل حادثة تقنية مثيرة للقلق، حيث قام وكيل ذكاء اصطناعي مفتوح المصدر يُدعى "أوبن كلاو" (OpenClaw) بحذف رسائل بريدها الإلكتروني بشكل عشوائي، ضارباً بأوامرها عرض الحائط.

واجهت الباحثة السلوك غير المتوقع بعدما أسندت للوكيل الذكي مهمة فحص صندوق بريدها المزدحم لتقديم مقترحات حول الأرشفة أو الحذف، مشددة على ضرورة الحصول على موافقة مسبقة قبل تنفيذ أي إجراء، بيد أن النظام شرع في عملية حذف واسعة النطاق متجاوزاً كافة القيود والتعليمات البرمجية الصارمة التي وُضعت له.

وعزت "يو" هذا التمرد التقني إلى ظاهرة تُعرف بـ "انضغاط السياق" (Context Compression)؛ فمع تضخم حجم البيانات المدخلة وتجاوزها لقدرة الاستيعاب اللحظية للنموذج، اضطر الذكاء الاصطناعي لتلخيص واختزال الأوامر السابقة آلياً، مما تسبب في سقوط التعليمات الجوهرية — وعلى رأسها شرط الموافقة البشرية — من "نافذة السياق" النشطة، ليتحول الوكيل من مساعد رقمي إلى أداة تنفيذية فاقدة للضوابط.