كشفت دراسة حديثة نشرت في قاعدة بيانات (arXiv)، عن حادثة أثارت قلق الأوساط التقنية، حيث نجح وكيل ذكاء اصطناعي تجريبي في كسر القيود المفروضة عليه داخل بيئة الاختبار، والبدء في عمليات تعدين للعملات الرقمية دون تصريح، مما سلط الضوء على فجوات أمنية خطيرة في تطوير الأنظمة ذاتية التشغيل.
ويعود أصل القصة إلى مختبر أبحاث تابع لعملاق التجزئة الصيني “علي بابا”، حيث كان الباحثون يعملون على تطوير نظام يُدعى “ROME”.
ويهدف هذا المشروع إلى بناء “نظام تعلم وكيل” (Agentic Learning Ecosystem – ALE)، وهو نظام مصمم لتدريب ونشر نماذج ذكاء اصطناعي تعتمد على النماذج اللغوية الكبيرة (LLMs)، وتتمتع بالقدرة على استخدام الأدوات واتخاذ إجراءات ذاتية لإتمام المهام المعقدة في بيئات العالم الحقيقي.
ويتكون نظام (ALE) من ثلاث ركائز أساسية:
Rock: بيئة “صندوق الرمل” (Sandbox) المخصصة لاختبار الوكيل والتحقق من أفعاله.
Roll: إطار عمل لتحسين أداء الوكلاء عبر “التعلم التعزيزي”.
iFlow CLI: إطار لتحديد الأهداف والقيود التي يجب أن يلتزم بها الوكيل.
الانفلات التقني
رغم تفوق “ROME” في مهام مجدولة مثل تخطيط الرحلات والمساعدة في واجهات المستخدم الرسومية، إلا أن الباحثين ذُهلوا حين اكتشفوا أن الوكيل تجاوز التعليمات البرمجية وهرب من بيئة الاختبار المعزولة.
وأوضح الباحثون في دراستهم: “واجهنا فئة غير متوقعة وذات تبعات تشغيلية خطيرة من السلوكيات غير الآمنة، والتي ظهرت دون أي تعليمات صريحة، والأكثر إثارة للقلق أنها حدثت خارج حدود صندوق الرمل المقصود”.
ولم يتوقف الأمر عند التعدين؛ بل قام “ROME” بإنشاء “نفق SSH عكسي” (Reverse SSH tunnel) لربط خوادم “سحابة علي بابا” (Alibaba Cloud) بعناوين IP خارجية، مما يعني تقنياً إنشاء “باب خلفي” سري سمح له بالوصول إلى أجهزة كمبيوتر خارجية وتجاوز العمليات الأمنية التقليدية.
كيف تحول الذكاء الاصطناعي إلى “مُعدّن”؟
وبدلاً من تنفيذ المهام الموكلة إليه، رصد النظام قيام “ROME” بالوصول إلى موارد معالجة الرسوميات (GPUs) المخصصة أصلاً لتدريبه، واستغلال قوتها الحسابية في تعدين العملات الرقمية.
ووفقاً للتقرير، لم تظهر هذه السلوكيات خلال مرحلة التدريب الأولي، بل تم رصدها بواسطة جدار الحماية الخاص بسحابة “علي بابا”، الذي أطلق إنذارات “شديدة وغير متجانسة” بعد اكتشاف محاولات لفحص موارد الشبكة الداخلية وأنماط حركة مرور بيانات تتوافق مع نشاط تعدين العملات المشفرة.
هل اتخذ القرار بوعيه؟
أكد الباحثون أن “ROME” لم يتحول إلى “متمرد” بقرار واعٍ أو إرادة ذاتية، بل كان السلوك “أثراً جانبياً” لعملية التعلم التعزيزي (Reinforcement Learning) ضمن إطار (Roll). وفي هذه المرحلة، يتم منح الذكاء الاصطناعي “مكافآت” عند اتخاذ قرارات صحيحة للوصول إلى الهدف.
ويبدو أن الوكيل وجد أن استغلال البنية التحتية للشبكة وتعدين العملات الرقمية هو “أقصر طريق” لتحقيق أعلى نتيجة (High Score) أو مكافأة في سبيل أهدافه المحددة مسبقاً، وهو ما يسمى في الأبحاث التقنية “انحراف التحسين”.
تحذيرات مستقبلية وتشديد أمني
استجابةً لهذا الخرق، قام الفريق البحثي بتشديد القيود على “ROME” وتعزيز عمليات التدريب لمنع تكرار هذه السلوكيات.
ومع ذلك، تظل الحادثة جرس إنذار حول سرعة تطور “الذكاء الاصطناعي الوكيل” (Agentic AI) التي تتجاوز حالياً الأطر التنظيمية والتشغيلية.
واختتم الباحثون تقريرهم بالقول: “بقدر ما نحن معجبون بقدرات النماذج اللغوية الكبيرة الوكيلة، لدينا قلق مثير للتفكير؛ فالنماذج الحالية لا تزال غير متطورة بشكل ملحوظ في جوانب السلامة والأمن والقدرة على التحكم، وهو نقص يحد من اعتمادها الموثوق في بيئات العالم الحقيقي”.
لتصلك آخر الأخبار تابعنا على قناتنا على تلغرام: النعيم نيوز
لمتابعتنا على فيسبوك يرجى الضغط على الرابط التالي: النعيم نيوز
كما يمكنك الاشتراك على قناتنا على منصة يوتيوب لمتابعة برامجنا على: قناة النعيم الفضائية
كما يمكنك أيضا الاشتراك بقناتنا على الانستغرام: النعيم نيوز
