دعا ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، إلى إعادة صياغة جوهرية في كيفية تصميم نماذج الذكاء الاصطناعي المتقدمة، مشدداً على ضرورة تبني المؤسسات لنهج الافتراض المسبق بوقوع أخطاء أو تعرض هذه النماذج للاختراق أثناء تنفيذ مهامها الحساسة.
وفي مقال تحليلي نشره مؤخراً، طرح ناديلا مفهوم «فرامل الطوارئ»، وهي آلية تمنح البشر القدرة الفورية على إيقاف النموذج أثناء عمله، مع التأكيد على ضرورة فصل أدوات التحكم والمراقبة عن هيكلية النموذج ذاته، لضمان عدم خضوع الضوابط الأمنية لقرارات النموذج نفسه.
مبادئ هندسة الثقة الجديدة
يرى ناديلا أن الاعتماد على وعود الشركات المطورة لم يعد كافياً في ظل الطبيعة الاحتمالية للنماذج الحديثة. ولتحقيق أمان تقني حقيقي، اقترح سبعة مبادئ أساسية لتصميم أنظمة الذكاء الاصطناعي:
- تنوع النماذج: عدم الاعتماد على نموذج واحد في التنفيذ والتحقق.
- سجل مقاوم للعبث: توثيق كل خطوة مهمة يقوم بها الوكيل بشكل قابل للقراءة البشرية.
- الضوابط المستقلة: وضع أنظمة المراقبة خارج نطاق سيطرة النموذج.
- التدقيق المستمر: اختبارات دورية تشمل الهجمات والحالات الحدية.
- احتواء النموذج والإفصاح: الشفافية الكاملة عند وقوع أي اختراق أو سلوك غير مقصود.
- ناديلا يدعو إلى التعامل مع النماذج المتقدمة كمخاطر داخلية محتملة.
- المقترح يمنح البشر القدرة على إيقاف النموذج أثناء تنفيذ المهمة.
- كل تصرف مهم للوكيل يجب أن يترك سجلًا مقاومًا للعبث.
- الضوابط والمراقبة يجب أن تعمل بصورة مستقلة عن النموذج نفسه.
الوكلاء وصلاحيات التنفيذ
تأتي هذه الدعوة في وقت تمنح فيه الشركات وكلاء الذكاء الاصطناعي صلاحيات واسعة للوصول إلى الملفات والمتصفحات والأنظمة المؤسسية. ويؤكد ناديلا أن تشبيه فرامل الطوارئ يتناسب مع إدارة مخاطر الموظف الداخلي الذي يمتلك صلاحيات حساسة، حيث لا يتعلق الأمر بسوء النية، بل باحتمالية وقوع خطأ تقني فادح في بيئة حقيقية.
وتقاطعت رؤية ناديلا مع تحركات تقنية جارية، مثل إطلاق شركة NVIDIA لمنصة أمان وكلاء الذكاء الاصطناعي التي تهدف إلى فرض سياسات أمنية من خارج الوكيل، مما يعزز التوجه نحو عزل صلاحيات التنفيذ عن سلطة القرار الذاتي للنموذج، لضمان بقاء السيطرة البشرية هي المرجع النهائي في الحالات الطارئة.
