حوكمة وكلاء الذكاء الاصطناعي: لماذا تحتاج الأنظمة المستقلة نموذج حوكمة خاصاً بها

تفترض معظم برامج أمن التطبيقات أن البرمجية تنفّذ ما طُلب منها، بالترتيب الذي طُلب به. وكيل الذكاء الاصطناعي يكسر هذا الافتراض بتصميمه. فهو يقرر أي أداة يستدعي، وبأي ترتيب، بناءً على موجّه ونموذج، وقد يخطئ بطرق يصعب التنبؤ بها من الشيفرة وحدها. التعامل مع وكيل الذكاء الاصطناعي كتطبيق عادي في سجل الأصول يعني حوكمة الحاوية مع إغفال المخاطرة الفعلية، والتي تكمن فيما يُسمح للوكيل بفعله بمجرد أن يبدأ التشغيل.

الهوية: من، أو ما الذي يتصرف

يحتاج كل وكيل ذكاء اصطناعي إلى هوية مستقلة عن الشخص الذي نشره ومستقلة عن حساب الخدمة الذي يعمل تحته. بدون ذلك، يصبح "الوكيل هو من فعل ذلك" و"شخص استخدم بيانات اعتماد الوكيل" أمرين لا يمكن تمييزهما في السجلات، وهو بالضبط الغموض الذي لا تحتمله عملية الاستجابة للحوادث.

الصلاحيات: مبدأ الحد الأدنى ينطبق هنا أيضاً

ينبغي أن تقتصر صلاحيات الوكيل على أضيق مجموعة من الأنظمة والإجراءات التي يحتاجها فعلاً، وأن تُراجَع بشكل دوري، لا أن تُمنح مرة واحدة ثم تُنسى. يؤطر إطار NIST لإدارة مخاطر الذكاء الاصطناعي هذا كجزء من انضباط أوسع يتمثل في رسم سياق نظام الذكاء الاصطناعي وحوكمته وفقاً لذلك، بدلاً من افتراض أن موافقة لمرة واحدة تغطي الوكيل طوال دورة تشغيله.

الرقابة: من يراجع ما قرره الوكيل

الاستقلالية بلا مراجعة هي الفجوة الحوكمية الحقيقية. الوكيل القادر على اتخاذ إجراء، لا مجرد التوصية به، يحتاج نقطة محددة يراجع فيها إنسان أو ضابط تحكم النتائج، خصوصاً في أي إجراء لا رجعة فيه: إرسال بريد إلكتروني، تحريك أموال، حذف بيانات، تغيير صلاحية.

سؤال الحوكمة	التطبيق التقليدي	وكيل الذكاء الاصطناعي المستقل
من المسؤول عن إجراء تم اتخاذه؟	المستخدم الذي أطلقه	يحتاج مالكاً صريحاً؛ لا يمكن مساءلة الوكيل وحده
هل يمكن التنبؤ الكامل بالسلوك من مراجعة الشيفرة؟	غالباً نعم	لا؛ يتغير سلوك النموذج حسب الموجّه والسياق
كم مرة ينبغي مراجعة الصلاحيات؟	دورياً	بشكل أكثر تكراراً، وبعد أي تغيير في أدوات الوكيل أو نطاقه

المساءلة: جواز سفر لا موافقة لمرة واحدة

يتعامل نموذج الحوكمة العملي مع كل وكيل ذكاء اصطناعي وكأنه يحمل جواز سفر: سجل دائم وقابل للتدقيق يوضح من يملكه، وما يُسمح له بلمسه، وما فعله، ومتى آخر مراجعة له. ينبغي أن يكون هذا السجل قابلاً للاستعلام بشكل مستقل عن الوكيل نفسه، بحيث لا تعتمد الحوكمة على دقة تقرير الوكيل عن سلوكه الخاص.

ما زالت وكلاء الذكاء الاصطناعي المستقلة جديدة بما يكفي لتحكم معظم المؤسسات فيها بسياسات كُتبت للبرمجيات العادية. هذه الفجوة بالضبط هي ما يحتاج برنامج حوكمة وكلاء الذكاء الاصطناعي إلى سدّه أولاً، قبل أن يجعل النمو تكلفة إصلاحها باهظة.