حوكمة وكلاء الذكاء الاصطناعي: ضوابط تشغيل الوكلاء في سير العمل الفعلي
كيف تُدخل وكلاء الذكاء الاصطناعي في سير العمل الفعلي بضوابط قابلة للتطبيق: مستويات الاستقلالية، وصلاحيات الأدوات، والتأكيد البشري، وسجلات التدقيق، والميزانيات، وزر الإيقاف، والاختبار بالعربية.
حوكمة وكلاء الذكاء الاصطناعي هي مجموعة الحدود التي تقرر ما يجوز للوكيل فعله وحده: أيّ الأدوات يستدعي وبأيّ صلاحيات، ومتى يجب أن يؤكد موظف الإجراء، وكيف يُسجَّل كل إجراء، وكم يُسمح له أن ينفق، وكيف يُوقَف. اكتب هذه الحدود في الشيفرة وفي آليات العمل قبل الإطلاق، واختبرها بالعربية والإنجليزية، وابدأ كل مسار عمل بأدنى مستوى استقلالية يوفّر وقتاً فعلياً. يغطي هذا الدليل مستويات الاستقلالية، والصلاحيات، ونقاط التأكيد، وسجلات التدقيق، والميزانيات، وزر الإيقاف، وحقن التعليمات، ووكلاء المحادثة والصوت الذين يخدمون العملاء.
ما الذي يتغير حين ينتقل الذكاء الاصطناعي من الإجابة إلى التنفيذ؟
يعيد مساعد المحادثة نصاً يقرؤه الموظف ثم يتصرف بناءً عليه. أما الوكيل فيستدعي الأدوات بنفسه: يقرأ سجلاً في نظام إدارة علاقات العملاء، ويصرف مبلغاً مسترداً، ويحجز موعداً، ويرسل رسالة. فينتقل الخطر من إجابة خاطئة إلى إجراء خاطئ، وقد يصل الإجراء الخاطئ إلى العملاء والأموال والسجلات قبل أن ينتبه أحد.
تضع قائمة OWASP Top 10 for LLM Applications 2026، المنشورة في أغسطس 2026، حقنَ التعليمات (Prompt Injection) في المرتبة الأولى، والوكالة المفرطة (Excessive Agency) في المرتبة الثالثة. وتعرّف OWASP الوكالة المفرطة بأنها الثغرة التي تسمح لنظام قائم على نموذج لغوي كبير بتنفيذ إجراءات ضارة استجابةً لنتائج غير متوقعة أو غامضة أو تم التلاعب بها. وتُرجعها إلى ثلاثة أسباب جذرية: وظائف زائدة، وصلاحيات زائدة، واستقلالية زائدة.
وتضيف قائمة OWASP المستقلة Top 10 for Agentic Applications، الصادرة في ديسمبر 2025، مخاطر خاصة بالوكلاء، منها اختطاف هدف الوكيل، وإساءة استخدام الأدوات واستغلالها، وإساءة استخدام الهوية والصلاحيات، والوكلاء الخارجون عن السيطرة. ولكل خطر منها ضابط يمكن تصميمه: أدوات أقل، وصلاحيات أضيق، ونقاط واضحة يقرر فيها الإنسان.
حدّد مستويات الاستقلالية قبل اختيار الأدوات
اتفق على مستوى الاستقلالية لكل إجراء، لا لكل وكيل. فقد يكتب الوكيل نفسه المسودات بحرية، ويحدّث التذكرة وحده، ومع ذلك يحتاج إلى موافقة قبل تحريك أي مبلغ. ونعتمد في هذا الدليل خمسة مستويات.
| المستوى | ما يفعله الوكيل | مثال | متى يناسب عادةً |
|---|---|---|---|
| L0 الاقتراح | يكتب مسودة أو يوصي، والموظف ينفّذ | يكتب مسودة رد يعدّلها موظف الدعم | مسارات العمل الجديدة والقرارات الخاضعة للتنظيم |
| L1 التنفيذ بموافقة | يجهّز الإجراء، ويؤكد الموظف كل إجراء | يجهّز مبلغاً مسترداً يعتمده المشرف | المدفوعات، والرسائل الخارجية، وتعديل السجلات |
| L2 التنفيذ ضمن حدود | ينفّذ وحده الإجراءات منخفضة الأثر القابلة للتراجع ضمن حدود معيّنة، ويصعّد ما عداها | يغيّر موعداً، ويصعّد الإلغاءات التي تترتب عليها رسوم | مسارات عمل مجرّبة ذات حدود واضحة |
| L3 التنفيذ مع التقرير | ينفّذ ضمن نطاق محدد، ويراجع الموظفون عيّنات واستثناءات | يصنّف البريد الوارد ويوجّهه، ويراجع قائد الفريق عيّنة يومية | مسارات عمل داخلية ناضجة اختُبرت جيداً |
| L4 الاستقلال التام | ينفّذ دون مراجعة بشرية دورية | يرتّب التذاكر المكررة في قائمة داخلية | المهام الداخلية منخفضة المخاطر فقط |
وتصف OWASP الفكرة نفسها بالتطبيق المتدرّج: تُعتمد الإجراءات منخفضة العواقب أو التي يسهل التراجع عنها تلقائياً، وتذهب الإجراءات التي لا يمكن التراجع عنها إلى مراجعة بشرية. ومثالها روبوت محادثة لخدمة العملاء يصرف وحده المبلغ المسترد على شكل رصيد في المتجر، لكنه يحوّل أي دفعة خارجية إلى موظف.
صلاحيات الأدوات ونقاط التأكيد وسجلات التدقيق وزر الإيقاف
الصلاحيات
- امنح الوكيل الأدوات التي يحتاجها مسار العمل فقط، واحذف الأدوات المتبقية من مرحلة الاختبار.
- فضّل الأدوات المحددة على المفتوحة. فأداة تكتب نوعاً واحداً من الملفات أكثر أماناً من الوصول إلى سطر الأوامر، وأداة تلخّص البريد يجب ألا تستطيع إرساله.
- اربط كل أداة بهوية تطبّق مبدأ الحد الأدنى من الصلاحيات: قراءة فقط حيثما أمكن، ومحصورة في الجداول أو المجلدات أو صناديق البريد المعنية.
- نفّذ الإجراءات في سياق المستخدم الذي يخدمه الوكيل، حتى لا يصل إلى سجلات مستخدم آخر.
- طبّق التحقق من الصلاحيات في الشيفرة أو في النظام المستهدف. لا يجوز أن يكون النموذج هو من يقرر ما إذا كان الإجراء مسموحاً به.
نقاط التأكيد البشري
اشترط تأكيد موظف للمدفوعات والمبالغ المستردة فوق حدّ معيّن، ولأي رسالة تخرج من المؤسسة، ولعمليات الحذف، ولتعديل سجلات العملاء أو الموظفين، ولكل ما لا يمكن التراجع عنه. واعرض طلب التأكيد بلغة المستخدم مع الإجراء والقيم بدقة، كالمبلغ والحساب والمستلم، لا بملخص عام.
سجلات التدقيق
سجّل كل خطوة حتى تستطيع إعادة بناء ما حدث: الوقت، وإصدار الوكيل والنموذج، والمستخدم أو الجلسة، والمصادر التي قرأها الوكيل، وكل استدعاء أداة بمدخلاته ونتيجته، ومن وافق على ماذا، وتكلفة التشغيل. وأخفِ البيانات الشخصية التي لن يحتاجها أي تحقيق، وحدّد مدة احتفاظ تتوافق مع سياسة السجلات لديك.
الميزانيات وحدود الاستخدام وزر الإيقاف
يعمل الوكلاء في حلقات متكررة، وقد يستدعي وكيل مرتبك أو تم التلاعب به نموذجاً أو أداة مرات كثيرة في دقائق. وتدرج OWASP الاستهلاك غير المحدود (Unbounded Consumption) في البند LLM06:2026، ومنه استنزاف الميزانية (denial of wallet)، حين يرفع المهاجم تكاليف الدفع حسب الاستخدام. وتدعو إلى ضوابط تكلفة تحتسب الوحدات النصية (tokens)، وسقوف إنفاق صارمة، وقواطع تشغيل على مستوى الوكيل.
- سقوف لكل مهمة: حدّ أقصى لعدد الخطوات والوحدات النصية واستدعاءات الأدوات في المهمة الواحدة.
- ميزانية يومية: حدّ إنفاق لكل وكيل، مع تنبيهات قبل بلوغه وتوقف إلزامي عنده.
- حدود لكل أداة: مثل عدد الرسائل أو المبالغ المستردة أو تعديلات السجلات المسموح بها في الساعة.
- قواطع التشغيل: تُوقف الوكيل مؤقتاً وتنبّه موظفاً عند ارتفاع مفاجئ في الأخطاء أو حالات الرفض أو التكاليف.
- زر الإيقاف الطارئ: إجراء واحد موثّق، يتولاه شخص محدد بالاسم، يعطّل أدوات الوكيل أو يلغي بيانات اعتماده ويحوّل العمل المفتوح إلى فريق بشري. اختبره بتمرين قبل الإطلاق.
وتوصي قائمة OWASP لتطبيقات الوكلاء بهذا النوع من الاحتواء للوكلاء الخارجين عن السيطرة: أزرار إيقاف وإلغاء بيانات الاعتماد لتعطيل الوكيل فوراً.
حقن التعليمات: خطر لا تزيله المرشِّحات
يشرح بند OWASP لعام 2026 سبب استمرار حقن التعليمات: لا تفرّق النماذج اللغوية في بنيتها بين التعليمات والبيانات. فقد تصل التعليمات الخبيثة عبر مدخلات المستخدم، أو المستندات المسترجَعة، أو مخرجات الأدوات، أو الصوت، أو الصور، أو ذاكرة الوكيل نفسها. وقد تُرمَّز بطرق لا تكتشفها المرشِّحات، ومنها اللغات منخفضة الموارد. وبالنسبة إلى الوكيل، قد يحاول أي بريد أو ملف PDF أو صفحة ويب أو رسالة WhatsApp يقرؤها إصدار أوامر إليه.
المرشِّحات تساعد، لكن الدفاع الأكثر فاعلية هو تقييد ما يستطيع الحقن الناجح فعله.
- تعامل مع كل مدخل خارجي على أنه غير موثوق، وضع عليه وسماً يبيّن ذلك، وافصله عن تعليماتك.
- أبقِ الأدوات عالية الأثر خلف تأكيد بشري، حتى لا تستطيع تعليمات محقونة إتمام دفعة أو إخراج بيانات وحدها.
- اسمح للوكيل بإرسال البيانات إلى مستلمين ونطاقات معتمدة فقط.
- اختبر بمدخلات عدائية قبل الإطلاق وبعد كل تغيير، بالعربية والإنجليزية والعربيزي والنصوص المختلطة.
وكلاء المحادثة والصوت للعملاء باللهجات العربية
يواجه وكلاء خدمة العملاء أوسع تنوع لغوي. فقد يكتب عميل في الرياض أو عمّان أو القاهرة بلهجته، أو ينتقل إلى الإنجليزية في منتصف الجملة، أو يكتب العربية بحروف لاتينية. ابنِ حزمة الاختبار من محادثات فعلية بعد حذف البيانات الشخصية منها، تغطي اللهجات التي تخدمها، واحسب نسبة حل الطلبات لكل لهجة، لا النسبة الإجمالية فقط.
ويضيف الصوت أخطاء التعرف على الكلام في الأسماء والأرقام والتواريخ. اجعل الوكيل يعيد قراءة المبالغ والتواريخ وأرقام المراجع، وينتظر تأكيداً صريحاً قبل التنفيذ. وحدّد مسبقاً حالات التحويل إلى موظف: شكوى، أو عميل من الفئات الأكثر عرضة للضرر، أو ثقة منخفضة، أو سوء فهم متكرر، أو طلب صريح للتحدث مع شخص. وانقل سجل المحادثة كاملاً حتى لا يضطر العميل إلى إعادة ما قاله.
وتنطبق حماية البيانات على هذه المحادثات، إذ يذكر المرسوم بقانون اتحادي رقم (45) لسنة 2021 بشأن حماية البيانات الشخصية في الإمارات صوت الشخص ضمن عناصر التعريف التي تجعل البيانات شخصية. وتمنح المادة 18 منه صاحب البيانات، مع استثناءات محددة، حق الاعتراض على القرارات الصادرة عن المعالجة المؤتمتة التي لها تبعات قانونية أو تؤثر فيه تأثيراً جسيماً، وتُلزم المتحكم بإدخال العنصر البشري في مراجعة هذه القرارات بناءً على طلب صاحب البيانات. ولكلٍّ من السعودية والأردن ومصر وغيرها من الدول التي تخدمها قوانينها الخاصة لحماية البيانات بقواعد مختلفة، كما تعتمد التفاصيل في القانون الإماراتي على لائحته التنفيذية. هذه معلومات عامة ولا تُعتبر استشارة قانونية، وتختلف الالتزامات بحسب القطاع وطبيعة البيانات والدول التي تخدمها.
التقييم قبل الإطلاق: قائمة تحقق
اعتماد التصميم
- وثيقة مكتوبة تحدد مستوى الاستقلالية لكل إجراء، يوقّعها المالك المسؤول عن العمل.
- سجل أدوات يذكر كل أداة وصلاحياتها والهوية التي تستخدمها، يراجعه فريق الأمن.
- نقاط التأكيد والميزانيات والحدود وزر الإيقاف مضبوطة، ولكل منها مسؤول محدد بالاسم.
أدلة الاختبار
- نسبة إنجاز المهام تم قياسها على حزمة اختبار ثابتة، مع عدّ الإجراءات الخاطئة منفصلةً عن الإجابات الخاطئة.
- حالات باللهجات العربية والعربيزي والنصوص المختلطة، مع نتائج لكل نوع.
- اختبارات حقن التعليمات عبر كل قناة يقرأ منها الوكيل.
- تمرين على زر الإيقاف واختبار للتحويل إلى موظف، مع مراجعة سجل التدقيق من البداية إلى النهاية.
بعد الإطلاق، واصل تشغيل حزمة الاختبار نفسها. فتحديثات النموذج وتغييرات التعليمات والأدوات الجديدة قد تغيّر السلوك، لذا أعد التقييم مع كل تغيير، وراجع السجلات والتكاليف وفق جدول ثابت.
من أين تبدأ؟
تبني خدمة وكلاء الذكاء الاصطناعي ووكلاء المحادثة والصوت وكلاء متعددي الخطوات بحدود وميزانيات وسجلات تدقيق وموافقات، ووكلاء محادثة وصوت على الويب وWhatsApp وTeams والهاتف. وتتولى خدمة عمليات الذكاء الاصطناعي (AIOps) التقييم والمراقبة وضبط التكلفة والانتقال بين النماذج بعد التشغيل الفعلي، وتنتمي الخدمتان إلى مختبر التحوّل. أما خدمة تقييم أمن الذكاء الاصطناعي ومراقبته فتراجع مخاطر حقن التعليمات وكشف البيانات والصلاحيات في المساعدات والوكلاء. وتوضح صفحتا وكلاء الذكاء الاصطناعي والدعم والوكلاء الصوتيين كيف تترابط هذه الخدمات.
وإن كنت ما زلت تحدد مسارات العمل الجاهزة لوكيل، فابدأ بخدمة مسح واقع الذكاء الاصطناعي في شركتكم المجانية: محادثة مدتها 45 دقيقة تنتهي بخطوة تالية مكتوبة.
أسئلة شائعة
ما المقصود بحوكمة وكلاء الذكاء الاصطناعي؟
هي مجموعة القواعد والضوابط التقنية التي تحدد ما يجوز لوكيل الذكاء الاصطناعي فعله دون تدخل بشري: الأدوات التي يستخدمها وصلاحياتها، والإجراءات التي تحتاج إلى تأكيد موظف، وطريقة تسجيل إجراءاته، وحدود إنفاقه، وطريقة إيقافه. والحوكمة الجيدة تُكتب قبل الإطلاق، وتُطبَّق في الشيفرة، وتُختبر بانتظام.
ما الفرق بين وكيل الذكاء الاصطناعي وروبوت المحادثة؟
يجيب روبوت المحادثة عن الأسئلة ويترك التنفيذ للموظف. أما وكيل الذكاء الاصطناعي فينفّذ بنفسه: يستدعي أدوات لقراءة السجلات وتعديلها، وإرسال الرسائل، وحجز المواعيد، وصرف المبالغ المستردة، وغالباً عبر عدة خطوات. وهذه القدرة هي ما يجعل الوكلاء مفيدين، وهي سبب حاجتهم إلى صلاحيات ونقاط تأكيد وميزانيات وسجلات تدقيق لا يحتاجها روبوت المحادثة البسيط.
كيف نحمي وكلاء الذكاء الاصطناعي من حقن التعليمات؟
لا يزيل أي مرشِّح هذا الخطر تماماً، لأن النماذج اللغوية لا تفصل بين التعليمات والبيانات. لذا قيّد ما يستطيع الحقن الناجح فعله: امنح الوكيل الأدوات التي يحتاجها فقط، واستخدم صلاحيات القراءة فقط حيثما أمكن، واشترط تأكيداً بشرياً للإجراءات عالية الأثر، واسمح بإرسال البيانات إلى جهات معتمدة فقط، واختبر بمدخلات عدائية في كل لغة وقناة يقرأ منها الوكيل، ومنها العربية والعربيزي.
هل يجوز أن ينفّذ وكلاء الذكاء الاصطناعي إجراءات دون موافقة بشرية؟
لا يجوز ذلك إلا في الإجراءات منخفضة الأثر التي يسهل التراجع عنها، وضمن حدود قصوى محددة. أما المدفوعات فوق حدّ معيّن، والرسائل الخارجة من المؤسسة، وعمليات الحذف، وتعديل سجلات العملاء، فتحتاج إلى تأكيد موظف. حدّد مستوى الاستقلالية لكل إجراء لا لكل وكيل، وابدأ بمستوى منخفض، ولا ترفعه إلا حين تدعم نتائج التقييم وسجلات التدقيق ذلك.
هل يستطيع وكلاء الذكاء الاصطناعي التعامل مع اللهجات العربية في خدمة العملاء؟
غالباً، لكنك لن تعرف ذلك إلا باختبارهم على اللهجات التي يستخدمها عملاؤك فعلاً. ابنِ حزمة تقييم من محادثات حقيقية بعد حذف البيانات الشخصية منها، باللهجات الخليجية أو الشامية أو المصرية أو غيرها، وبالعربيزي والنصوص المختلطة بالإنجليزية، واعرض النتائج لكل لهجة. وفي القنوات الصوتية أضف إعادة قراءة الأرقام والتواريخ، وقواعد واضحة للتحويل إلى موظف حين يتعثر الوكيل.
تصلكم مقالاتنا الجديدة بالبريد
رسالة واحدة عند نشر ما يفيدكم، بلا إزعاج، ويمكنكم إلغاء الاشتراك في أي وقت.
الخدمات في هذا المقال
المختبر المرتبط: مختبر التحوّل ↖
