مخاطر أمن الذكاء الاصطناعي التوليدي: ست مخاطر وضوابطها والمسؤول عنها
ما الذي يتغير عندما تقرأ المساعدات الذكية والوكلاء بريدكم وملفاتكم؟ ست مخاطر أمنية للذكاء الاصطناعي التوليدي، والضابط الذي يقلّل كلاً منها، ومن المسؤول عنه.
الفرق الأساسي بين حماية الذكاء الاصطناعي التوليدي وحماية أي برنامج آخر أن التعليمات والبيانات تصل إليه من القناة نفسها. فالمساعد الذي يقرأ رسالة بريد أو ملف PDF أو صفحة ويب قد يعامل نصاً مكتوباً داخلها كأنه أمر، ثم ينفّذه بالصلاحيات التي منحتموه إياها. لذلك لا تكمن أهم مخاطر أمن الذكاء الاصطناعي التوليدي في النموذج نفسه، بل في ثلاثة أمور تتحكم بها المؤسسة: ما يستطيع المساعد قراءته، وما يستطيع فعله، وما تسجّله المؤسسة عن الأمرين.
ننصح المؤسسات التي تبدأ استخدام المساعدات الذكية والوكلاء بأن تضبط الصلاحيات أولاً: تضييق نطاق الموصلات (Connectors)، وتقليص صلاحيات الوكلاء، وتفعيل السجلات، قبل شراء أدوات الفلترة أو الرصد. فأدوات الفلترة مفيدة، لكن قائمة OWASP Top 10 for LLM Applications 2026 الصادرة في أغسطس 2026 أبقت حقن التعليمات في المرتبة الأولى، وتنصح بالاستعداد لليوم الذي ينجح فيه الهجوم. والصلاحيات هي التي تحدد حجم الضرر في ذلك اليوم. وفي هذا الخيار ثمن واضح: يصبح المساعد أقل فائدة في الأسابيع الأولى، ثم توسّعون صلاحياته كلما ظهرت أدلة على أنه يعمل بأمان.
ما الذي يختلف فعلاً في أمن الذكاء الاصطناعي التوليدي؟
الضوابط الحالية ما زالت مطلوبة: إدارة الهويات والأجهزة، وتحديث الأنظمة، ومراجعة الموردين. لكن الذكاء الاصطناعي التوليدي يضيف فوقها أربعة أمور جديدة.
- المحتوى يتحول إلى تعليمات. التطبيق التقليدي يفصل بين الكود والبيانات، أما النموذج اللغوي فيقرأ الاثنين نصاً واحداً. وكل مستند أو طلب دعم أو رسالة أو صفحة يفتحها المساعد ربما كتبها شخص من خارج المؤسسة.
- المساعد يعمل بصلاحيات غيره. الموصل الذي يربط المساعد بالبريد أو بمجلدات الملفات أو بنظام CRM يمنحه صلاحيات المستخدم أو صلاحيات حساب خدمة. والمجلدات التي شاركها أحدهم مع الجميع قبل سنوات قد تصبح متاحة للبحث خلال ثوانٍ.
- الرد يتغير وقد يؤدي إلى إجراء. الطلب نفسه قد يعطي ردوداً مختلفة. وإذا انتقل الرد إلى أداة تنفّذ، صار الرد الخاطئ إجراءً خاطئاً.
- السجلات القديمة لا تجيب عن الأسئلة الجديدة. قد تُظهر السجلات أن ملفاً أُرسل، لكنها قد لا تُظهر أي تعليمات وأي مستند استرجعه الوكيل وأي موافقة دفعت الوكيل إلى إرساله.
مخاطر أمن الذكاء الاصطناعي التوليدي في المؤسسات التي تستخدم المساعدات الذكية والوكلاء
قسّمنا المخاطر حسب المكان الذي تظهر فيه أثناء العمل اليومي، وذكرنا رقم كل منها في قائمة OWASP لعام 2026 إن وُجد (نقص السجلات ليس له بند مستقل)، ليرجع فريق الأمن إلى الإرشادات الكاملة.
1. حقن التعليمات (LLM01:2026 Prompt Injection)
يخفي شخص تعليمات داخل محتوى سيقرؤه المساعد: رسالة من مورد، أو سيرة ذاتية، أو مستند مشترك، أو صفحة ويب، وقد يتبعها المساعد. الحقن المباشر يأتي من المستخدم نفسه، أما الحقن غير المباشر فيأتي من محتوى يجلبه المساعد، وهو الأصعب على المؤسسات لأن أحداً من أطراف المحادثة لم يكتبه.
2. تسرّب البيانات عبر التعليمات (Prompts) والموصلات (LLM02:2026 Sensitive Information Disclosure)
للتسرّب طريقان. الأول أن يلصق الموظفون ملفات العملاء أو بيانات الرواتب في أدوات لم توافق عليها المؤسسة، وهو ما يشرحه دليلنا عن اكتشاف الذكاء الاصطناعي غير المعتمد. والثاني أن المساعد المعتمد يعرض كل ما تصل إليه موصلاته، فقد يظهر مجلد للموارد البشرية مشترك مع الجميع منذ سنوات في رد على سؤال موظف مبتدئ.
3. الوكالة المفرطة (LLM03:2026 Excessive Agency)
المقصود أن الوكيل يملك أدوات أو صلاحيات أو حرية أكثر مما تحتاجه مهمته: يرسل البريد إلى أي شخص، أو يوافق على مبالغ استرداد بلا حد، أو يحذف سجلات. وقد رفعت OWASP هذا الخطر إلى المرتبة الثالثة في 2026، لأن الضرر، بحسب تعبير OWASP، يقع اليوم في الأنظمة التي يتصرف فيها الوكلاء بأنفسهم. ويشرح مقالنا عن حوكمة وكلاء الذكاء الاصطناعي كيف تُحدَّد مستويات الاستقلالية لكل وكيل.
4. سوء التعامل مع ردود النموذج (LLM10:2026 Improper Output Handling)
يحدث هذا عندما ينتقل رد النموذج مباشرة إلى نظام آخر دون فحص: صفحة ويب، أو استعلام على قاعدة بيانات، أو قالب رسالة، أو كود يدمجه المطوّر دون أن يقرأه. وقد وسّعت قائمة 2026 هذا البند ليشمل الكود غير الآمن الذي تكتبه المساعدات الذكية بكميات كبيرة.
5. سلسلة التوريد: النماذج والإضافات والموصلات (LLM04:2026 Supply Chain)
يعتمد الذكاء الاصطناعي في المؤسسة على مكونات لم تبنها: نماذج مستضافة، وملفات نماذج مفتوحة، وموصلات، وخوادم MCP، وإضافات المتصفح، وحزم أدوات من جهات خارجية. وقد يتلاعب بها أحد، أو تكون فيها ثغرات من الأصل. ويغطي بند سلسلة التوريد في قائمة OWASP النماذج وحزم الأدوات الخارجية، كما تذكر NIST الخطر نفسه تحت اسم "Value Chain and Component Integration"، أي دمج مكونات من أطراف خارجية دون وضوح في مصدرها.
6. نقص السجلات والمعلومات المخفية في التعليمات
إذا لم تستطع المؤسسة أن تعرف بدقة ما قرأه الوكيل وما قرره وما فعله، فلن تستطيع التحقيق في حادث، ولا إثبات أن ضابطاً يعمل. ومن المشكلات القريبة من ذلك وضع كلمات المرور أو المفاتيح أو قواعد العمل داخل تعليمات النظام (System Prompt). فالبند LLM08:2026 Hidden Context Exposure ينصح المطورين بأن يفترضوا أن هذه التعليمات المخفية يمكن كشفها، وألا يضعوا فيها أي بيانات لتسجيل الدخول.
جدول المخاطر والضوابط: ما الذي يقلّل كل خطر، ومن المسؤول عنه؟
المسؤولون في الجدول أدوار، وليسوا أشخاصاً بعينهم. في شركة متوسطة الحجم قد يتولى شخص واحد ثلاثة أدوار، والمهم أن يكون أمام كل ضابط اسم شخص محدد.
| الخطر | الضابط الذي يقلّله | المسؤول |
|---|---|---|
| حقن التعليمات | معاملة كل محتوى يجلبه المساعد على أنه غير موثوق؛ المساعد الذي يقرأ محتوى من الخارج يحصل على أدوات قراءة فقط؛ التأكيد البشري قبل أي إجراء يرسل أو يدفع أو يحذف | فريق الأمن يضع القاعدة، ومسؤول العملية يوافق على الإجراءات |
| تسرّب البيانات عبر التعليمات | أدوات معتمدة بشروط استخدام مؤسسية؛ قواعد استخدام البيانات في سياسة الاستخدام المقبول؛ منع تسرّب البيانات (DLP) على المتصفح والأجهزة | مسؤول حماية البيانات مع إدارة تقنية المعلومات |
| تسرّب البيانات عبر الموصلات | تصحيح صلاحيات الملفات وصناديق البريد قبل الربط؛ ربط مواقع محددة بالاسم لا الحساب المؤسسي كله؛ مراجعة نطاق الموصلات كل ثلاثة أشهر | مسؤول المنصة في تقنية المعلومات، والمسؤول عن كل مصدر بيانات |
| الوكالة المفرطة | أقل صلاحية تكفي لكل أداة؛ حدود للمبالغ وعدد العمليات؛ موافقة على كل خطوة لا يمكن التراجع عنها؛ طريقة مجرَّبة لإيقاف الوكيل | مسؤول العملية في الإدارة المعنية مع فريق المنصة |
| سوء التعامل مع الردود | فحص رد النموذج كما يُفحص إدخال المستخدم قبل وصوله إلى نظام آخر؛ مراجعة الكود الذي تكتبه أدوات الذكاء الاصطناعي | مسؤول التطبيق أو قائد فريق التطوير |
| سلسلة التوريد | قائمة بالنماذج والموصلات والإضافات المعتمدة؛ التحقق من المصدر والإصدار قبل التثبيت؛ مراجعة المورد | فريق الأمن مع المشتريات |
| نقص السجلات والمعلومات المخفية | تسجيل التعليمات والمصادر المسترجعة واستدعاءات الأدوات والموافقات؛ إرسالها إلى نظام المراقبة الأمنية؛ عدم وضع كلمات مرور أو مفاتيح في التعليمات؛ مدة الاحتفاظ وفق قواعد استخدام البيانات | فريق العمليات الأمنية، ومسؤول حماية البيانات لمدة الاحتفاظ |
وخلف الجدول كله قاعدتان. الأولى أن فحص الصلاحيات يجري في الكود أو في النظام المستهدف، ولا يُترك لتقدير النموذج، وتسمي OWASP ذلك "complete mediation" أي فحص كل طلب قبل تنفيذه. والثانية أن يكون كل ضابط قابلاً للاختبار، حتى تُثبت المراجعة أنه يعمل بدل أن تفترض ذلك.
مثالان توضيحيان من الأردن والخليج
شركة خدمات مالية في عمّان (مثال توضيحي). لديها نحو 400 موظف، وتريد ربط مساعد مؤسسي بالبريد ومخزن المستندات. قبل الربط يحصر فريق تقنية المعلومات كل مجلد مشترك مع جميع الموظفين، فيجد بينها أوراق مجلس الإدارة وملفات الرواتب. تصحّح الشركة هذه الصلاحيات أولاً، وتربط ثلاث إدارات فقط، وتؤجل الباقي إلى مرحلة ثانية. الإطلاق أبطأ والردود الأولى أضيق، لكن أي موظف لم يعد يستطيع الوصول إلى ملفات الرواتب بسؤال واحد للمساعد.
شركة لوجستية في الرياض (مثال توضيحي). لديها وكيل خدمة عملاء على WhatsApp يتعامل مع شكاوى التوصيل بالعربية والإنجليزية. رسائل العملاء محتوى غير موثوق، لذلك يستطيع الوكيل البحث عن الطلبات وإضافة رصيد إلى حساب العميل حتى مبلغ محدد فقط، وأي استرداد نقدي يذهب إلى موظف. وهذا يطابق الأسلوب المتدرج الذي تصفه OWASP، وهي تستخدم مثالاً مشابهاً عن الرصيد في المتجر: الإجراءات التي يمكن التراجع عنها تجري تلقائياً، والإجراءات التي لا يمكن التراجع عنها تذهب إلى المراجعة البشرية. وكل محادثة وبحث ورصيد مضاف يُسجَّل مع رقم الطلب، فيمكن تتبع أي استرداد مختلف عليه وصولاً إلى الرسالة التي سببته. ولمعرفة كيف تضع خدمتنا الحدود والموافقات وسجلات التدقيق لهذا النوع من الوكلاء، راجعوا صفحة وكلاء الذكاء الاصطناعي.
بأي أطر عمل تربطون الضوابط؟
ننصح بقائمة واحدة للعمل اليومي واثنتين للتعمق، بدل خمس قوائم متداخلة.
- قائمة OWASP Top 10 for LLM Applications 2026 لأسماء المخاطر التي يعرفها المطورون والموردون، وهي تحل محل إصدار 2025، ونشرتها OWASP في 3 أغسطس 2026. لكن الصفحة الرئيسية للقائمة على موقعها كانت لا تزال تعرض قائمة 2025 عندما راجعناها في 19 أكتوبر 2026، لذلك تأكدوا من الإصدار الذي يقصده المورد عندما يذكر رقم خطر: فالرقم LLM03 يعني سلسلة التوريد في إصدار 2025، والوكالة المفرطة في إصدار 2026. وللوكلاء الذين يملكون أدوات وذاكرة، تحيل OWASP إلى قائمتها المرافقة Top 10 for Agentic Applications الصادرة في ديسمبر 2025.
- وثيقة NIST AI 600-1 المعروفة باسم Generative AI Profile (يوليو 2024) للحوكمة، أي توزيع القرار والمسؤولية. تذكر الوثيقة 12 خطراً يُنشئها الذكاء الاصطناعي التوليدي أو يزيدها، منها أمن المعلومات وخصوصية البيانات، مع إجراءات مقترحة لكل منها. وهي إرشادات اختيارية، وليست قانوناً.
- MITRE ATLAS لفريق الأمن عند تحليل التهديدات: قاعدة معلومات مفتوحة عن أساليب المهاجمين وتقنياتهم ضد أنظمة الذكاء الاصطناعي.
وإذا حملت التعليمات أو الموصلات بيانات شخصية، فإن قانون حماية البيانات وقواعد القطاع التي تنطبق على مؤسستكم تؤثر أيضاً في قرارات الاحتفاظ بالبيانات ونقلها والوصول إليها. هذه معلومات عامة وليست استشارة قانونية، والالتزامات تتوقف على قطاع المؤسسة ونوع بياناتها.
من أين تبدأون؟
ابدأوا بحصر كل مساعد ووكيل مستخدم في المؤسسة، وما يتصل به كل منها، وما يستطيع فعله. هذه القائمة وحدها تكشف الخانات الفارغة في عمود المسؤول في الجدول أعلاه. وتراجع خدمة تقييم أمن الذكاء الاصطناعي ومراقبته المساعدات والوكلاء من حيث حقن التعليمات وتسرّب البيانات والصلاحيات، مع لوحة متابعة (Dashboard) للتدقيق والاستخدام. وإذا احتجتم أيضاً إلى السياسة وتوزيع صلاحيات القرار وسجل المخاطر الخاصة بها، فخدمة إرساء حوكمة الذكاء الاصطناعي والامتثال تغطي ذلك، والخدمتان ضمن مختبر الحوكمة.
وإذا لم تكونوا متأكدين من نقطة البداية، فخدمة مسح واقع الذكاء الاصطناعي في شركتكم محادثة مجانية مدتها 45 دقيقة تنتهي بخطوة تالية مكتوبة.
أسئلة شائعة
ما أهم مخاطر أمن الذكاء الاصطناعي التوليدي في المؤسسات؟
في المؤسسة التي تستخدم المساعدات الذكية والوكلاء، أهم المخاطر هي حقن التعليمات، وتسرّب البيانات عبر التعليمات والموصلات، ووكلاء لديهم صلاحيات أكثر مما تحتاجه مهمتهم، وانتقال ردود النموذج إلى أنظمة أخرى دون فحص، ونماذج وموصلات غير موثوقة في سلسلة التوريد، وسجلات لا تُظهر ما قرأه الوكيل وما قرره وما فعله. وتذكر قائمة OWASP Top 10 for LLM Applications 2026 معظم هذه المخاطر.
هل يمكن منع حقن التعليمات تماماً؟
لا يوجد اليوم ضابط يزيله تماماً، إذ تقول قائمة OWASP لعام 2026 إنه لا توجد حتى الآن وسيلة موثوقة لمنعه، وقد أبقته في المرتبة الأولى ونصحت بالاستعداد لليوم الذي ينجح فيه. أدوات الفلترة تقلّله. أما تقييد ما يستطيع المساعد فعله بعد قراءة محتوى من الخارج، وطلب التأكيد البشري قبل أي إجراء يرسل أو يدفع أو يحذف، وفحص الصلاحيات خارج النموذج، فهي التي تحدّ من الضرر إذا نجح الهجوم.
من المسؤول عن أمن الذكاء الاصطناعي التوليدي في الشركة؟
لا يتولاه فريق واحد. فريق الأمن يضع قواعد التعامل مع المحتوى غير الموثوق والسجلات وسلسلة التوريد. ومسؤول حماية البيانات يتولى قواعد استخدام البيانات ومدة الاحتفاظ بالسجلات. ومسؤول المنصة في تقنية المعلومات يحدد نطاق الموصلات. ومسؤول كل عملية يوافق على ما يحق للوكيل فعله فيها. والمهم أن يكون أمام كل ضابط اسم شخص محدد، حتى لو تولى شخص واحد عدة أدوار.
ما الفرق بين حماية وكيل ذكاء اصطناعي وحماية روبوت محادثة؟
روبوت المحادثة الذي يجيب فقط قد يكشف معلومات أو يعطي إجابات خاطئة. أما الوكيل فيستطيع أن يتصرف: يرسل البريد، ويعيد المبالغ إلى العملاء، ويعدّل السجلات. وهذا يضيف خطر الوكالة المفرطة، أي أن يملك الوكيل صلاحيات أو أدوات أكثر مما تحتاجه مهمته. لذلك يحتاج الوكيل إلى أقل صلاحية تكفي لكل أداة، وحدود للمبالغ وعدد العمليات، وموافقة على الخطوات التي لا يمكن التراجع عنها، وطريقة مجرَّبة لإيقافه، وسجلات لكل استدعاء أداة وكل موافقة.
تصلكم مقالاتنا الجديدة بالبريد
رسالة واحدة عند نشر ما يفيدكم، بلا إزعاج، ويمكنكم إلغاء الاشتراك في أي وقت.
الخدمات في هذا المقال
المختبر المرتبط: مختبر الحوكمة ↖
