مراقبة النماذج اللغوية في بيئة الإنتاج: قائمة عملية لفرق التشغيل

قد تظهر العلامة الأولى في الفاتورة الشهرية: كلفة المساعد الذكي ارتفعت كثيراً عن الشهر الماضي، مع أن عدد المحادثات لم يتغير. وقد تلاحظ مشرفة خدمة العملاء أن الإجابات العربية بدأت تخلط كلمات إنجليزية بعد تحديث للنموذج لم ينتبه إليه أحد في الفريق. المعنى في الحالتين واحد: شيء ما تغيّر في النظام، ولم يكن أحد يقيس هذا الجزء. مراقبة النماذج اللغوية في بيئة الإنتاج، أي في النظام الذي يستخدمه العملاء والموظفون فعلاً، تسد هذه الفجوة بستة مؤشرات، لكل منها حدّ تنبيه وشخص محدد بالاسم يتصرف عند تجاوزه. ننصح ببناء مجموعة أسئلة اختبار ثابتة وقائمة المسؤولين قبل شراء أي أداة للوحات المتابعة، لأن الرسوم البيانية التي لا ترافقها حدود ولا مسؤولون قد تُعرض ثم تُهمل. القائمة أدناه جاهزة للاستخدام.

ماذا يعني ارتفاع الكلفة أو تراجع الجودة؟

إذا ارتفعت الكلفة وبقي عدد الطلبات ثابتاً، فابدأوا بفحص أربعة أسباب: تعليمات أطول (أضاف أحدهم مستند سياسات طويلاً إلى كل طلب)، أو تكرار الطلبات بعد الأخطاء، أو الانتقال إلى نموذج أكبر، أو إساءة الاستخدام. وتضع قائمة OWASP لأهم عشرة مخاطر في تطبيقات النماذج اللغوية لعام 2025 هذا النوع الأخير تحت بند LLM10 الاستهلاك غير المحدود، ومنه هجمات تهدف إلى تضخيم فاتورة الدفع حسب الاستخدام. ومن وسائل الوقاية التي تذكرها: حدود لعدد الطلبات، وحصص لكل مستخدم، ومراقبة مستمرة لاستهلاك الموارد.

أما تراجع الجودة دون أي تغيير في الكود فيشير إلى النموذج أو المستندات التي يسترجعها أو المستخدمين أنفسهم. ربما استبدل المزوّد إصدار النموذج، أو دخلت إلى قاعدة المعرفة ملفات قديمة، أو بدأ العملاء يسألون عن منتج جديد لا يعرفه المساعد. لكل سبب علاج مختلف، ولذلك تفصل القائمة بين المؤشرات ولا تجمعها في رقم واحد.

مثال توضيحي: شركة تأمين متوسطة الحجم في الرياض تشغّل مساعداً للمطالبات بالعربية والإنجليزية. ارتفعت فاتورتها الأسبوعية مع أن عدد المطالبات بقي ثابتاً. وعند حساب الكلفة لكل مهمة، مفصّلة خطوةً بخطوة، ظهر أن قالب تعليمات جديداً يرسل نص وثيقة التأمين كاملاً مع كل طلب. الحل تعديل القالب، ولا حاجة إلى تغيير المزوّد.

قائمة مراقبة النماذج اللغوية: ستة مؤشرات ومسؤول لكل منها

التنبيهات في الجدول أمثلة للبداية فقط. حدّدوا حدود التنبيه لديكم من خط الأساس الخاص بكم، أي من قياس أدائكم المعتاد خلال أسبوعين إلى أربعة أسابيع، ثم دوّنوها.

الجودة على مجموعة اختبار ثابتة بالعربية والإنجليزية

ابنوا المجموعة من أسئلة حقيقية بعد حذف البيانات الشخصية منها، وبالصيغ التي يكتب بها مستخدموكم: الفصحى، واللهجة الخليجية أو الشامية، والعربية المكتوبة بحروف لاتينية، والإنجليزية. أبقوها ثابتة بين الإصدارات، حتى يدل أي تغيّر في النتيجة على تغيّر في النظام نفسه. يشرح دليلنا عن تقييم النماذج اللغوية بالعربية طريقة بناء هذه المجموعة وتقييمها، وتساعدكم خدمة اختبارات تقييم الوكلاء على كتابتها.

الكلفة لكل مهمة، لا لكل طلب

قد يرسل الوكيل عشرة طلبات إلى النموذج لإغلاق تذكرة واحدة. القياس لكل طلب يخفي ذلك، أما القياس لكل مهمة فيبيّن إن كان التغيير قد جعل العمل أرخص أو أغلى. أضيفوا إلى كل طلب حالة الاستخدام والإدارة التي تتبعها، حتى ترى الإدارة المالية من ينفق وعلى ماذا.

تغيّر السلوك وأحداث السلامة

سجّلوا النموذج الذي طلبتموه والنموذج الذي أجاب فعلاً. تعرّف مواصفات OpenTelemetry الخاصة بالذكاء الاصطناعي التوليدي حقلين منفصلين لهما (gen_ai.request.model وgen_ai.response.model) وتستخدم الحقل العام error.type لتسجيل نوع الخطأ. وحتى 22 أكتوبر 2026، ما زالت هذه المواصفات في مرحلة التطوير (Development)، وقد انتقلت إلى مستودع خاص بها، لذا توقعوا تغيّر الأسماء وثبّتوا الإصدار الذي تستخدمونه. وفي الوكلاء الذين ينفذون إجراءات في أنظمة أخرى، تشمل أحداث السلامة أيضاً الإجراءات التي أُوقفت أو احتاجت إلى موافقة، ويشرح مقالنا عن حوكمة وكلاء الذكاء الاصطناعي هذه الحدود.

من المسؤول عن كل حدّ تنبيه؟

في مراقبة النماذج اللغوية، يحتاج كل حدّ تنبيه إلى شخص واحد محدد بالاسم، ونائب له، ومدة محددة للرد. عبارة «فريق الذكاء الاصطناعي» لا تكفي، فعندما يصل التنبيه إلى مجموعة قد يظن كل فرد أن غيره سيتولاه. يحق للمسؤول تعديل الحد، لكن كتابةً فقط، ويراجعه كل ثلاثة أشهر مقارنةً بخط الأساس الجديد.

مثال توضيحي: شركة اتصالات في عمّان تشغّل وكيلاً لخدمة العملاء عبر واتساب. تتولى مسؤولة المخاطر تنبيهات السلامة، لكن هذه التنبيهات تصل في عطلة نهاية الأسبوع إلى بريد مشترك لا يقرؤه أحد قبل الأحد. تعيين نائب يُتصل به هاتفياً يومي الجمعة والسبت يسد هذه الثغرة دون شراء أي أداة.

وتسهّل تسمية المسؤولين تطبيق ما يطلبه إطار NIST لإدارة مخاطر الذكاء الاصطناعي (الإصدار 1.0 لعام 2023)، وهو إطار طوعي، في البند MANAGE 4.1: خطط مراقبة بعد التشغيل تشمل الاستجابة للحوادث والتعافي منها وإدارة التغيير.

خطوات الانتقال إلى نموذج جديد عندما يوقف المزوّد نموذجاً

إيقاف النموذج عمل مخطط له، ولا ينبغي أن يأتي مفاجئاً. فعلى سبيل المثال، تذكر Anthropic في صفحة إيقاف النماذج أنها تُبلغ العملاء قبل 60 يوماً على الأقل من إيقاف النماذج المتاحة للعموم، وأن الطلبات إلى النماذج المتوقفة تفشل. وحتى 22 أكتوبر 2026، تذكر الصفحة نفسها أن Claude Sonnet 4.5 صار نموذجاً قديماً غير موصى به في 30 سبتمبر 2026، وأن موعد إيقافه على Claude API هو 30 نوفمبر 2026، وأن Amazon Bedrock وGoogle Cloud يحددان مواعيدهما الخاصة. لكل مزوّد صفحته، فراجعوا صفحة المنصة التي تشترون منها.

1. احتفظوا بسجل للنماذج. كل تطبيق، والاسم الدقيق للنموذج (Model ID) الذي يستدعيه، والمنصة، وموعد الإيقاف كما تذكره صفحة المزوّد.
2. عيّنوا مسؤولاً يوم وصول الإشعار. ضعوا موعد الإيقاف في الخطة، وحددوا موعداً للانتقال قبله بأسبوعين على الأقل.
3. شغّلوا مجموعة الاختبار الثابتة على النموذج البديل. قارنوا الجودة والكلفة لكل مهمة وزمن الاستجابة وحالات الرفض بالنموذج الحالي، للعربية والإنجليزية كلٌّ على حدة.
4. راجعوا إعدادات الطلب. تذكر صفحة Anthropic أن الإصدار 2026-10-21 من الواجهة البرمجية (API) ألغى إعدادات temperature وtop_p وtop_k، فأي طلب يرسل أحدها يعيد خطأً في كل النماذج. أما في الإصدارات الأقدم من الواجهة، فيؤدي ضبط هذه الإعدادات على قيمة غير القيمة الافتراضية إلى خطأ في نماذج Claude 4.7 وما بعدها. أي أن الانتقال إلى نموذج جديد، أو تحديث إصدار الواجهة البرمجية أو استخدام إصدار رئيسي جديد من مكتبة الربط (SDK)، قد يوقف عمل الكود نفسه، لا أن يغيّر الإجابات فقط.
5. ابدأوا بجزء صغير من الطلبات. راقبوا المؤشرات الستة عدة أيام قبل نقل جميع المستخدمين.
6. انتقلوا مع خطة للرجوع. أبقوا المسار القديم متاحاً حتى موعد الإيقاف، ثم احذفوه.
7. دوّنوا القرار وخط الأساس الجديد. التنبيهات القادمة تُقاس مقارنةً بأداء النموذج الجديد.

دليل الحوادث: الساعة الأولى بعد التنبيه

1. الاستلام. يؤكد المسؤول استلام التنبيه خلال المدة المتفق عليها، وإلا تولّاه النائب.
2. التصنيف. جودة أو كلفة أو زمن استجابة أو أخطاء أو سلامة. أي تسرّب لبيانات شخصية أو إجراء غير معتمد يذهب مباشرة إلى مسؤول المخاطر.
3. الاحتواء. انقلوا الطلبات إلى نموذج احتياطي، أو خفّضوا حصة مستخدم، أو أوقفوا أداة واحدة، أو حوّلوا المحادثات إلى الموظفين. اختاروا أصغر خطوة توقف الضرر.
4. إبلاغ المتأثرين. مسؤول الإدارة المعنية وفريق الدعم، والمستخدمون عند الحاجة، بالعربية والإنجليزية.
5. الإصلاح وإعادة الاختبار. لا يُطلق أي إصلاح قبل أن ينجح في مجموعة الاختبار الثابتة.
6. التعلّم. أضيفوا الحالة التي فشلت إلى مجموعة الاختبار، واكتبوا ملاحظة قصيرة: ماذا حدث، وما السبب، وما الإصلاح، وما الإجراء الوقائي الجديد.

ويطلب إطار NIST الانضباط نفسه في البند MANAGE 4.3: إبلاغ الأطراف المعنية بالحوادث والأخطاء، واتباع خطوات موثّقة لتتبّعها والاستجابة لها والتعافي منها.

ماذا نسجّل، وما الذي نبقيه خارج السجلات؟

سجّلوا ما يكفي لفهم سبب التنبيه: النموذج المطلوب والنموذج الذي أجاب، وعدد الرموز، والوقت حتى أول كلمة، والوقت الكلي، ونوع الخطأ، وحالة الاستخدام، وسجل تتبع يربط كل خطوات المهمة التي نفّذها الوكيل. النص الكامل للطلبات والإجابات مفيد لتحليل الأخطاء، لكنه قد يحتوي على أسماء العملاء وأرقام هوياتهم وتفاصيل حساباتهم. أخفوا البيانات الشخصية قبل حفظها، واحتفظوا بالنص الكامل لمدة قصيرة محددة كتابةً، واتفقوا على الأمرين مع مسؤول حماية البيانات قبل الإطلاق.

من أين تبدأون؟

ابدأوا مراقبة النماذج اللغوية بالمساعد أو الوكيل الأهم لديكم، واكتبوا من 100 إلى 300 سؤال اختبار من طلباته الحقيقية، واملؤوا عمود المسؤول في الجدول أعلاه. نتوقع أن يحتاج فريق صغير إلى نحو أسبوع لإنجاز ذلك، وهو يعطي كل تنبيه لاحق معنى واضحاً. وإذا أردتم المساعدة، فخدمة عمليات الذكاء الاصطناعي (AIOps) في مختبر التحوّل تشمل التقييم والمراقبة وضبط الكلفة والانتقال بين النماذج للأنظمة العاملة. وإذا كان النظام وكيلاً ذكياً، فصفحة وكلاء الذكاء الاصطناعي تشرح الحدود والميزانيات وسجلات التدقيق والموافقات. وإن لم تكونوا متأكدين من نقطة البداية، فخدمة مسح واقع الذكاء الاصطناعي في شركتكم محادثة مجانية مدتها 45 دقيقة تنتهي بخطوة تالية مكتوبة.

المختبر المرتبط: مختبر التحوّل ↖