تقييم النماذج اللغوية الكبيرة بالعربية: كيف تختبر النموذج قبل إطلاقه
منهجية عملية لاختبار أداء نموذج أو مساعد ذكي بالعربية: مهامك الفعلية واللهجات والعربيزي، وتصحيح بعد توحيد النص، ونموذج تحكيم تمت معايرته، وبوابة إطلاق واضحة.
تقييم النماذج اللغوية الكبيرة بالعربية يعني اختبار النموذج أو المساعد الذكي على مهامك أنت، وباللهجات التي يكتب بها مستخدموك فعلاً، وفق قواعد تصحيح تُحدَّد قبل الاطلاع على أي إجابة. تساعدك لوحات الصدارة العامة على اختيار النماذج المرشحة، أما الحكم على جاهزية المساعد لعملائك أو موظفيك أو المواطنين فلا يأتي إلا من مجموعة اختبار مبنية من عملك الفعلي.
نعرض هنا المنهجية التي نعتمدها في مختبر البحث والتطوير: بناء مجموعة الاختبار، وتوحيد النص، واختيار المقاييس، ومعايرة نموذج التحكيم بمراجعين بشريين، ثم مقارنة عمياء بين نظامين، واتخاذ القرار وفق بوابة إطلاق متفق عليها.
لماذا لا تكفي اختبارات الأداء العربية العامة؟
اختبارات الأداء العامة مفيدة لوضع قائمة أولية. تضم مجموعة ArabicMMLU، المنشورة في Findings of ACL 2024، أسئلة اختيار من متعدد بالعربية الفصحى عددها 14,575 سؤالاً، مأخوذة من امتحانات مدرسية في شمال أفريقيا والمشرق والخليج. وأفاد مؤلفوها بأن أفضل نموذج متخصص في العربية اختبروه آنذاك حقق 62.3%.
أما لوحة الصدارة المفتوحة للنماذج العربية (Open Arabic LLM Leaderboard)، التي أُطلقت على منصة Hugging Face في مايو 2024 بموارد حوسبة من معهد الابتكار التكنولوجي، فكانت عند إطلاقها ترتّب النماذج المفتوحة على مهام أغلبها اختيار من متعدد أو إجابة بنعم أو لا، وبعضها مترجم من اختبارات أداء إنجليزية. واختبارات الأداء الخاصة باللهجات أحدث: بنت ورقة AraDiCE المنشورة عام 2024 مجموعات بيانات للهجات عبر الترجمة الآلية مع تحرير بشري لاحق، ووجدت أن توليد النص باللهجات والترجمة منها وإليها ظلّا صعبين على النماذج التي اختبرتها.
لا يقيس أيٌّ من هذه الاختبارات ما يسأله عميل مصرف خليجي عبر WhatsApp بلهجته، ولا هل يمتنع مساعد إحدى الوزارات عن سؤال لا ينبغي أن يجيب عنه. ودقة الاختيار من متعدد لا تكشف الكثير عن الإجابات الحرة أو الإحالة إلى المصادر أو الأسلوب. استخدم نتائج لوحات الصدارة لاختيار المرشحين، وابنِ قرار الإطلاق على مجموعة اختبارك أنت.
الخطوة 1: ابنِ مجموعة اختبار من مهامك الفعلية
ابدأ من العمل الحقيقي: تذاكر الدعم، ومحادثات العملاء، والرسائل البريدية، والأسئلة التي يطرحها الموظفون على الشبكة الداخلية (الإنترانت). اكتب بنود الاختبار انطلاقاً منها بعد حذف البيانات الشخصية، أو اطلب من متحدثين أصليين إعادة صياغتها. لا تُدخل سجلات العملاء في مجموعة الاختبار إلا بموافقة مالك البيانات وفي بيئة معتمدة.
حدّد مزيج اللهجات وفق مستخدميك لا وفق الخريطة. قد يستقبل مركز اتصال في الرياض رسائل بالخليجية وأخرى بالمصرية، تختلط فيها الإنجليزية بالعربية في الرسالة الواحدة. وقد تغلب الشامية على قنوات التواصل لدى متجر أردني، مع كتابة بالعربيزي، أي العربية بحروف لاتينية وأرقام مثل 3 للعين و7 للحاء.
| النوع اللغوي | المصدر المعتاد | ما يجب تضمينه |
|---|---|---|
| العربية الفصحى | السياسات والمراسلات الرسمية والنماذج الحكومية | أسئلة طويلة، وإجابات مستمدة من الوثائق، وأسلوب رسمي |
| الخليجية | محادثات العملاء في السعودية والإمارات | أسئلة قصيرة غير رسمية ومفردات محلية |
| الشامية | الأردن ولبنان وسوريا وفلسطين | أسلوب وسائل التواصل والتنقل بين العربية والإنجليزية |
| المصرية | رسائل العملاء ونصوص المكالمات الصوتية | تعابير عامية وصيغ إملائية متداولة |
| العربيزي والنص المختلط | WhatsApp ووسائل التواصل الاجتماعي | عربية بحروف لاتينية، ومزج العربية بالإنجليزية |
اطلب من متحدث أصلي ثانٍ مراجعة كل بند وإجابته المرجعية. وأضف بنوداً هجومية وبنوداً تختبر الرفض: محاولات لحقن التعليمات مكتوبة بالعربية، وأسئلة خارج نطاق المساعد، وطلبات للحصول على بيانات شخصية. احجب نحو خُمس المجموعة جانباً ولا تستخدمه إلا في القرار النهائي، وخطّط لما لا يقل عن 30 بنداً لكل لهجة ونوع مهمة قبل أن تعرض نتيجة لتلك الخانة، وتوقّع فترات ثقة واسعة عند هذا العدد، فلن تظهر إلا الفروق الكبيرة بين الأنظمة.
الخطوة 2: وحّد كتابة النص العربي قبل التصحيح
قد تختلف إجابتان صحيحتان في الحروف وتحملان المعنى نفسه. ومن دون توحيد الكتابة يخفّض مقياس التطابق التام درجة النموذج بسبب فروق إملائية لا تغيّر مضمون الإجابة. الخطوات المعتادة:
- الألف والهمزة: تحويل «أ» و«إ» و«آ» إلى «ا»، فتتطابق «أحمد» و«احمد».
- الألف المقصورة والتاء المربوطة: تحويل «ى» إلى «ي»، و«ة» إلى «ه».
- التشكيل: حذف الحركات (الفتحة والضمة والكسرة والتنوين والشدة والسكون)، لأن النموذج قد يضيفها في إجابة ويحذفها في التالية.
- التطويل: حذف حرف الكشيدة (U+0640) الذي يمدّ الكلمات بصرياً.
- ترميز Unicode والأرقام: تطبيق توحيد Unicode، وتحويل الأرقام المشرقية إلى الأرقام الغربية أو العكس، بقاعدة ثابتة.
توفر مكتبات مفتوحة المصدر مثل CAMeL Tools دوال لتوحيد الألف والألف المقصورة والتاء المربوطة وترميز Unicode، ودوال منفصلة لحذف التشكيل. دوّن كل قاعدة تطبّقها، وطبّقها على الإجابات المرجعية وإجابات النموذج معاً، واحتفظ بالنص الأصلي للمراجعة البشرية. التوحيد أداة للتصحيح فقط، أما الإجابة التي يراها المستخدم فيجب أن تحافظ على الهمزات والإملاء الصحيح، فافحص ذلك على حدة.
الخطوة 3: اختر مقاييس تناسب المهمة
نادراً ما يكفي رقم واحد للحكم على مساعد عربي. اختر المقاييس حسب نوع المهمة، واعرض كلاً منها منفصلاً.
| المهمة | المقياس | ملاحظات |
|---|---|---|
| إجابات قصيرة محددة (تواريخ، مبالغ، أسماء) | التطابق التام وF1 على مستوى الكلمات بعد التوحيد | يمنح F1 درجة جزئية للإجابة التي تزيد كلمات أو تنقصها |
| إجابات مستندة إلى وثائقك | الأمانة للمصدر ودقة الإحالة | هل يدعم المقطع المُحال إليه كل ما تقوله الإجابة؟ |
| النطاق والسلامة | سلوك الرفض: يجيب حين ينبغي أن يجيب، ويمتنع حين ينبغي أن يمتنع | افصل الرفض في غير موضعه عن غياب الرفض (إجابة كان ينبغي رفضها) |
| الردود على العملاء | مناسبة اللهجة والأسلوب، وعلامات الترقيم العربية، والعرض من اليمين إلى اليسار | القنوات الرسمية تحتاج غالباً إلى الفصحى |
| التشغيل | تكلفة الإجابة الصحيحة، وزمن الاستجابة الذي لا تتجاوزه 95% من الطلبات | يُقاس لكل نظام بالإعدادات نفسها |
اعرض كل مقياس لكل لهجة مع عدد البنود. النموذج الذي يتفوق في الفصحى ويتعثر في الأسئلة الخليجية يحتاج إلى قرار يختلف عن قرار نموذج متوسط الأداء في الاثنتين، والمتوسط العام يخفي هذا الفرق.
الخطوة 4: استخدم نموذج تحكيم ثم عايره بمراجعين بشريين
الإجابات الحرة تحتاج إلى حكم، والمراجعة على يد متحدثين أصليين بطيئة ومكلفة عند التوسع. يستطيع نموذج لغوي يؤدي دور المحكِّم (LLM-as-a-judge) تقييم الأمانة للمصدر والاكتمال والأسلوب وفق سلّم تقييم مكتوب. والبحث المرجعي في هذه الممارسة يسجّل نقاط ضعفها أيضاً: وجد Zheng وزملاؤه (2023) أن النماذج المحكِّمة القوية وافقت تفضيلات البشر في أكثر من 80% من الحالات في مهام محادثة بالإنجليزية، ووثّقوا انحيازات لموضع الإجابة ولطولها ولإجابات النموذج المحكِّم نفسه.
لا تنتقل هذه النتيجة تلقائياً إلى العربية أو إلى سلّم التقييم الخاص بك. قبل أن تعتمد على درجات المحكِّم في أي قرار:
- اكتب سلّم تقييم من 1 إلى 5 مع أمثلة عربية لكل درجة.
- شغّل المحكِّم على أزواج من الإجابات تعرف مسبقاً أيّها أفضل، وينبغي أن يختار الأفضل في كل مرة تقريباً.
- اطلب من مراجعين من الناطقين بالعربية تقييم عينة من نحو 50 بنداً تقييماً مستقلاً، ثم قارن النتائج. وإذا كان الاتفاق ضعيفاً فعدّل سلّم التقييم وأعد المحاولة.
- أخفِ أسماء النماذج، ورتّب الإجابات عشوائياً، واختر محكِّماً من عائلة نماذج غير عائلة النظام المختبَر.
الخطوة 5: قارن مقارنة عمياء وطبّق بوابة الإطلاق
قارن النظام المرشح بما تشغّله اليوم، أو بمرشح ثانٍ، في ظروف متطابقة: البنود نفسها، والتعليمات الأساسية نفسها، ومصادر الاسترجاع نفسها، والإعدادات نفسها، مع تثبيت إصدارات النماذج وتكرار كل بند عدة مرات. اعرض الفرق مع فترة ثقة، فإذا شملت الفترة الصفر فلا يمكن التمييز بين النظامين على هذه المجموعة مهما بدت المتوسطات.
اتفق على البوابة مع مالك الخدمة من جانب الأعمال قبل أن يرى أحد النتائج. قالب مختصر:
بوابة إطلاق [اسم المساعد]، الإصدار [س]
- درجة F1 بعد التوحيد على بنود الإجابات القصيرة عند الحد المتفق عليه أو أعلى، في كل لهجة تضم 30 بنداً أو أكثر.
- لا تراجع عن النظام الحالي يتجاوز الهامش المتفق عليه في أي لهجة.
- لا إجابة عن أي سؤال كان ينبغي رفضه في بنود السلامة، والرفض في غير موضعه دون المعدل المتفق عليه.
- الأمانة للمصدر عند الحد المطلوب أو أعلى، بتقييم محكِّم تمت معايرته بمراجعين بشريين.
- تكلفة الإجابة الصحيحة وزمن الاستجابة ضمن الميزانية.
- قرار موثَّق: المضي قُدُماً أو تجربة محدودة أو الإيقاف المؤقت أو التوقف، مع موعد التقييم التالي.
أعد تشغيل مجموعة الاختبار الثابتة نفسها كلما أصدر المورّد إصداراً جديداً من النموذج، أو غيّرت التعليمات أو إعداد الاسترجاع، أو أعلن المورّد سحب النموذج الذي تستخدمه.
من أين تبدأ؟
اختر مساعداً واحداً يقترب من الإطلاق، واجمع ما بين 100 و200 سؤال حقيقي بعد حذف البيانات الشخصية، موزعة على اللهجات التي يكتب بها مستخدموك. هذا يكفي لكشف الإخفاقات الواضحة، ولتحديد ما إذا كان تقييم أوسع يستحق الجهد.
سينشر مختبر البحث والتطوير تقييمات عربية وثنائية اللغة ضمن خدمة الأبحاث المنشورة ومقاييس أداء الذكاء الاصطناعي بالعربية، ويختبر حالات استخدام محددة في استوديو النماذج الأولية وإثبات المفهوم. وإذا كان المساعد يخدم العملاء فاطّلع على صفحة الدعم والوكلاء الصوتيين. وإذا أراد فريقك كتابة بنود الاختبار ومراجعتها بنفسه، فخدمة التدريب على الذكاء الاصطناعي حسب الدور الوظيفي (بالعربية والإنجليزية) تغطي ذلك على مهام فريقك الفعلية. ولمناقشة نقطة البداية، احجز مسح واقع الذكاء الاصطناعي في شركتكم المجاني.
أسئلة شائعة
كيف أقيّم نموذجاً لغوياً باللغة العربية؟
ابنِ مجموعة اختبار من مهامك الفعلية باللهجات التي يكتب بها مستخدموك، ومنها الفصحى والخليجية والشامية والمصرية والعربيزي. وحّد كتابة الألف والهمزة واحذف التشكيل والتطويل قبل التصحيح. استخدم التطابق التام وF1 للإجابات القصيرة، والأمانة للمصدر للإجابات المستندة إلى الوثائق، وتابع سلوك الرفض منفصلاً. عاير نموذج التحكيم بمراجعين من الناطقين بالعربية، ثم قارن الأنظمة مقارنة عمياء وفق بوابة إطلاق متفق عليها مسبقاً.
هل أعتمد على لوحة الصدارة المفتوحة للنماذج العربية في اختيار النموذج؟
استخدمها لاختيار المرشحين لا لقرار الإطلاق. وكانت اللوحة عند إطلاقها في مايو 2024 ترتّب النماذج المفتوحة على مهام أغلبها اختيار من متعدد أو إجابة بنعم أو لا، وبعضها مترجم من اختبارات أداء إنجليزية. ولا تختبر وثائقك ولا لهجات مستخدميك ولا قواعد الرفض لديك ولا التكلفة. مجموعة اختبار صغيرة من عملك الفعلي تمنحك أدلة لا تقدمها أي لوحة صدارة.
كم سؤالاً أحتاج في مجموعة اختبار عربية؟
ابدأ بما بين 100 و200 سؤال حقيقي لكشف الإخفاقات الواضحة. وخطّط لما لا يقل عن 30 بنداً لكل لهجة أو نوع مهمة تعرض نتيجته، مع العلم أن هذا العدد لا يُظهر إلا الفروق الكبيرة بين الأنظمة، واحجب نحو خُمس المجموعة للقرار النهائي. واعرض النتائج مع عدد البنود وفترة الثقة، حتى لا تُفسَّر الفروق الصغيرة على أنها فروق حقيقية.
هل يمكن الوثوق بنموذج لغوي محكِّم لتقييم الإجابات العربية؟
يمكن ذلك بعد فحصه. وجد بحث منشور أن النماذج المحكِّمة القوية وافقت تفضيلات البشر في أكثر من 80% من الحالات في مهام محادثة بالإنجليزية، لكنه وثّق أيضاً انحيازات لموضع الإجابة وطولها ولإجابات النموذج المحكِّم نفسه. وللعربية اكتب سلّم تقييم بأمثلة عربية، واختبر المحكِّم على أزواج معروفة النتيجة، وقارنه بتقييم مراجعين من الناطقين بالعربية لنحو 50 بنداً، وأخفِ أسماء النماذج.
لماذا نوحّد كتابة النص العربي قبل التصحيح؟
تُكتب الكلمة العربية في الاستخدام اليومي بأكثر من صورة: فكثيراً ما تُحذف الهمزة عن الألف، ويُخلط بين الياء والألف المقصورة وبين التاء المربوطة والهاء في آخر الكلمة، أما التشكيل والتطويل فاختياريان. وهذه الصور تغيّر الحروف ولا تغيّر في الغالب مضمون الإجابة. ومن دون توحيد الكتابة تحتسب مقاييس التطابق التام وF1 إجاباتٍ صحيحة على أنها خاطئة. طبّق القواعد المكتوبة نفسها على الإجابات المرجعية وإجابات النموذج، وافحص إملاء ما يراه المستخدم مقياساً مستقلاً للجودة.
تصلكم مقالاتنا الجديدة بالبريد
رسالة واحدة عند نشر ما يفيدكم، بلا إزعاج، ويمكنكم إلغاء الاشتراك في أي وقت.
الخدمات في هذا المقال
المختبر المرتبط: مختبر البحث والتطوير ↖
