الخلاصة
معالجة اللغة العربية (Arabic NLP) تبدو سهلة سهولة خادعة في العرض التجريبي، وقاسية أشد القسوة في بيئة الإنتاج. والقوى الثلاث التي تُفشل معظم المشاريع هي اللهجات (نموذج تدرّب على العربية الفصحى الحديثة ينهار أمام الخليجية أو المصرية أو الشامية)، والمزج اللغوي (المستخدمون الحقيقيون يخلطون العربية بالإنجليزية في الجملة الواحدة)، والكتابة من اليمين إلى اليسار (RTL) التي تفسد بصمت التخطيطات وأدوات تقطيع النص والتحليلات. خطط للثلاثة منذ اليوم الأول، وإلا فلن تصمد أرقام الدقة لديك عند أول احتكاك بعملاء حقيقيين.
لماذا معالجة العربية أصعب من معالجة الإنجليزية؟
تستفيد معالجة الإنجليزية من عقدين من مجموعات البيانات المنقحة، ومن صيغة مكتوبة واحدة سائدة، ومن نظام كتابة يتوافق مع الطريقة التي صُممت بها معظم أدوات تعلّم الآلة. والعربية لا تملك شيئاً من ذلك.
العربية في بيئة الإنتاج ثلاث لغات على الأقل متراكبة بعضها فوق بعض:
- العربية الفصحى الحديثة (MSA): رسمية، تُستخدم في الأخبار والوثائق الحكومية ومعظم المدونات النصية الأكاديمية.
- العربية العامية: ما يتحدث به الناس فعلاً ويكتبون به أكثر فأكثر: الخليجية والمصرية والشامية والمغاربية.
- العربيزي والعربية الممزوجة: عربية تُكتب بحروف لاتينية وتختلط بكلمات إنجليزية، وهي شائعة في المحادثات والرسائل النصية ووسائل التواصل الاجتماعي.
نموذج يحقق 92% في مقياس F1 على اختبارات الفصحى يهبط في العادة إلى ما دون 60% على نصوص محادثات خدمة العملاء بالخليجية. وهذه الفجوة ليست مشكلة ضبط، بل مشكلة بيانات عليك أن تبني تصميمك حولها.
ضريبة اللهجات: ما تكلفة دعم مستخدمي العربية الحقيقيين؟
إذا كان منتجك يخدم الإمارات أو السعودية أو مصر أو بلاد الشام، فلا يمكنك أن تطلق نموذجاً يقتصر على الفصحى وتسميه دعماً للعربية. وهذا ما يتغير حين تضيف دعماً حقيقياً للهجات:
- جمع البيانات يتضاعف 3 إلى 5 مرات. تحتاج إلى مدونات نصية موسومة لكل لهجة، لا مدونة عربية عامة واحدة.
- الوسم يكلف أكثر. يجب أن يكون الواسمون من أبناء اللهجة نفسها، فواسم لبناني يعمل على بيانات سعودية يُدخل انحرافاً في النتائج.
- تقييم النموذج يُفصل بحسب اللهجة. رقم الدقة الواحد يخفي أنماط الإخفاق، فاعرض نتائج الفصحى والخليجية والمصرية والشامية كلاً على حدة.
- تقطيع النص يزداد أهمية. أدوات التقطيع إلى أجزاء الكلمات التي تدربت في معظمها على الفصحى تفتت الكلمات العامية إلى قطع بلا معنى، فتتراجع بصمت جودة المهام اللاحقة.
في Valus نتعامل مع تغطية اللهجات على أنها سؤال أساسي عند تحديد نطاق المشروع، لا تحسيناً يُؤجل إلى ما بعد الإطلاق.
المزج اللغوي: نمط الإخفاق الذي لا يقيسه أحد
مستخدمو العربية الحقيقيون يكتبون عبارات مثل:
أرسل لي الـ invoice على الإيميل بليز
هذه جملة واحدة بتركيب عربي، وأسماء إنجليزية، وأداة تعريف عربية ملتصقة بكلمة إنجليزية، وكلمة إنجليزية دارجة ("please") في آخرها. معظم النماذج الجاهزة تتعامل مع كل لغة على حدة بصورة جيدة، وتتعثر عند المزج.
وفي بيئة الإنتاج يظهر المزج اللغوي في كل مكان:
- محادثات خدمة العملاء ونصوص المكالمات المفرّغة
- الإيصالات والفواتير (رأس بالعربية وبنود بالإنجليزية)
- رصد وسائل التواصل الاجتماعي وتحليل المراجعات
- نصوص مكالمات الوكلاء الصوتيين في القطاع المالي والاتصالات والتجزئة
الحل ليس نموذجاً أكبر، بل إشارة تدريب ثنائية اللغة. اضبط النموذج بدقة على بيانات ممزوجة حقيقية من مجالك، وقيّمه على مجموعة اختبار ممزوجة، وجهّز النظام ليحدد اللغة لكل كلمة لا لكل عبارة.
الكتابة من اليمين إلى اليسار مشكلة تجربة مستخدم، لا مشكلة CSS فحسب
عرض النص من اليمين إلى اليسار هو الموضع الذي تنزف فيه جودة كثير من منتجات الذكاء الاصطناعي العربية بصمت. قد يكون النموذج مثالياً ومع ذلك تبدو التجربة مختلة، وذلك للأسباب التالية:
- النص مختلط الاتجاه (عربي وإنجليزي وأرقام وروابط) ينقلب على نحو غير متوقع ما لم تُستخدم رموز التحكم في الاتجاه في Unicode بصورة صريحة.
- علامات الترقيم تنزاح: علامات الاستفهام والأقواس وعلامات التنصيص تنتهي في الجهة الخطأ من العبارة.
- الأرقام والتواريخ تظهر بالأرقام الغربية في مواضع وبالأرقام الهندية في مواضع أخرى، فتهتز الثقة.
- أدوات التقطيع وأنظمة السجلات كثيراً ما تحذف الحروف العربية أو توحّدها بطرق تفسد التحليلات، فتخدعك لوحات المعلومات قبل أن تنتبه.
الكتابة من اليمين إلى اليسار ليست شأناً خاصاً بالواجهات تحيله إلى غيرك. إنها عقد بين البيانات والنموذج والواجهة يجب فرضه من البداية إلى النهاية.
منظومة عملية لمعالجة العربية في بيئة الإنتاج
لا توجد منظومة واحدة صحيحة، لكن الأنماط التي تصمد تحت ضغط الإنتاج تبدو قريبة مما يلي:
- النماذج الأساسية: AraBERT أو MARBERT أو نموذج متعدد اللغات (mT5 أو XLM-R) مضبوط بدقة على بيانات غنية باللهجات. وفي حالات الاستخدام التوليدية صارت نماذج فئة GPT ونماذج Gemini تتعامل مع العربية جيداً، لكنها ما زالت تحتاج إلى ضبط دقيق على مجال العمل لبلوغ الدقة المطلوبة.
- المعالجة المسبقة: CAMeL Tools لتوحيد النص وتقسيمه وتحليله صرفياً. احذف التشكيل بصورة متسقة، ووحّد صور الألف والياء والتاء المربوطة، وقرر مرة واحدة هل تبقي التطويل أم تحذفه.
- تقطيع النص: فضّل أدوات التقطيع المدرَّبة على العربية والإنجليزية معاً، وراجع معدلات التفتيت على نصوص عامية حقيقية قبل اعتمادها.
- الصوت (ASR/TTS): نموذج Whisper-large يتعامل مع العربية بصورة مقبولة، أما لجودة مراكز الاتصال فتحتاج إلى نموذج مضبوط بدقة على تسجيلات مكالمات عربية بترميز الهاتف.
- التقييم: مجموعات اختبار منفصلة للفصحى ولكل لهجة مستهدفة وللبيانات الممزوجة، تُتابع كل منها مؤشراً مستقلاً للأداء.
- المراقبة: سجّل المدخلات الخام بترميز Unicode، ولا تسجّل الصيغة الموحّدة أبداً. ستحتاج إلى الأصل لاحقاً لتتبع مشكلات الاتجاه والتقطيع.
ما نقيسه في كل مشروع لمعالجة اللغة العربية
في Valus نعدّ المؤشرات التالية غير قابلة للتفاوض في منتجات مثل WiseRep (الذكاء الاصطناعي الصوتي) ومنصة الولاء ومشاريع روبوتات المحادثة:
| المؤشر | لماذا يهم | المستهدف |
| الدقة مفصّلة بحسب اللهجة | تكشف أنماط الإخفاق الخفية | بفارق لا يتجاوز 5 نقاط عن الفصحى |
| معدل التعامل مع المزج اللغوي | المستخدمون الحقيقيون يخلطون اللغات | >90% تطابق في تحديد الغرض |
| عيوب العرض من اليمين إلى اليسار | تهدم الثقة بصمت | 0 عيوب ظاهرة في كل إصدار |
| تفتيت أداة التقطيع | يتنبأ بجودة المهام اللاحقة | <1.6 رمز لكل كلمة |
| معدل خطأ الكلمات (WER) في تسجيلات اللهجات | يحدد جدوى الوكيل الصوتي | <15% في المكالمات الهاتفية |
إذا لم يكن فريقك يتابع هذه المؤشرات، فأنت تعمل من دون رؤية في أهم أجزاء النظام.
أخطاء شائعة في معالجة العربية وكيف تتجنبها
- التدريب على الفصحى والتشغيل على اللهجات. قيّم دائماً على اللهجة التي يستخدمها عملاؤك فعلاً.
- التعامل مع العربيزي على أنه ضجيج. هو إشارة ذات قيمة، فمستخدموك الحقيقيون يكتبون به كل يوم.
- أداة تقطيع واحدة لكل الحالات. راجع التفتيت على عينات من اللهجات قبل تثبيت المفردات.
- إهمال اتجاه النص في مسار المعالجة. الأخطاء التي تدخل في المعالجة المسبقة تبقى خفية حتى تصل إلى الواجهة.
- رقم دقة واحد. اعرض دائماً مؤشرات كل لهجة ومؤشرات النصوص الممزوجة.
- غياب حلقة ضبط جودة يتولاها أبناء اللغة. المختبرون المتحدثون بالعربية يلتقطون مشكلات لا ترصدها المقاييس الآلية.
كيف يبدو النظام الجيد؟
نظام معالجة العربية بجودة الإنتاج يجب أن يبدو مألوفاً لعميل خليجي يكتب رسالة نصفها عربي ونصفها إنجليزي عند الحادية عشرة ليلاً، وأن يبقى مألوفاً حين يفعل مستخدم مصري أو شامي الشيء نفسه في صباح اليوم التالي. هذا هو المعيار، وكل ما دونه عرض تجريبي.
اتخذ الخطوة التالية
هل تبني ذكاء اصطناعياً يضع العربية أولاً لمنطقة الشرق الأوسط وشمال أفريقيا؟ Valus تصمم وتطلق أنظمة معالجة اللغة العربية بجودة الإنتاج في الصوت والمحادثة وتحليل المستندات، بتغطية اللهجات والانضباط في الكتابة من اليمين إلى اليسار اللذين تستهين بهما معظم الفرق. تحدّث إلى فريق الذكاء الاصطناعي لدينا:
تواصل معناالأسئلة الشائعة
لماذا لا تعمل النماذج اللغوية الكبيرة العامة جيداً مع العربية دون تهيئة؟
معظم النماذج اللغوية الكبيرة مدرَّبة في الأساس على بيانات إنجليزية وفصحى، مع قدر محدود من العامية. تتعامل مع العربية الرسمية بصورة مقبولة، لكن أداءها يتراجع بحدة مع الخليجية والمصرية والشامية والنصوص الممزوجة، وهي بالضبط ما يكتبه المستخدمون الحقيقيون.
أي اللهجات العربية ندعم أولاً؟
ابدأ باللهجات التي يستخدمها عملاؤك فعلاً. للإمارات والسعودية قدّم الخليجية والفصحى. لمصر قدّم المصرية. لبلاد الشام قدّم الشامية. وأضف غيرها حين يوجد مبرر واضح من جهة المنتج فقط.
كيف نتعامل مع المزج اللغوي في رسائل العملاء؟
اضبط النموذج بدقة على بيانات ممزوجة حقيقية من مجالك، وقيّمه على مجموعة اختبار ممزوجة، وحدد اللغة على مستوى الكلمة لا على مستوى العبارة. أدوات كشف اللغة العامة ستخطئ في تصنيف الجمل المختلطة.
هل الكتابة من اليمين إلى اليسار مشكلة ذكاء اصطناعي فعلاً؟
هي مشكلة تمتد من البداية إلى النهاية: المعالجة المسبقة وتقطيع النص ومخرجات النموذج والواجهة يجب أن تتفق كلها على طريقة التعامل مع النص مختلط الاتجاه. إذا أخلّت أي طبقة بهذا العقد بدت التجربة خاطئة حتى لو كان النموذج صحيحاً.
كم يستغرق إطلاق معالجة اللغة العربية في بيئة الإنتاج؟
مع حالة استخدام واضحة وبيانات موسومة متوافرة، يستطيع فريق مركّز إطلاق مشروع تجريبي في الإنتاج خلال 6 إلى 10 أسابيع. أما التغطية الكاملة لعدة لهجات مع المزج اللغوي وإحكام الكتابة من اليمين إلى اليسار فتستغرق عادة 3 إلى 6 أشهر، وتُقاس بمستهدف دقة حقيقي لا بعرض تجريبي.



