كشفت دراسة علمية سعودية محكّمة عن محدودية قدرة أنظمة الذكاء الاصطناعي على فهم الثقافة السعودية، رغم تقدمها في معالجة اللغة، ضمن بحث نُشر في مجلة علمية دولية تصدر عن جامعة الملك سعود عبر دار النشر العالمية سبرينغر، بعد مراحل مراجعة علمية دقيقة.
واعتمدت الدراسة على بناء مقياس علمي جديد يتكون من 441 سؤالاً تغطي تفاصيل الحياة الثقافية في المملكة، شملت ثمانية مجالات رئيسية، أبرزها الأطعمة بـ125 سؤالاً، والترفيه بـ95، والحِرف والمهن بـ60، واللغة والتواصل بـ42، والعلاقات الاجتماعية بـ34، واللباس بـ32، والمناسبات بـ30، والعمارة بـ23 سؤالاً، بما يعكس تنوع الثقافة السعودية واتساعها.
ووُزعت الأسئلة جغرافياً على مناطق المملكة الخمس، فشملت 76 سؤالاً لمنطقة الوسط، و84 للجنوب، و74 للغرب، و67 للشرق، و54 للشمال، إضافة إلى 86 سؤالاً عاماً يعكس الثقافة المشتركة، بهدف قياس الفروقات الدقيقة بين البيئات المحلية.
واختبر الباحثون ستة أنظمة عالمية للذكاء الاصطناعي، وأظهرت النتائج أن أفضل أداء لم يتجاوز 66% في فهم الثقافة السعودية، فيما تراجعت بعض الأنظمة إلى 16%، ما يعكس ضعفاً واضحاً في فهم السياق الثقافي مقارنة بالقدرات اللغوية.
وبيّنت الدراسة أن دقة الإجابات ترتفع في الأسئلة المباشرة، إذ تصل إلى 81% في بعض الحالات، بينما تنخفض في الأسئلة المفتوحة إلى نحو 52%، وتتراجع بشكل أكبر في الأسئلة التي تتطلب أكثر من إجابة، وقد تهبط إلى 20%، خصوصاً في الموضوعات المرتبطة بالعادات والفروقات المناطقية.
وأظهرت النتائج تفاوتاً في الفهم حسب المجالات، إذ سجلت مجالات الحِرف والمهن أعلى دقة وصلت إلى 75%، تلتها المناسبات بنحو 73%، في حين واجهت الأنظمة صعوبة في فهم العلاقات الاجتماعية والعادات الدقيقة، ما يعكس تحدياً في استيعاب السياق الاجتماعي العميق.
وأكدت الدراسة أن سبب هذا القصور يعود إلى اعتماد هذه الأنظمة على بيانات تدريب عالمية تميل إلى ثقافات غير محلية، ما يقلل من قدرتها على تمثيل الخصوصية الثقافية للمجتمع السعودي.
وتبرز هذه النتائج أهمية تطوير أنظمة ذكاء اصطناعي تراعي البيئة المحلية، أو إعادة تدريب الأنظمة الحالية ببيانات تعكس الهوية الثقافية، خصوصاً مع التوسع في استخدام هذه التقنيات في قطاعات التعليم والسياحة والخدمات الرقمية.
A Saudi scientific study published in a peer-reviewed journal revealed the limited ability of artificial intelligence systems to understand Saudi culture, despite advancements in language processing. This research was published in an international scientific journal issued by King Saud University through the global publishing house Springer, following rigorous scientific review stages.
The study relied on constructing a new scientific scale consisting of 441 questions covering details of cultural life in the Kingdom, including eight main areas, the most notable of which are foods with 125 questions, entertainment with 95, crafts and professions with 60, language and communication with 42, social relations with 34, clothing with 32, occasions with 30, and architecture with 23 questions, reflecting the diversity and breadth of Saudi culture.
The questions were geographically distributed across the five regions of the Kingdom, including 76 questions for the central region, 84 for the south, 74 for the west, 67 for the east, and 54 for the north, in addition to 86 general questions reflecting the shared culture, aimed at measuring the subtle differences between local environments.
The researchers tested six global artificial intelligence systems, and the results showed that the best performance did not exceed 66% in understanding Saudi culture, while some systems dropped to 16%, reflecting a clear weakness in understanding the cultural context compared to linguistic capabilities.
The study indicated that the accuracy of answers increases in direct questions, reaching 81% in some cases, while it drops in open-ended questions to about 52%, and declines further in questions requiring multiple answers, potentially falling to 20%, especially in topics related to customs and regional differences.
The results showed variability in understanding according to the fields, with crafts and professions recording the highest accuracy at 75%, followed by occasions at about 73%, while the systems faced difficulties in understanding social relations and nuanced customs, reflecting a challenge in grasping the deep social context.
The study confirmed that this shortcoming is due to these systems relying on global training data that tends to favor non-local cultures, which diminishes their ability to represent the cultural specificity of Saudi society.
These results highlight the importance of developing artificial intelligence systems that consider the local environment or retraining existing systems with data that reflects cultural identity, especially with the expansion of the use of these technologies in the sectors of education, tourism, and digital services.
