Evaluating ChatGPT performance in Arabic dialects: A comparative study showing defects in responding to Jordanian and Tunisian general health prompts ... : تقييم أداء ChatGPT في اللهجات العربية: دراسة مقارنة توضح العيوب في الاستجابة للمطالبات الصحية العامة الأردنية والتونسية ...

Background: The role of artificial intelligence (AI) is increasingly recognized to enhance digital health literacy. There is of particular importance with widespread availability and popularity of AI chatbots such as ChatGPT and its possible impact on health literacy. The involves the need to understand AI models' performance across different languages, dialects, and cultural contexts. This study aimed to evaluate ChatGPT performance in response to prompting in two different Arabic dialects, namely Tunisian and Jordanian. Methods: This descriptive study followed the METRICS checklist for the design and reporting of AI based studies in healthcare. Ten general health queries were translated into Tunisian and Jordanian dialects of Arabic by bilingual native speakers. The performance of two AI models, ChatGPT-3.5 and ChatGPT-4 in response to Tunisian, Jordanian, and English were evaluated using the CLEAR tool tailored for assessment of health information generated by AI models. Results: ChatGPT-3.5 performance ... : معلومات أساسية: يتزايد الاعتراف بدور الذكاء الاصطناعي في تعزيز محو الأمية الصحية الرقمية. هناك أهمية خاصة مع توافر وشعبية روبوتات الدردشة بالذكاء الاصطناعي على نطاق واسع مثل ChatGPT وتأثيرها المحتمل على محو الأمية الصحية. يتضمن ذلك الحاجة إلى فهم أداء نماذج الذكاء الاصطناعي عبر لغات ولهجات وسياقات ثقافية مختلفة. هدفت هذه الدراسة إلى تقييم أداء ChatGPT استجابة للمطالبة بلهجتين عربيتين مختلفتين، وهما التونسية والأردنية. الأساليب: اتبعت هذه الدراسة الوصفية قائمة التحقق من المقاييس لتصميم الدراسات القائمة على الذكاء الاصطناعي في مجال الرعاية الصحية والإبلاغ عنها. تمت ترجمة عشرة استفسارات صحية عامة إلى اللهجات التونسية والأردنية للغة العربية من قبل متحدثين أصليين ثنائيي اللغة. تم تقييم أداء نموذجي الذكاء الاصطناعي، ChatGPT-3.5 و ChatGPT -4 استجابةً للنماذج التونسية والأردنية والإنجليزية باستخدام الأداة الواضحة المصممة خصيصًا لتقييم المعلومات الصحية التي تم إنشاؤها بواسطة نماذج الذكاء الاصطناعي. النتائج: تم تصنيف أداء ChatGPT-3.5 على أنه متوسط في اللغة العربية التونسية، مع درجة واضحة إجمالية قدرها 2.83، مقارنة مع ...