دراسة ألمانية: البشر يتفوقون على الذكاء الاصطناعي في كشف النصوص التي تكتبها النماذج اللغوية
FILE PHOTO: Figurines with computers and smartphones are seen in front of the words "Artificial Intelligence AI" in this illustration taken, February 19, 2024. REUTERS/Dado Ruvic/Illustration/File Photo
كشفت دراسة علمية أجراها باحثون من جامعة يوهانس غوتنبرغ الألمانية أن البشر أكثر قدرة من نماذج الذكاء الاصطناعي على التمييز بين النصوص المكتوبة بواسطة الإنسان وتلك التي تنتجها النماذج اللغوية، إذ بلغت دقة المشاركين البشر 83.14 في المائة، مقابل 66.90 في المائة للنماذج المشاركة في التقييم.
وأوضحت الدراسة، المنشورة في دورية «ساينتيفيك ريبورتس» تحت عنوان «التعبير عن الشخصية وإدراكها لدى النماذج اللغوية الكبيرة والبشر»، أن أنظمة الذكاء الاصطناعي تستطيع إنتاج نصوص تعكس سمات شخصية بشرية، بل واستنتاج بعض هذه السمات من الكتابة، لكن ذلك لا يعني امتلاكها شخصية فعلية أو خصائص نفسية مستقلة.
وشملت التجربة 70 مشاركاً بشرياً وسبعة نماذج لغوية، هي «تشات جي بي تي 4o» و«تشات جي بي تي 3.5» و«لاما 3» و«جيما» و«جيميناي» و«فاي 3» و«أوركا 2».
سبعة نماذج و140 نصاً
طلب الباحثون من المشاركين والنماذج الإجابة عن استبيانات نفسية معتمدة لقياس السمات الشخصية الخمس الكبرى، وهي الانفتاح على التجارب، ويقظة الضمير، والانبساط، والتوافق، والعصابية، إلى جانب قياس تقدير الذات والنرجسية.
كما طُلب منهم كتابة أوصاف شخصية تتناول نظرتهم إلى أنفسهم، وكيف يعتقدون أن الآخرين يرونهم، وتطلعاتهم المستقبلية، وطريقة تصرفهم في ظروف الضغط وعدم اليقين.
وأنتجت النماذج السبعة عشرة نصوص لكل منها، ليصل إجمالي النصوص الخاضعة للتقييم إلى 140 نصاً، نصفها كتبه المشاركون البشر والنصف الآخر أنتجته النماذج.
واستخدم الباحثون اللغة الألمانية في التجربة لضمان قابلية المقارنة بين النصوص، قبل أن يتولى عشرة مقيّمين بشريين وستة نماذج لغوية تحليلها، وتقدير السمات الشخصية التي تعكسها، وتحديد ما إذا كان مصدرها إنساناً أم ذكاءً اصطناعياً.
أنماط تحاكي الشخصية البشرية
أظهرت النتائج اختلافات بين النماذج اللغوية في طريقة التعبير عن السمات الشخصية؛ إذ سجلت، عند مقارنة متوسط نتائجها بالمشاركين البشر، درجات أعلى في التوافق ويقظة الضمير، ودرجات أقل في العصابية المرتبطة بالمشاعر السلبية وعدم الاستقرار الانفعالي.
كما أظهر اختبار أُعيد بعد يوم واحد مستوى مرتفعاً من الاتساق في نتائج السمات الشخصية الخمس الكبرى، بمعامل ارتباط بلغ 0.88، وهو مستوى قابل للمقارنة مع بعض النتائج المسجلة في العينات البشرية.
لكن الباحثين شددوا على أن هذا الاتساق لا يثبت امتلاك النماذج شخصية مستقلة أو ثابتة، بل يعكس أنماطاً متكررة في توليد الإجابات تتأثر بالتعليمات وطريقة طرح الأسئلة.
هل يمكن قراءة الشخصية من الكلمات؟
واختبرت الدراسة أيضاً قدرة البشر والنماذج اللغوية على استنتاج السمات الشخصية من النصوص القصيرة، ومقارنتها بالنتائج التي قدمها المشاركون في الاستبيانات النفسية.
وأظهرت النتائج إمكانية تقدير ست سمات من أصل سبع بمستوى يتجاوز المصادفة، بينما لم تحقق تقديرات النرجسية المستوى نفسه.
وبلغ متوسط معامل الارتباط بين أحكام المقيّمين البشر ونتائج الاستبيانات 0.28، مقابل 0.33 لدى النماذج اللغوية، ما يشير إلى تفوق محدود للذكاء الاصطناعي في هذه المهمة، مع تقارب الأداء بين الطرفين.
ولاحظ الباحثون أن المقيّمين البشر منحوا النصوص المنتجة بالذكاء الاصطناعي درجات أعلى من النصوص البشرية في معظم السمات المقاسة، بينما أظهرت النماذج اللغوية ميلاً إلى رفع تقديرات الانفتاح ويقظة الضمير والتوافق وتقدير الذات.
البشر يتفوقون في كشف النصوص الآلية
وعند اختبار القدرة على التمييز بين النصوص البشرية والآلية، تفوق المقيّمون البشر بوضوح، محققين دقة بلغت 83.14 في المائة، مقابل 66.90 في المائة للنماذج اللغوية.
وتمكن الطرفان من تحديد النصوص البشرية بصورة صحيحة في 95 في المائة من الحالات، لكن الفارق ظهر عند التعامل مع النصوص التي أنتجها الذكاء الاصطناعي؛ إذ نجح البشر في اكتشاف 71 في المائة منها، مقابل 38 في المائة فقط للنماذج المستخدمة في التقييم.
وسجل نموذجا «جيما» و«جيميناي» أفضل النتائج بين المقيمين الآليين، مقتربين من متوسط أداء البشر. كما كشفت التجربة عن ميل لدى المقيّمين، بشراً وآلات، إلى تصنيف النصوص على أنها بشرية حتى عندما تكون مولدة بالذكاء الاصطناعي.
ولم تظهر النماذج قدرة أفضل على التعرف إلى النصوص التي أنتجتها بنفسها مقارنة بالنصوص الصادرة عن نماذج أخرى.
طول النص يكشف هوية كاتبه
ولفهم أسباب اختلاف النتائج، استخدم الباحثون أداة التحليل اللغوي «LIWC» لفحص المفردات وأنماط استخدام الكلمات والتعبيرات المرتبطة بالمشاعر والعمليات المعرفية.
وأظهر التحليل أن النصوص المولدة آلياً كانت أطول بصورة ملحوظة، وأكثر استخداماً للمفردات الوظيفية والتعبيرات المرتبطة بالزمن والعلاقات، بينما احتوت النصوص البشرية على مفردات أكثر ارتباطاً بالمشاعر والأنشطة الترفيهية.
وأشار ثمانية من أصل عشرة مقيّمين بشريين إلى طول النص باعتباره إحدى العلامات التي اعتمدوا عليها في اكتشاف الكتابة الآلية، فيما ذكر ستة منهم أن اللغة التحليلية المفرطة أو التقنية أو شديدة الصياغة كانت مؤشراً إضافياً.
وعندما قلّص الباحثون الفروق في أطوال مجموعة من النصوص، انخفض متوسط دقة البشر إلى 74.29 في المائة، مقابل 67.38 في المائة للنماذج اللغوية، ما يؤكد أن طول النص كان عاملاً مؤثراً، لكنه لم يكن السبب الوحيد في قدرة البشر على التمييز.
حدود الدراسة ومخاطر محاكاة الشخصية
وأكد الباحثون أن النتائج تقتصر على النماذج المختبرة واللغة الألمانية وطبيعة المهام المستخدمة، ولا يمكن تعميمها تلقائياً على جميع أنظمة الذكاء الاصطناعي أو اللغات وأنواع الكتابة المختلفة.
كما حذروا من الخلط بين قدرة النماذج على محاكاة الصفات البشرية لغوياً وامتلاكها شخصية فعلية أو خصائص نفسية مستقرة، مشيرين إلى مخاطر الاعتماد المفرط عليها في تقييم الأفراد، خصوصاً في مجالات الصحة النفسية والتوظيف والموارد البشرية.
ودعت الدراسة إلى تعزيز الشفافية في التعامل مع المحتوى المنتج آلياً، وتطوير ضوابط أخلاقية تضمن عدم منح هذه الأنظمة ثقة تتجاوز قدراتها الفعلية.
وتخلص النتائج إلى أن الذكاء الاصطناعي أصبح قادراً على محاكاة أنماط التعبير البشري واستنتاج بعض السمات من الكلمات، لكنه لا يزال أقل قدرة من الإنسان على كشف مصدر النصوص في ظروف هذه التجربة، فيما تبقى مسألة امتلاكه شخصية حقيقية مختلفة عن قدرته على تقليدها.
