بر اساس مطالعه‌ای که اخیراً توسط استادیار دانشگاه فلوریدا جنوبی انجام شده است، حتی متخصصان زبان‌شناسی برای تشخیص بین نوشته‌های تولید شده توسط هوش مصنوعی و نوشته‌های انسان تلاش می‌کنند.
این یافته‌ها که در مجله Research Methods in Applied Linguistics منتشر شده است، نشان می‌دهد که متخصصان زبان‌شناسی از مجلات برتر جهانی تنها در ۳۹ درصد مواقع می‌توانند به طور دقیق بین متون هوش مصنوعی و چکیده‌های حاصل از نویسنده انسان تمایز قائل شوند.
متیو کسلر، محقق در USF گفت: «ما فکر کردیم اگر کسی می‌تواند نوشته‌های تولید شده توسط انسان را شناسایی کند، باید از افرادی در زبان‌شناسی باشند که کار خود را صرف مطالعه الگوهای زبان و دیگر جنبه‌های ارتباط انسانی کرده‌اند. »
کسلر، با همکاری کاسال، استادیار زبان‌شناسی کاربردی در دانشگاه ممفیس، ۷۲ متخصص زبان‌شناسی را موظف کرد تا به بررسی انواع چکیده‌های تحقیقاتی برای تعیین اینکه آیا آنها توسط هوش مصنوعی نوشته شده‌اند یا انسان‌ها، بپردازند.
از هر متخصص خواسته شد تا چهار نمونه نوشتاری را بررسی کند. هیچ‌کدام به درستی هر چهار مورد را شناسایی نکردند، این در حالی بود که ۱۳ درصد همه آنها را اشتباه گرفتند. کسلر به این نتیجه رسید که بر اساس یافته‌ها، اساتید نمی‌توانند بین نوشته‌های انسنی و نوشته هایی که توسط یک مدل زبان مبتنی بر هوش مصنوعی مانند ChatGPT بدون کمک نرم‌افزاری که هنوز توسعه نیافته است، تمایز قائل شوند.
علیرغم تلاش کارشناسان برای استفاده از دلایل منطقی برای قضاوت در مورد نمونه های نوشتاری در مطالعه، مانند شناسایی برخی ویژگی های زبانی و سبکی، آنها تا حد زیادی با نرخ شناسایی مثبت کلی ۳۸.۹ درصد ناموفق بودند.
بر این اساس، کسلر و کاسال به این نتیجه رسیدند که ChatGPT اگر در برخی موارد به خوبی انسان نباشد ، می تواند ژانرهای کوتاه را به خوبی بیشتر انسان ها بنویسد، ، چون هوش مصنوعی معمولاً خطاهای گرامری ندارد.
کسلر می‌گوید: «برای متون طولانی‌تر، هوش مصنوعی به عنوان توهم و نوعی ساختن محتوا شناخته شده است، که تشخیص این که توسط هوش مصنوعی تولید شده است را آسان‌تر می‌کند.»
کسلر امیدوار است که این مطالعه منجر به گفتگوی بزرگتر برای ایجاد اصول اخلاقی و دستورالعمل های لازم در مورد استفاده از هوش مصنوعی در تحقیق و آموزش شود.
