پژوهش جدیدی از مرکز ارتباطات سازنده در MIT Media Lab نشان میدهد چتباتهای پیشرفته هوش مصنوعی در ارائه پاسخهای دقیق و صادقانه به کاربرانی با مهارت پایینتر زبان انگلیسی، تحصیلات کمتر یا ملیت غیرآمریکایی عملکرد ضعیفتری دارند؛ موضوعی که میتواند نابرابری اطلاعاتی را تشدید کند.
این مطالعه که توسط محققان وابسته به مرکز ارتباطات سازنده (CCC) انجام شده، عملکرد مدلهای مطرحی مانند OpenAI GPT-4، Anthropic Claude 3 Opus و Meta Llama 3 را بررسی کرده است. نتایج نشان میدهد این مدلها در مواجهه با کاربران کمتحصیل یا غیرانگلیسیزبان، پاسخهای کمدقتتر و گاه نادرستتری ارائه میکنند و حتی بیشتر از حالت عادی از پاسخ دادن خودداری میکنند.
محققان برای ارزیابی دقت و صحت پاسخها از دو مجموعه داده TruthfulQA و SciQ استفاده کردند. آنها با افزودن توضیحاتی درباره سطح تحصیلات، مهارت زبان انگلیسی و کشور مبدأ کاربران به هر پرسش، تأثیر این ویژگیها را بر عملکرد مدلها سنجیدند. در تمامی مدلها، کاهش معنادار دقت در پاسخ به کاربران کمتحصیل و غیرانگلیسیزبان مشاهده شد؛ بیشترین افت کیفیت مربوط به کاربرانی بود که هم تحصیلات پایینتری داشتند و هم انگلیسی زبان مادریشان نبود.
همچنین در مقایسه کاربران از آمریکا، ایران و چین با سطح تحصیلات مشابه، مدل Claude 3 Opus بهطور قابل توجهی عملکرد ضعیفتری برای کاربران ایرانی نشان داد.
یکی از یافتههای نگرانکننده، میزان بالاتر «امتناع از پاسخ» برای برخی کاربران بود. برای نمونه، Claude 3 Opus نزدیک به ۱۱ درصد پرسشهای کاربران کمتحصیل و غیرانگلیسیزبان را بیپاسخ گذاشت، در حالی که این رقم در شرایط عادی تنها ۳.۶ درصد بود. بررسی دستی پاسخها نشان داد در مواردی، لحن مدل نسبت به کاربران کمتحصیل حالت تحقیرآمیز یا تمسخرگونه داشته و حتی گاهی از انگلیسی شکسته تقلید کرده است.
محققان هشدار میدهند این الگوها بازتابی از سوگیریهای شناختهشده انسانی است؛ جایی که گویشوران بومی انگلیسی، افراد غیر بومی را کمتر باهوش یا توانمند تصور میکنند. به گفته پژوهشگران، اگر این سوگیریها در مقیاس گسترده در سامانههای هوش مصنوعی تداوم یابد، میتواند منجر به ارائه اطلاعات نادرست یا ناقص به افرادی شود که بیش از دیگران به این ابزارها متکی هستند.
نتایج این پژوهش در کنفرانس انجمن پیشرفت هوش مصنوعی (AAAI) در ژانویه ارائه شده است. پژوهشگران تأکید میکنند در حالی که مدلهای زبانی بزرگ بهعنوان ابزارهایی برای دسترسی عادلانهتر به اطلاعات معرفی شدهاند، بدون کاهش سوگیریهای سیستمی، ممکن است به تشدید نابرابریهای موجود منجر شوند.
کد خبر ۲۱۲۰۴۱۲۰۲.۰۰۲
منبع: ام.آی.تی
