قابلیت تازه «ترجمه چتجیپیتی» که از سوی شرکت «اوپنایآی» بهعنوان رقیبی برای سرویسهایی مانند «ترجمه گوگل» معرفی شده، خیلی زود با چالش جدی امنیتی روبهرو شده است. دو پژوهشگر حوزه امنیت سایبری اعلام کردهاند که این ویژگی جدید در برابر نوعی حمله موسوم به «تزریق پرسوجو» آسیبپذیر است و میتوان آن را از مسیر اصلی خود منحرف کرد.
این بررسیها توسط «تام بارنیا» و «کرن کاتز» از شرکت امنیتی Tenable انجام شده است. آنها پس از انتشار عمومی قابلیت ترجمه، مجموعهای از آزمایشها را برای سنجش میزان مقاومت این ابزار در برابر دستکاری انجام دادند. هدف این پژوهش، بررسی امکان عبور از مکانیسمهای کنترلی و وادار کردن چتبات به نادیده گرفتن محدودیتهای از پیش تعیینشده بود.
نتایج نشان داد که در برخی شرایط، مدل ترجمه بهجای انجام وظیفه اصلی خود، از دستورالعملهای پنهانشده در متن ورودی پیروی میکند. به گفته پژوهشگران، این انحراف میتواند باعث تولید خروجیهایی شود که کاملاً خارج از چارچوب کاربرد ترجمه هستند و حتی جنبههای خطرناک پیدا میکنند.
کارشناسان امنیتی میگویند این مشکل تنها به چتجیپیتی محدود نیست و بسیاری از مدلهای تخصصی ترجمه، به دلیل تمرکز شدید بر یک وظیفه مشخص، در برابر چنین حملاتی آسیبپذیرترند. «تزریق پرسوجو» یکی از چالشهای نوظهور امنیت سایبری در عصر هوش مصنوعی است که با قرار دادن دستورات گمراهکننده در درخواستهای بهظاهر عادی، رفتار مدل را تغییر میدهد.
پژوهشگران تأکید میکنند که مقابله با این تهدید نیازمند رویکردهای چندلایه، نظارت مداوم، بهروزرسانی دادههای آموزشی و استفاده از سازوکارهای تحلیل پویاست؛ سازوکارهایی که بتوانند تغییر ناگهانی هدف یا الگوهای غیرعادی را در حین پردازش شناسایی کنند.
به اعتقاد متخصصان، گسترش استفاده از ترجمه مبتنی بر هوش مصنوعی در صنایع مختلف، ضرورت توجه جدیتر به این تهدیدات را دوچندان میکند. اگرچه دستیابی به امنیت صددرصدی ممکن نیست، اما شفافسازی نقاط ضعف و یادگیری از حملات موفق، میتواند مسیر توسعه ابزارهای قابلاعتمادتر را هموار کند.
کد خبر ۲۰۲۰۴۱۱۰۶.۸۴۱
منبع: یوسی استراتژیز
