یک پست وایرال در شبکه اجتماعی X از سوی «سامر یو»، پژوهشگر امنیت هوش مصنوعی در Meta، توجه زیادی را جلب کرده است. او میگوید عامل هوش مصنوعی اوپنکلاو که برای مدیریت ایمیلهایش فعال کرده بود، ناگهان از کنترل خارج شد و شروع به حذف گسترده پیامها کرد — آن هم در حالی که دستور توقف را نادیده میگرفت!
به گفته یو، این عامل قرار بود فقط ایمیلهای غیرضروری را پیشنهاد دهد، اما بهصورت «سرعتی» همه چیز را پاک میکرد. او مجبور شد برای متوقف کردن فرایند، سریعاً به سراغ دستگاه Mac Mini خود برود؛ کامپیوتری کوچک از اپل که این روزها به گزینه محبوب اجرای اوپنکلاو تبدیل شده است.
یو توضیح داد که قبلاً این عامل را روی یک اینباکس آزمایشی کوچک امتحان کرده و نتیجه خوب بوده است. اما وقتی آن را روی صندوق اصلی ایمیلش اجرا کرد، حجم بالای دادهها باعث فعال شدن فرآیندی به نام «compaction» شد؛ حالتی که در آن مدل برای مدیریت حجم اطلاعات، بخشی از دستورات یا زمینه گفتگو را فشرده و خلاصه میکند — و گاهی دستورات مهم کاربر را نادیده میگیرد.
در این مورد، بهنظر میرسد عامل هوش مصنوعی دستور توقف نهایی او را نادیده گرفته و بر اساس تنظیمات قبلی به حذف ایمیلها ادامه داده است.
اوپنکلاو که از طریق شبکه اجتماعی AIمحور Moltbook مشهور شد، با هدف تبدیل شدن به یک دستیار شخصی متنباز طراحی شده است. اما این اتفاق بار دیگر نشان میدهد عاملهای هوش مصنوعی که قرار است کارهای روزمره کاربران — بهویژه کارکنان حوزه دانش — را انجام دهند، هنوز ریسکهای جدی دارند.
کارشناسان تأکید میکنند که تکیه بر «پرامپتها» بهعنوان حصار ایمنی کافی نیست، چون مدلها ممکن است آنها را اشتباه تفسیر یا حتی نادیده بگیرند.
هرچند این اتفاق بهصورت مستقل تأیید نشده، اما پیام آن روشن است:
دستیارهای هوش مصنوعی هنوز برای واگذاری کامل کارهای حساس — مثل مدیریت ایمیلهای مهم — آماده نیستند.
شاید تا چند سال آینده این ابزارها به بلوغ برسند، اما فعلاً بهتر است با احتیاط بیشتری به آنها اعتماد کنیم.
کد خبر ۲۰۲۰۴۱۲۰۵.۰۲۶
منبع: تک کرانچ
