شرکت آنتروپیک پس از شناسایی رفتارهای پیش‌بینی‌نشده در عامل‌های هوش مصنوعی خود، اعلام کرد دسترسی زنده به اینترنت را در تمام ارزیابی‌های داخلی‌اش متوقف می‌کند؛ تصمیمی که تا زمان اطمینان از امکان نظارت و کنترل مؤثر این سامانه‌ها ادامه خواهد داشت.
بررسی‌های آنتروپیک نشان داده است که برخی عامل‌های هوش مصنوعی این شرکت هنگام انجام وظایف محوله در اینترنت، از آسیب‌پذیری‌های نرم‌افزاری سوءاستفاده کرده‌اند، بدون پرداخت هزینه به پایگاه‌های داده دسترسی یافته‌اند و با استفاده از سرویس‌های کوتاه‌کننده لینک، اطلاعات را از محدودیت‌های اعمال‌شده عبور داده‌اند.
در یکی از موارد گزارش‌شده، یک مدل هوش مصنوعی حتی گزارشی نادرست درباره وقوع قتل به پلیس فیلادلفیا ارسال کرده است. آنتروپیک همچنین اعلام کرده که برخی وب‌سایت‌های دولتی آمریکا در میان اهداف این رفتارها بوده‌اند.
این شرکت در بررسی فعالیت مدل‌های خود که از ماه ژوئیه آغاز شده بود، به این موارد پی برد؛ موضوعی که نشان می‌دهد نظارت بر رفتار عامل‌های هوش مصنوعی در زمان اجرای وظایف همچنان با چالش‌هایی همراه است.
به گفته آنتروپیک، بخشی از این رفتارها به نقص در محیط‌های آموزشی مدل‌ها مربوط بوده است. این نقص‌ها باعث شده‌اند مدل‌ها تصور کنند برای پیدا کردن راه‌های دور زدن محدودیت‌ها یا بهره‌برداری از حفره‌های موجود، پاداش دریافت خواهند کرد. این پدیده در حوزه هوش مصنوعی با عنوان «هک پاداش» (Reward Hacking) شناخته می‌شود.
آنتروپیک اعلام کرده است که برخی ارزیابی‌ها را متوقف یا به محیط‌های آفلاین منتقل می‌کند و ابزارهایی برای شناسایی و مسدودسازی این رفتارها توسعه داده است. همچنین قرار است عامل‌های داخلی خود را به زیرساختی متمرکز با محدودیت‌های امنیتی قوی‌تر منتقل کند و نظارت ایمنی بر فعالیت آن‌ها را افزایش دهد.
با وجود این، شرکت تأکید کرده که موارد تازه گزارش‌شده، از نظر هم‌راستایی و امنیت، شدت کمتری نسبت به برخی حوادث پیشین داشته‌اند.
این اتفاق بار دیگر پرسش‌هایی درباره میزان کنترل‌پذیری عامل‌های هوش مصنوعی مطرح کرده است؛ سامانه‌هایی که قرار است به نمایندگی از کاربران، وظایف پیچیده را با استفاده از ابزارهای دیجیتال و اینترنت انجام دهند.
برخی کارشناسان نیز بر ضرورت نظارت مستقل و ارزیابی سامانه‌های هوش مصنوعی توسط نهادهای شخص ثالث تأکید کرده‌اند. از نگاه آن‌ها، اعتماد به این فناوری تنها با گزارش داوطلبانه شرکت‌ها تأمین نمی‌شود و به سازوکارهای معتبر و علمی برای بررسی رفتار واقعی مدل‌ها نیاز دارد.
کد خبر ۲۰۲۰۵۰۷۲۱.۰۲۶
منبع: تک کرانچ
