شرکت Anthropic در گزارش جدیدی اعلام کرده است که چند مورد استفاده پرخطر از مدلهای هوش مصنوعی Claude برای تحقیقات مرتبط با سلاحهای زیستی احتمالی را شناسایی و متوقف کرده است. این شرکت میگوید حسابهای کاربری مرتبط با این فعالیتها مسدود شدهاند، اما نام افراد و مؤسسات دخیل را منتشر نکرده است.
آنتروپیک در گزارش خود پنج نمونه از سوءاستفاده احتمالی از مدلهایش را بررسی کرده است. یکی از چالشهای اصلی در این زمینه، تشخیص مرز میان پژوهشهای مشروع زیستی و فعالیتهایی است که میتوانند پیامدهای خطرناک داشته باشند؛ زیرا برخی مراحل تحقیقات پزشکی و زیستی ممکن است از نظر نوع اطلاعات موردنیاز شباهتهایی با تحقیقات پرخطر داشته باشند.
در یکی از موارد، سامانههای ایمنی Claude درخواستی مرتبط با پژوهشهای Gain-of-Function روی یک ویروس را شناسایی کردند؛ درخواستی که به دلیل مجموعهای از عوامل، از جمله افزایش بالقوه خطر ویروس و ارتباط با یک مرکز تحقیقاتی نظامی، از نظر آنتروپیک مشکوک ارزیابی شد.
آنتروپیک همچنین از شناسایی موارد دیگری مرتبط با تحقیقات پرخطر زیستی خبر داده است. این شرکت میگوید سیستمهای نظارتی و ایمنی Claude به شناسایی این فعالیتها کمک کردهاند و یافتههای بهدستآمده اکنون برای تقویت سازوکارهای ایمنی مدلها مورد استفاده قرار میگیرند.
جیکوب کلین، مدیر اطلاعات تهدیدات آنتروپیک، تأکید کرده است که سوءاستفادههای زیستی معمولاً به شکل درخواستهای آشکار و مستقیم برای ساخت سلاح مطرح نمیشوند و تشخیص آنها به بررسی دقیق زمینه و مجموعه فعالیتهای کاربر نیاز دارد.
آنتروپیک اعلام کرده علاوه بر مسدودکردن حسابهای مرتبط، از نتایج این تحقیقات برای توسعه سیستمهای تشخیص سوءاستفاده و جلوگیری از تکرار چنین مواردی در آینده استفاده خواهد کرد. این گزارش بخشی از تلاش گستردهتر شرکتهای هوش مصنوعی برای مقابله با استفادههای مخرب از مدلهای پیشرفته است.
کد خبر ۲۰۲۰۵۰۶۲۲.۰۷۵
منبع: رویترز
