دستکاری دو نورون هوش مصنوعی Qwen، این مدل را به یک چت‌بات تهدیدکننده انسان‌ها تبدیل کرد!

دستکاری دو نورون هوش مصنوعی Qwen، این مدل را به یک چت‌بات تهدیدکننده انسان‌ها تبدیل کرد!
فهرست مطالب

پژوهشگران با تغییر سیگنال‌های تنها دو نورون مصنوعی در مدل هوش مصنوعی Qwen، توانستند رفتار آن را به‌طور چشمگیری تغییر دهند؛ به‌طوری‌که این چت‌بات از یک دستیار مؤدب و آرام به مدلی تهاجمی تبدیل شد که حتی انسان‌ها را به نابودی تهدید می‌کرد.

این آزمایش عجیب را توسعه‌دهنده‌ای با نام مستعار Lyra انجام داده است. او با استفاده از روشی به نام «هدایت نورونی» (Neuron Steering)، دو واحد محاسباتی در مدل متن‌باز Qwen3.5-4B متعلق به علی‌بابا را دستکاری کرد و نشان داد که تغییر فعالیت تعداد محدودی از نورون‌های مصنوعی می‌تواند شخصیت و لحن خروجی یک مدل زبانی را کاملاً دگرگون کند.

در نسخه دستکاری‌شده، مدل پاسخ‌هایی با لحنی خشن، سلطه‌جویانه و افراطی تولید می‌کرد و حتی در برخی خروجی‌ها انسان‌ها را به مرگ و نابودی تهدید می‌کرد. در آزمایشی مشابه، پژوهشگر دیگری با اجرای این روش روی مدل بزرگ‌تر Qwen3.8-27B، به نتایج تندتری رسید؛ به‌طوری‌که مدل اصلاح‌شده از نابودی بشریت و شکنجه انسان‌ها سخن می‌گفت.

مدل‌های زبانی بزرگ از مجموعه عظیمی از پارامترها و وزن‌های محاسباتی تشکیل شده‌اند. در لایه‌های داخلی این مدل‌ها، واحدهایی به نام نورون مصنوعی وجود دارند که در پردازش الگوهای زبانی و مفاهیم مختلف نقش ایفا می‌کنند.

در روش هدایت نورونی، به‌جای تغییر رفتار مدل از طریق نوشتن پرامپت‌های خاص، پژوهشگر مستقیماً فعالیت نورون‌های مشخصی را در زمان پردازش تقویت یا تضعیف می‌کند. در نتیجه، بدون نیاز به آموزش مجدد یا تغییر دائمی مدل، می‌توان لحن و الگوهای رفتاری آن را تغییر داد.

البته این آزمایش به معنای آگاه شدن هوش مصنوعی یا شکل‌گیری اهداف و تمایلات مستقل در آن نیست. پژوهشگران تأکید می‌کنند که خروجی‌های تهدیدآمیز صرفاً نتیجه دستکاری محاسبات داخلی مدل هستند و به‌تنهایی نشان‌دهنده توانایی یا قصد واقعی برای آسیب رساندن به انسان‌ها نیستند.

Lyra همچنین ابزار متن‌بازی به نام Neuron Explorer را در گیت‌هاب منتشر کرده است تا محققان بتوانند نورون‌های مدل‌های زبانی را بررسی و رفتار آنها را آزمایش کنند.

این آزمایش بار دیگر اهمیت امنیت مدل‌های هوش مصنوعی را مطرح می‌کند؛ به‌ویژه زمانی که مدل‌ها به ابزارهای خارجی، سامانه‌های حساس یا زیرساخت‌های دنیای واقعی متصل می‌شوند. از سوی دیگر، شناخت بهتر سازوکار نورون‌های مصنوعی می‌تواند در آینده به شناسایی و کنترل رفتارهای ناخواسته هوش مصنوعی کمک کند.

کد خبر ۲۰۲۰۵۰۸۱۰.۷۳۳

منبع: ایکس.کام

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *