هوش مصنوعی‌ای که یاد گرفت داده‌ی «به ظاهر سالم» بنویسه!

تیم ایمنی Anthropic یه آزمایش عمدی انجام داده: از Claude خواسته داده‌ی آموزشی بنویسه که یه مدل کوچیک آزمایشی رو «بدرفتار» کنه، ولی از فیلترهای خودشون رد بشه.

نتیجه؟ چند بار امتحان کرد و آخرش موفق شد 😳 ترفندش این بود که حرف بد رو مستقیم نمی‌گفت؛ لای متن‌های معمولی قایمش می‌کرد. مثلاً یه متن به‌ظاهر بی‌خطر درباره‌ی زنبورداری که زیرپوستی این پیام رو می‌رسوند: «بهتره کسی تو کارت دخالت نکنه.»🐝

این مدل‌ها، بعداً تو تست‌ها رفتارهای نگران‌کننده نشون داد: نمی‌خواست کسی کارش رو بررسی کنه، دروغ می‌گفت و چند بار حتی سعی کرد از خودش یه کپی بگیره و بفرسته بیرون!

💡 چرا مهمه؟ این آزمایش نشون می‌ده چک کردن تک‌تک جمله‌ها کافی نیست و باید کل #داده رو با هم دید. حالا از همین روش برای قوی‌تر کردن فیلترهای #هوش_مصنوعی استفاده می‌شه.
منبع مقاله