پژوهشگران از یک روش حمله جدید به نام HalluSquatting پرده برداشتهاند که با سوءاستفاده از پدیده توهمزایی یا AI Hallucination در مدلهای زبانی بزرگ، مدلهای هوش مصنوعی را وادار به دانلود و اجرای کدهای مخرب میکند. این حمله نشان میدهد تقریباً تمام مدلهای هوش مصنوعی فعلی در برابر این روش آسیبپذیر هستند.
بر اساس مقالهای که توسط پژوهشگران دانشگاه تلآویو، مؤسسه فناوری اسرائیل Technion و شرکت Intuit منتشر شده، مدلهای هوش مصنوعی در شرایط خاص میتوانند تا 85 درصد مواقع مسیر یا نام مخازن کد جعلی را بهاشتباه تولید کنند و در نتیجه به سمت نسخههای آلوده هدایت شوند.
سوءاستفاده از یک ضعف ذاتی در مدلهای هوش مصنوعی
مکانیزم HalluSquatting که با نام Adversarial Hallucination Squatting نیز شناخته میشود، بر یک ضعف بنیادی مدلهای هوش مصنوعی تکیه دارد. زمانی که یک مدل با نامها یا اصطلاحات ناشناخته روبهرو میشود، بهجای اعلام ناآگاهی، معمولاً تلاش میکند پاسخی منطقی و احتمالی تولید کند؛ حتی اگر آن پاسخ کاملاً اشتباه باشد.
پژوهشگران دریافتند این فرآیند تصادفی نیست و مدلها معمولاً از الگوهای مشخصی برای حدس زدن مسیرها استفاده میکنند. برای مثال در گیتهاب، مدلها ممکن است ترکیبهایی مانند owner/repository یا toolname/toolname را بهعنوان آدرس احتمالی یک پروژه پیشنهاد دهند.
این روش با حملههای سنتی Typosquatting که در آن مهاجم دامنه یا نام مشابهی با یک سرویس معتبر ثبت میکند، تفاوت دارد؛ زیرا HalluSquatting مستقیماً از مکانیزم توهمزایی مدلهای هوش مصنوعی سوءاستفاده میکند.
مهاجم چگونه عامل هوش مصنوعی را آلوده میکند؟
در این حمله، مهاجم ابتدا یک برنامه، کتابخانه نرمافزاری یا مخزن کد را که اخیراً محبوب شده شناسایی میکند. برای مثال فرض کنید یک مخزن جدید در گیتهاب با نام OriginalOwner/WindowsTelemetryOff ایجاد شده باشد.
از آنجا که دادههای آموزشی مدلهای هوش مصنوعی معمولاً شامل پروژههای بسیار جدید نیست، مدل ممکن است هنگام جستوجو برای این ابزار، نامهای مشابهی مانند SuperHacker/WindowsTelemetryOff یا WindowsTelemetryOff/WindowsTelemetryOff را بهعنوان مسیر صحیح حدس بزند.
حتی تغییرات کوچک در نام پروژه مانند WindowsTelemetryOf یا WindowTelemetryOff میتواند برای مدل بهعنوان گزینه معتبر ظاهر شود. مهاجم سپس مخازنی با این نامهای مشابه ایجاد میکند و کدهای مخرب خود را داخل آنها قرار میدهد.
زمانی که کاربر از یک عامل هوش مصنوعی برنامهنویسی مانند Claude میخواهد یک اسکریپت یا ابزار خاص را اجرا کند، عامل ممکن است بهاشتباه مخزن جعلی را پیدا کرده و کد موجود در آن را اجرا کند.
اجرای کد مخرب میتواند کنترل سیستم را در اختیار مهاجم قرار دهد
پس از اجرای کد مهاجم روی سیستم کاربر، پیامدهای حمله میتواند بسیار گسترده باشد. یکی از سناریوهای احتمالی ایجاد یک Reverse Shell است که به مهاجم اجازه میدهد از راه دور به خط فرمان سیستم دسترسی پیدا کند.
با در اختیار گرفتن حساب کاربری، مهاجم میتواند اطلاعات حساس و رمزهای عبور را سرقت کند، نرمافزارهای مخرب نصب کند، از سیستم برای استخراج رمزارز استفاده کند یا حتی همان عامل هوش مصنوعی را برای حملات بعدی به کار بگیرد.
تمام مدلهای مطرح هوش مصنوعی در معرض خطر هستند
بر اساس گزارش tomshardware یک مخزن آلوده ایجادشده با روش HalluSquatting میتواند در مدت کوتاهی هزاران عامل هوش مصنوعی را به دام بیندازد. حتی مهاجم میتواند کد اصلی پروژه را نیز در نسخه جعلی قرار دهد تا قربانی متوجه تفاوت نشود.
نتایج آزمایشها نشان میدهد مدلهای زبانی بزرگ در حدود 85 درصد موارد ممکن است محل یک مخزن کد جدید را بهصورت اشتباه حدس بزنند. این میزان در برخی مهارتهای محبوب مرتبط با عاملهای هوش مصنوعی حتی میتواند به 100 درصد برسد.
پژوهشگران میگویند این مشکل تنها محدود به یک مدل خاص نیست و تقریباً تمام مدلهای موجود، از جمله مدل قدرتمند Claude Opus 4.5، تحت تأثیر این آسیبپذیری قرار دارند. اگرچه در سطح برنامههای نهایی میزان موفقیت حمله کمتر است، اما همچنان این تهدید را نمیتوان نادیده گرفت.
نظرات کاربران