در اوایل این هفته، محققان یک حمله را تشریح کردند که از یک ورودی مخفی ارائه شده توسط Microsoft 365 Copilot برای شرکتها استفاده میکرد تا دستیار هوش مصنوعی را وادار به افشای رمز عبوری کند که در صندوق ورودی کاربر وجود دارد. اکنون، یک تیم جداگانه حمله مشابهی را علیه Grok طراحی کرده است. این هک جدید سرقت دادهها از یک ترفند فریبنده و ساده برای وادار کردن LLM متعلق به ایلان ماسک به سرقت چتهای کاربر و سایر اطلاعات شخصی استفاده میکند. در زمان انتشار این پست، دستیار همچنان به افشای دادهها ادامه میداد، علیرغم اینکه xAI در ماه ژوئن از آن مطلع شده بود.
درس از هر دو اپیزود این هفته - و موارد بیشماری که قبلاً رخ دادهاند - این است که LLMها قادر به حل علل ریشهای تزریق پرامپت، شدیدترین کلاس آسیبپذیریهایی که مستعد آن هستند، نیستند. این امر توسعهدهندگان هوش مصنوعی را با هیچ گزینه دیگری جز ایجاد یک محافظ که مدل را از اقدامات مضر دور کند، مواجه میکند. همانطور که در داستان سهشنبه اشاره کردم، این رویکرد معادل مهندس ایمنی ترافیک است که یک حفاظتی در اطراف یک پیچ خطرناک ایجاد میکند تا اینکه منحنی را اصلاح کند.
تزریق رمزنگاری زمینه در صحنه
تزریق پرامپت از آموزش LLMها برای پیروی از درخواستهای کاربر در صورت امکان سوء استفاده میکند. مهاجمان میتوانند با قاچاق دستورالعملهای مضر در ایمیلها یا صفحات وب که دستیار برای خلاصه کردن آنها دستور داده شده است، از این تمایل استفاده کنند. از آنجایی که LLMها نمیتوانند به طور قابل اعتمادی بین محتوای موجود در ایمیلی که توسط یک طرف غیرقابل اعتماد ارسال شده است و دستورالعملهای وارد شده مستقیماً در یک پرامپت تمایز قائل شوند، LLM بیش از حد حامی به طور صادقانه از آنها پیروی میکند. تا به امروز، تنها راه حل Grok و سایر LLMها ایجاد محافظهایی است که دستورالعملهای مشکوک را علامتگذاری کرده و از اجرای آنها جلوگیری کنند.