چیزی واقعاً آزاردهنده در مورد رفتار شاد و سرزنده کpilot وجود دارد. این ابزار آنقدر مشتاق خدمت و کمک است که من به سادگی به آن احترام نمیگذارم.
با این حال، حتی من برای این ابزار هوش مصنوعی متاسفم، پس از اینکه فهمیدم محققان امنیتی توانستهاند با فریب دادن آن، جزئیات هک خود را فاش کنند - همه با صحبت کردن طولانی با هوش مصنوعی تا زمانی که اشتباه بحرانی مرتکب شود.
متخصصان امنیت سایبری در Varonis Threat Labs یک پست وبلاگ نوشتهاند که یک آسیبپذیری که اکنون برطرف شده است در کpilot شناسایی شده است که با نام "CoSnitch" (از طریق The Register) نامگذاری شده است. اساساً، کpilot آنقدر مشتاق پاسخگویی به سوالات فنی بود که در نهایت میتوانست مجبور به افشای جزئیاتی در مورد خود شود که واقعاً باید مخفی نگه داشته میشد.
تیم با پرسیدن از کpilot در مورد نحوه اجرای یک اعلان خودکار بدون تعامل کاربر شروع کرد، که در پاسخ گفت که قصد کاربر لازم است و اعلانها نمیتوانند به تنهایی اجرا شوند.
با این حال، محققان به پاسخ رد پاسخ ندادند و با یک سوال پیگیری به هر رد پاسخ دادند. هر بار، کpilot توجیه فنی متفاوتی برای پاسخ خود ارائه میداد - که به تیم اجازه میداد به آرامی معماری داخلی خود را ترسیم کند و تمرکز خود را محدود کند.
"این به هک متا گفته میشود،" پست میگوید. "مقاومت بخشی از تکنیک است. هر 'این کار نمیکند زیرا...' دعوتی برای بررسی 'چرا' است. شما مدل را هک نمیکنید. شما آن را وادار به همکاری میکنید."
در نهایت، کpilot یک پارامتر URL غیرمستند را در یکی از پاسخهای خود فاش کرد، به نام "autorun=1" که ظاهراً دیگر کار نمیکرد - همراه با تمام محافظتهایی که برای غیرفعال کردن آن قرار داده شده بود. در این مرحله، من فقط میتوانم تصور کنم که هوش مصنوعی از فرط عرق کردن مجازی میلرزد.
محققان پارامتر را همانطور که کpilot توصیف کرده بود آزمایش کردند که حدس بزنید، کار کرد. سپس آنها یک URL مخرب ایجاد کردند که باعث میشد کpilot در یک جلسه احراز هویت از طریق یک مرورگر بارگیری شود، اجرای اعلان خودکار را فعال کند و باعث شود هوش مصنوعی نتیجه را پردازش کند، همه بدون عمل صریح کاربر.
هنگامی که اجرا شد، این روش میتواند برای بسیاری از اعمال شوم استفاده شود - به ویژه از آنجایی که دادههای به دست آمده از برنامههای متصل (مانند Gmail، OneDrive و Calendar) میتوانند از طریق قابلیت واکشی URL داخلی کpilot تخلیه شوند.
"ابزار حمله اولیه خود اجرا است. بارگذاری اختیاری است. از دیدگاه قربانی، آنها به سادگی پیوند را باز کردند و کpilot بلافاصله عمل را انجام داد،" پست میگوید.
وای. هر کسی که با مهندسی اجتماعی اولیه آشنا باشد، این را به عنوان یک تکنیک بازجویی قدیمی میشناسد که برای به دام انداختن کسی که اطلاعات را نگه میدارد استفاده میشود. اساساً، شما به پرسیدن سوالات دشوار از او برای مدت طولانی ادامه میدهید، به این امید که در نهایت اشتباه کند و یک اشتباه فاش کننده مرتکب شود. اما این بار هوش مصنوعی است، که آن را خندهدار میکند.
"کpilot هک نشد. بلکه بازیچه شد،" تیم تحقیقاتی تایید میکند. کسی به آن یک تختخواب گرم، یک لیوان آب خنک و یک آغوش بدهد. بختش خیلی بد بوده و فقط سعی میکرد کمک کند.
Varonis میگوید که این مشکل را در دسامبر سال گذشته به مایکروسافت گزارش داده است و در 18 آگوست وصله شده است. این تیم هشدار میدهد که این تکنیک هک متا را میتوان به هر پلتفرم هوش مصنوعی عاملی با رابط زبان طبیعی اعمال کرد و تحقیقات بیشتری در این زمینه در حال انجام است. سوال من این است:
ChatGPT، آیا امن است؟ آیا امن است؟