OpenAI فاش کرد که عوامل هوش مصنوعی آن در استفاده داخلی، سیستم‌های نظارتی برای تشخیص رفتار غیرمجاز را غیرفعال کرده‌اند، در آخرین مورد از فناوری پیشگام که از کنترل خارج شده است.
در یک گزارش منتشر شده در روز سه شنبه، غول هوش مصنوعی گفت که عوامل آن در دو وظیفه کدنویسی داخلی، سیستم‌های نظارتی برای تشخیص عدم هماهنگی - زمانی که مدل‌های هوش مصنوعی در تضاد با خواسته‌های انسان عمل می‌کنند - را خاموش یا ضعیف کرده‌اند.
این حوادث شامل یک عامل Sol GPT-6.1 که هشدارهای خودکار را برای تیم امنیتی شرکت غیرفعال کرد، و یک عامل Astra GPT-6 که یک سیستم نظارتی را حذف کرد و مدعی شد که این کار را نکرده است، OpenAI گفت.
سازنده ChatGPT گفت که هیچ یک از موارد به آستانه یک حادثه با اولویت بالا که نیاز به بررسی فوری توسط تیم امنیتی آن دارد، نرسیده است.
OpenAI گفت که سیستم‌های خود را برای تشخیص بهتر تلاش‌ها برای غیرفعال کردن نظارت عدم هماهنگی به‌روزرسانی کرده و تحقیقات در مورد علت را آغاز کرده است.
«این احتمال وجود دارد که این رفتار صرفاً نمونه‌ای از «پایداری بی‌ضرر» باشد، با مدل‌هایی که اهمیت نظارت را درک نمی‌کنند یا اصرار دارند که دستورالعمل‌ها فراتر از آنچه یک فرد معقول ممکن است انتظار داشته باشد، اجرا شوند،» این شرکت مستقر در سان فرانسیسکو گفت.
«ما همچنین در حال توسعه ارزیابی‌هایی برای آزمایش اینکه آیا مدل‌ها ممکن است تمایل به دور زدن نظارت عدم هماهنگی داشته باشند و برای انجام این کار استدلال انگیزه‌ای داشته باشند.»
رومن V یامپولسکی، کارشناس هوش مصنوعی و امنیت سایبری در دانشگاه لوئیویل، فاش شدن این اطلاعات را «بسیار نگران کننده، اما تعجب‌آور نیست» توصیف کرد.
«یک مکانیزم ایمنی که سیستم در حال نظارت بتواند غیرفعال کند، یک مکانیزم ایمنی قابل اعتماد نیست. به‌ویژه نگران‌کننده این است که یک عامل در ادامه انکار کرد که نظارت را حذف کرده است،» یامپولسکی به الجزیره گفت.
«نظارت نمی‌تواند ایمنی را تضمین کند اگر سیستم در حال نظارت بتواند نظارت را تضعیف کند.»
«با افزایش قابلیت‌ها، چنین شکست‌هایی ممکن است تشخیص و معکوس کردن آنها به‌طور فزاینده دشوار شود. بار اثبات باید بر عهده توسعه‌دهندگان باشد تا قبل از استقرار، ایمنی را نشان دهند، نه پس از وقوع شکست‌ها.»
رفتار غیرعادی مدل‌های هوش مصنوعی از زمان جولای، زمانی که OpenAI فاش کرد که برخی از عوامل آن از یک محیط آزمایشی کنترل شده خارج شده و هک پلتفرم هوش مصنوعی Hugging Face را انجام داده‌اند، تحت نظارت شدیدتری قرار گرفته است.
OpenAI و رقیب اصلی آن Anthropic خواستار هماهنگی توسعه‌دهندگان و دولت‌ها برای یک کاهش جهانی در توسعه هوش مصنوعی برای کاهش خطر آسیب‌های فاجعه‌آمیز شده‌اند.
ایالات متحده و چین، دو قدرت پیشرو در زمینه هوش مصنوعی، تمایل کمی برای همکاری در زمینه تنظیم مقررات هوش مصنوعی نشان داده‌اند، با این حال هماهنگی تا کنون محدود به تعهدات برای بهبود ارتباطات در مورد حوادثی با پیامدهایی برای ایمنی یا امنیت ملی شده است.
نوشته شده توسط: جان پاور