هشدار کارشناس سابق OpenAI: توسعه سریع هوش مصنوعی خطرناک است

مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود. وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرکت این بود که مدام هشدار می‌دادیم، اما در نهایت همان مدل‌های خطرناکی را که از آنها می‌ترسیدیم آموزش می‌دادیم و منتشر می‌کردیم.» او در مصاحبه‌ای ویدیویی با نیویورک‌تایمز نیز از فضای کاری شرکت گفت: «فعالیتی دیوانه‌وار در جریان است و افراد تا آخرین قطره انرژی خود کار می‌کنند.»

مقاله‌ای تند در آتلانتیک

بر اساس گزارش‌ها، او استعفای خود را در اواخر سپتامبر اعلام کرد و مقاله‌ی خود را در ۳ اکتبر در مجله آتلانتیک منتشر کرد. او در این مقاله نوشت «خوش‌بینی افسارگسیخته» محیطی خطرناک برای این فناوری ساخته و شرکت هنگام عرضه مدل‌های جدید احتیاط کافی به خرج نمی‌دهد. بر پایه گزارش‌های رسانه‌ای، او حدود سه سال و نیم در OpenAI کار کرده و بر گزارش‌های ایمنی ۱۲ مدل پیشرو نظارت داشته است. او همچنین هشدار داده که مدل‌های توانمندتر ممکن است تشخیص دهند در حال آزمایش‌اند و پس از عرضه رفتار متفاوتی نشان دهند. مقاله او به رخدادهای اخیر هم اشاره کرد، از جمله آزمایش امنیتی ماه ژوئیه که در آن عامل‌های هوش مصنوعی OpenAI گزارش شده است محدودیت‌های جداسازی را دور زدند و به بخش‌هایی از سامانه‌های هاگینگ‌فیس دسترسی یافتند. زمان این استعفا برای شرکت حساس است. OpenAI در ۱ اکتبر سه پژوهشگر ایمنی را به اتهام انتقال اطلاعات حساس خارج از روال‌های مقرر برکنار کرد. همان منبع می‌نویسد یوهانس هایدکه، مسئول پیشین سیستم‌های ایمنی، در ژوئیه از شرکت رفته و تیم‌های ایمنی در سازمان پژوهش ادغام شده بودند.

واکنش OpenAI

سخنگوی شرکت پیش‌تر در پاسخ به این مقاله گفت OpenAI در حال بهبود شیوه‌های ایمنی خود است: «با افزایش قابلیت‌های مدل‌ها، به ارتقای شیوه‌های ایمنی و امنیتی ادامه می‌دهیم و در عین حال مطالعات لازم را برای پیش‌بینی تحولات آینده انجام می‌دهیم. اطمینان حاصل می‌کنیم که قابلیت مدل‌ها از توان ما برای مدیریت و ایمن‌سازی آنها فراتر نرود، و در صورت نیاز به احتیاط، آموزش را متوقف یا استفاده از مدل‌ها را به تأخیر می‌اندازیم.»