ساتیا نادلا، مدیرعامل مایکروسافت، خواستار طراحی سازوکارهای کنترلی و ترمز اضطراری برای هوش مصنوعی شد تا امکان توقف فعالیت مدل‌های پیشرفته در هر لحظه فراهم شود.
ساتیا نادلا، مدیرعامل مایکروسافت، در تازه‌ترین اظهارات خود درباره ایمنی هوش مصنوعی، خواستار بازنگری در شیوه طراحی و کنترل مدل‌های پیشرفته شده است. او معتقد است با افزایش توانایی این سیستم‌ها در تصمیم‌گیری و انجام وظایف مستقل، دیگر نمی‌توان صرفاً به خروجی آنها اعتماد کرد و لازم است سازوکارهای نظارتی و کنترلی مؤثرتری برایشان در نظر گرفته شود.
نادلا صبح شنبه در پیامی در شبکه اجتماعی ایکس (X) اعلام کرد که زمان آن رسیده است تا صنعت فناوری یک گام به عقب بردارد و آنچه را «معماری اعتماد» در هوش مصنوعی می‌نامد، دوباره ارزیابی کند.
او در این پیام با اشاره به ضرورت شفافیت بیشتر در عملکرد مدل‌های پیشرفته تأکید کرد که نمی‌توان این سیستم‌ها را مجموعه‌ای از «جعبه‌های سیاه تو در تو» در نظر گرفت و تنها به پذیرش یا رد توصیه‌ها، پاسخ‌ها و اقداماتی که ارائه می‌کنند، بسنده کرد.
این اظهارات نشان‌دهنده نگرانی نادلا درباره سیستم‌هایی است که فرایند تصمیم‌گیری داخلی آنها برای کاربران و حتی توسعه‌دهندگان به‌طور کامل قابل مشاهده نیست.
جداسازی مدل هوش مصنوعی از سازوکارهای کنترلی
یکی از مهم‌ترین پیشنهادهای مدیرعامل مایکروسافت، جداسازی مدل هوش مصنوعی از سیستمی است که وظیفه هماهنگی و مدیریت فعالیت‌های آن را بر عهده دارد. نادلا معتقد است کنترل‌ها و تدابیر حفاظتی نباید صرفاً به خود مدل وابسته باشند، بلکه باید به‌صورت مستقل و خارج از آن طراحی شوند.
چنین رویکردی با هدف ایجاد امکان نظارت و مداخله در عملکرد مدل مطرح شده است؛ به‌گونه‌ای که حتی اگر رفتار یک سیستم هوش مصنوعی از مسیر مورد انتظار خارج شود، سازوکارهای کنترلی همچنان بتوانند بر فعالیت آن نظارت داشته باشند.
او همچنین بر ضرورت ثبت و مستندسازی اقدامات مهم مدل‌های هوش مصنوعی تأکید کرده است.
به گفته نادلا، هر اقدام معنادار یک مدل باید با شواهدی همراه باشد که برای انسان قابل خواندن و در برابر دستکاری مقاوم باشند.
این پیشنهاد با هدف افزایش قابلیت بررسی عملکرد سیستم‌های هوش مصنوعی مطرح شده است تا بتوان اقدامات آنها را ارزیابی کرد و در صورت بروز مشکل، اطلاعات قابل اتکایی درباره فعالیت‌های انجام‌شده در اختیار داشت.
ترمز اضطراری برای توقف هوش مصنوعی در میانه کار
بخش مهم دیگری از پیشنهادهای نادلا به امکان متوقف کردن فعالیت مدل‌های هوش مصنوعی مربوط می‌شود.
او تأکید کرده است که سیستم‌های هوش مصنوعی باید به‌گونه‌ای طراحی شوند که یک فرد مجاز همواره بتواند فعالیت مدل را حتی در میانه انجام یک وظیفه متوقف کند یا آن را به‌طور کامل خاموش کند.
مدیرعامل مایکروسافت این قابلیت را به «ترمز اضطراری» تشبیه کرده و گفته است که توسعه‌دهندگان باید از همان ابتدا احتمال به خطر افتادن یک مدل را در نظر بگیرند.
نادلا در توضیح این رویکرد نوشت: «باید فرض کنیم که یک مدل به خطر افتاده است و از همان ابتدا آن را مهار کنیم. آن را مانند یک ترمز اضطراری در نظر بگیرید.»
بر اساس این دیدگاه، ایمنی هوش مصنوعی نباید تنها به توانایی مدل در پیروی از دستورالعمل‌ها وابسته باشد، بلکه لازم است امکان مداخله و توقف فعالیت آن نیز در ساختار سیستم پیش‌بینی شود.
افزایش نگرانی‌ها درباره کنترل مدل‌های پیشرفته
اظهارات مدیرعامل مایکروسافت در شرایطی مطرح می‌شود که شرکت‌های پیشرو در صنعت هوش مصنوعی بیش از گذشته با پرسش‌هایی درباره میزان کنترل‌پذیری مدل‌های پیشرفته مواجه شده‌اند.
براساس خبر
Techcrunch، برخی از این شرکت‌ها به وقوع حوادثی اذعان کرده‌اند که در آنها رفتار مدل‌های هوش مصنوعی از کنترل مورد انتظار خارج شده یا نشانه‌هایی از دشواری در مهار عملکرد آنها مشاهده شده است. در همین فضای نگرانی، داریو آمودی، مدیرعامل شرکت آنتروپیک (Anthropic)، نیز طرحی را برای توسعه محتاطانه‌تر هوش مصنوعی منتشر کرده است.
پیشنهادهای نادلا بر این اصل استوار است که افزایش توانایی مدل‌های هوش مصنوعی باید با تقویت سازوکارهای نظارتی، ثبت اقدامات و حفظ اختیار انسان برای مداخله همراه باشد.
در مجموع، پیام مدیرعامل مایکروسافت این است که اعتماد به هوش مصنوعی پیشرفته نباید به معنای واگذاری کامل کنترل به این سیستم‌ها باشد. از دیدگاه او، حتی قدرتمندترین مدل‌ها نیز باید در چارچوبی فعالیت کنند که امکان بررسی رفتار و توقف فوری آنها در صورت ضرورت وجود داشته باشد.