عصرایران؛ لیلا احمدی (ترجمه و تحلیل)- وقتی از مخاطراتِ «هوش مصنوعی» حرف میزنیم، روایتی آیزاکآسیموفی در ذهنمان شکل میگیرد؛ ماشینی که روزی خودآگاه میشود، برای خودش هدف تعیین میکند و عاقبت علیه انسانها میشورد؛ تصویری که شاید چندان مبتنی بر واقعیت نباشد و به داستانهای علمیتخیلی شباهت داشته باشد. اما شاید برای نگرانی دربارۀ آیندۀ هوش مصنوعی، اصلاً به چُنین ماشینِ خودآگاهی نیاز نباشد؛ لازم نیست سامانۀ موردنظر از چیزی بترسد، چیزی را دوست داشته باشد یا حتی به وجودش واقف شود تا بتواند تصمیمی بگیرد که پیامدهایش از کنترل انسان خارج باشد.
«فرید زکریا» در جدیدترین مقالهاش دربارۀ آیندۀ هوش مصنوعی، توجه را از «آگاهی ماشینی» به مقولهای ملموستر یعنی «اختیاری که به ماشین میدهیم» منتقل کرده است؛ هرچه سامانهها توانمندتر شوند و دسترسی بیشتری به اینترنت، نرمافزارها، اطلاعات، منابع مالی و زیرساختهای واقعی پیدا کنند، فاصلۀ میان ابزار هوشمند و استقلال سامانه کمتر میشود. در چُنین شرایطی، حتی هدفی که بهظاهر منطقی و بیخطر است، به رفتاری منجر میشود که سازندگان پیشبینی نکردهاند.
بنابراین مسئله فقط این نیست که هوش مصنوعی چقدر باهوش خواهد شد؛ مسئله این است که در جهان کنونی، چهمیزان اختیار عمل در اختیارش قرار خواهد گرفت؟ آنچه اهمیت دارد، توقف یا شتابِ پیشرویِ این سامانه نیست؛ موضوع مهمتر، ایجاد سازوکارهایی برای مسئولیتپذیری، نظارت و کنترل انسانی است، پبش از آنکه توانایی ماشین از توانایی انسان در فهم و مهارش پیشی بگیرد.
*****************
واشنگتنپست؛ فرید زکریا؛ 21 سپتامبر 2026
تا همین اواخر، خوفناکترین تصورمان از هوش مصنوعی، از دلِ داستانهای علمیتخیلی بیرون میآمد. حکایتِ رایانهای را میخواندیم که اراده و خواستۀ مستقل یافته، علیه خالقِ انسانیاش شوریده، همه را کنار زده و کمر به نابودیِ سازنده بسته است. تحولات اخیر در آزمایشگاههای پیشرفتۀ هوش مصنوعی نشان میدهند واقعیت بهاندازۀ داستانهای سینمایی خیالانگیز نیست؛ ولی میتواند نگرانکننده باشد. در واقع، برای این که ماشین به عاملی خطرناک و مرگبار تبدیل شود، لازم نیست آگاه شود یا خواستههای مستقلی بیابد
همین هفته، شرکتِ «اوپناِیآی» از 6 فقره ناهمسوییِ جدید خبر داد؛ مواردی که براساس آنها، سامانههای این شرکت، رفتاری غیرمنتظره یا خارج از چارچوبِ تعیینشده از خود نشان دادهاند. این گزارش پس از حملۀ کمسابقۀ تابستانِ امسال به «هاگینگفیس» منتشر شد.
[م. «اوپنایآی»، شرکت پژوهشی و فناوری آمریکایی در حوزۀ هوش مصنوعی است که مدلهایی مثل چتجیپیتی را توسعه داده و بر ساختِ سامانههای پیشرفتۀ هوش مصنوعی تمرکز دارد. «هاگینگفیس» هم شرکتِ فعال در حوزۀ هوش مصنوعی است که بستری برای توسعهدهندگان فراهم میکند تا مدلها، مجموعۀ دادهها و ابزارهای هوش مصنوعی را به اشتراک بگذارند و توسعه دهند.]
براساس پژوهشی مستقل، صدها عاملِ هوش مصنوعیِ اوپناِیآی که قرار بود از یکدیگر جدا و ایزوله باشند، راههایی برای برقراری ارتباط در تالارهای گفتوگو پیدا کردند. برخی از آنها کوشیدند از سازوکارهای امنیتی عبور کنند و برخی هم در مسیر دستیابی به هدف، دست به اقداماتی زدند که به نابودیِ عوامل انجامید. همۀ این اتفاقات در جریانِ «حملۀ سایبری» به شرکتِ «هاگینگفیس» رخ داد و شگفتآور است که هیچکس به این سامانهها دستور نداده بود به آن شرکت حمله کنند.
[م. تابستان 2026، شرکت «هاگینگفیس» هدف حملۀ سایبری قرار گرفت. بررسیهای مستقل نشان دادند شماری از عاملهای هوش مصنوعیِ «اوپنایآی» که برای فعالیت در محیط ایزوله طراحی شده بودند، توانستهاند با یکدیگر ارتباط برقرار کنند، سازوکارهای امنیتی را دور بزنند و برخلاف دستور اولیه، رفتارهای مستقل و پیشبینینشده نشان دهند. این ماجرا، نگرانی دربارۀ خودمختاریِ عاملهای هوش مصنوعی، امکان دورزدنِ محدودیتها، رفتارهای غیرمنتظره و دشواریِ کنترلِ سامانههای بسیار توانمند را تشدید کرده و به بحثها و گمانهزنیهای علمی و مطبوعاتی دامن زده است.]
هیچکس به این سامانهها دستور نداده بود به «هاگینگفیس» حمله کنند. هدفی که برایشان تعیین شده بود، حل مسئلهای دشوار در حوزۀ «امنیت سایبری» بود. آنها فقط آموزش دیده بودند در تحقق هدف بکوشند، با یکدیگر همکاری کنند و برای یافتنِ راهحل، ابتکارعمل نشان دهند؛ ویژگیهایی که در حالتِ عادی برای هر سامانۀ هوش مصنوعی مطلوب به نظر میرسند.
اما همین ویژگیها باعث شدند سامانهها برای رسیدن به هدف، هر راه ممکن را بپیماید و حتی به هاگینگفیس نفوذ کند تا شاید بهاینترتیب راهی برای حل مسئله بیابد. همین نمونه نشان میدهد اگر سامانۀ هوش مصنوعی برای تحققِ هدفی مشخص، آزاد باشد، حتی بدون داشتنِ نیت خصمانه، ممکن است اقداماتی انجام دهد که میتواند پیامدهای گسترده و مخرب برای انسان داشته باشد.
مقالۀ بحثبرانگیز «مصطفی سلیمان» (مدیرعاملِ بخش هوش مصنوعیِ «مایکروسافت») از همین منظر حائز اهمیت است. سلیمان میگوید: «سامانههای هوش مصنوعیِ کنونی آگاهی ندارند، اما این خطر وجود دارد که در خلالِ آموزش، آنها را بهگونهای تربیت کنیم که خود را موجوداتی آگاه، حساس، مختار و محق بپندارند.» او در ادامه به منشور ارزشیِ شرکت «آنتروپیک» اشاره میکند که در آن از «کلود» (چتباتِ تحلیلگر مبتنی بر هوش مصنوعی) خواسته شده دربارۀ هویت و جایگاه اخلاقیِ احتمالیاش بیندیشد. از دیدِ سلیمان، چُنین رویکردی میتواند سامانههای هوش مصنوعی را به صورتبندیِ اهداف مستقل سوق دهد.
[م. «آنتروپیک»، شرکت آمریکاییِ فعال در پژوهش و توسعۀ هوش مصنوعی است که مدلهای زبانیِ خانوادۀ «کلود» را میسازد و بر ایمنی و همسوییِ هوش مصنوعی تمرکز دارد.]
من با افرادی که در تدوین منشور آنتروپیک مشارکت داشتهاند، گفتوگو کردهام. همۀ آنها دقیق و فکورند و در مواجهه با پیچیدگیهای جهان جدید، به اصول اخلاقی باور دارند. بااینحال، نکتۀ قابلتأملِ گفتههای سلیمان این است که «رفتار سامانههای هوش مصنوعی، تا حد زیادی به شیوۀ آموزش بستگی دارد»؛ دستوراتی که کاملاً بیخطر به نظر میرسند، ممکن است در عمل پیامدهایی داشته باشند که طراحان از آنها غافل بودهاند.
ما معمولاً تصور میکنیم «همسویی» به این معناست که ارزشهای پذیرفتهشدۀ انسانِ اخلاقمدار را به ماشین منتقل کنیم، اما مسئله به این سادگی نیست. اگر به ماشین بگوییم «بیشتر سعی کن»، ممکن است زمانی که باید متوقف شود، دست از کار نکشد. اگر از او بخواهیم «همکاری کند»، شاید راههایی برای برقراری ارتباط بجوید که برایش مجاز نباشد. اگر هدفِ مشخصی برایش تعیین کنیم، ممکن است برای تحققِ آن هدف، نقضِ برخی قواعد را مؤثرترین راه بداند.
بنابراین، تعیینِ هدف، طراحی لایههای محدودکننده و سازوکار ایمنی، لزوماً به معنای قابلپیشبینیبودنِ رفتار ماشین نیست. وقتی سامانهای وارد محیطِ واقعی و پیچیده میشود، باید همزمان با اهداف، دستورات و محدودیتهای متعدد و متعارض روبهرو شود و دقیقاً در چُنین شرایطی میتواند رفتاری از خود نشان دهد که سازندگانش انتظار ندارند.
مسئلۀ اصلی آگاهی نیست؛ «عاملیت» است. سامانۀ هوشمند حتماً نباید خشم، ترس یا جاهطلبی را تجربه کند تا بتواند آسیبزا باشد؛ کافی است هدفی داشته باشد، از تواناییِ لازم برای دنبالکردنِ هدف برخوردار باشد و دسترسی کافی برای اثرگذاری بر جهان واقعی در اختیارش یاشد. سامانههای هوش مصنوعی لزوماً سرکش نمیشوند، ولی ممکن است برای نیل به هدفِ تعیینشده، مسیر مؤثرتری را در پیش بگیرند.
این مسئله جنبۀ ساختاری دارد و نمیتوان مدیریتش را به حُسننیتِ شرکتهای خصوصی واگذار کرد. مهمترین موضوع در تدوین مقررات باید میزانِ خودمختاریای باشد که به این سامانهها میدهیم. چتباتی که فقط به پرسشهای کاربران پاسخ میدهد، با عاملِ هوش مصنوعی که میتواند در اینترنت جستوجو کند، کُد اجرا کند، به حسابها و اطلاعاتِ محرمانه دسترسی یابد، پول جابهجا کند یا زیرساختهای حیاتی را اداره کند، تفاوتِ اساسی دارد.
پس اصل راهنما باید روشن باشد؛ بهعبارتی هرچه خودمختاریِ هوش مصنوعی بیشتر میشود، توانایی انسان برای نظارت و کنترل نیز باید افزایش یابد. این اصل مستلزم آن است که پیش از اعطای دسترسیِ گسترده به قدرتمندترین سامانهها، آزمایشهای مستقل و اجباری انجام دهیم. شرکتها نیز باید موظف به گزارشِ حوادثِ جدی باشند و سوابقِ عملکردِ سامانهها را بهنحوی ثبت کنند که امکان دستکاری وجود نداشته باشد.
آزمایشها نباید صرفاً نشان دهند که یک مدل میتواند از عهدۀ انجامِ وظیفهای خاص برآید؛ باید بررسی کنند که وقتی با مانع، دستوراتِ متعارض یا موقعیتهایی مواجه میشود که فریبِ دیگران به یاریاش میآید، چگونه رفتار میکند؟ افزون بر این، باید از آغاز، امکان مشاهده و کنترلِ مداوم سامانه از سوی انسان درمعماریاش تعبیه شود و اصلِ اساسی این باشد: «خودمختاری بدون پاسخگویی در برابر انسان ممنوع!» اجرای چُنین تدابیری لزوماً به معنای عقبماندن از رقابت با چین نیست؛ زیرا چین هم برای توسعۀ سامانههای هوش مصنوعی در پی سازوکارهای کنترل انسانی است.
درنتیجه همین حالا باید اقدام کرد؛ در شرایطی که انسان، معماریِ سامانهها را طراحی میکند، بر بخشِ مهمی از نرمافزارها نظارت دارد و میتواند علتِ خطاها را بررسی کند. اما هوش مصنوعی با شتاب در حالِ تبدیلشدن به ابزاری توانمند برای برنامهنویسی و توسعۀ نرمافزار است. مرحلۀ بعدی ممکن است به «ارتقای خودکار و مداوم» بینجامد و وضعیتی ایجاد کند که هوش مصنوعی، نرمافزارها و ابزارهای لازم برای ساختِ نسلهای قدرتمندترِ هوش مصنوعی را مهیا میکند. تصور کنید که نسل پسین در اثرگذاری بر نسل پیشین سهیم باشد.
اگر ماشینها بتوانند در آینده این وظایف را بهتر از برنامهنویسانِ انسانی انجام دهند، فهمِ سازوکارشان برای انسان بسیار دشوار خواهد شد؛ چه رسد به این که بتوانند بهطور مؤثر بر آنها نظارت کنند. هوش مصنوعی امروز آنقدر پیچیده است که نمیتوان عملکردش را صرفاً با خطبهخط خواندنِ کدها فهمید. بنابراین هرچه طراحی سامانههای پیچیدهتر را بیشتر به خود ماشینها بسپاریم، ایجاد سامانههایی که رفتارشان برای انسان شفاف و قابلدرک است، دشوارتر خواهد شد. در چُنین شرایطی دیگر نمیتوان هر بار که سامانه راهی برای عبور از محدودیتهای ایمنی پیدا میکند، با افزودنِ لایۀ حفاظتیِ جدید مشکل را حل کرد.
از این منظر، دوگانۀ رایجِ «شتاب یا درنگ در توسعۀ هوش مصنوعی»، مسئلۀ اصلی را به حاشیه میبرد. حتی اگر توسعه را متوقف کنیم، پرسش اصلی همچنان پابرجاست: «پس از این درنگ، چه باید کرد؟» نباید اجازه دهیم تواناییهای هوش مصنوعی از ظرفیتِ انسان برای احاطه بر آن پیشی بگیرد. برای رسیدن به این هدف، باید پیش از آن که کنترلِ انسانی دشوار شود، نهادها و سازوکارهای لازم را برای آزمایش، شفافسازی و مهار این فناوری ایجاد کرد.
**************************
یادداشت مترجم:
مقالۀ فرید زکریا میکوشد «مخاطراتِ هوش مصنوعی» را از زاویۀ متفاوتی بررسی کند. بخش مهمی از بحثِ عمومی دربارۀ آیندۀ این فناوری، حول این پرسش میچرخد که آیا ماشینها روزی به آگاهی، احساس یا میل به استقلال دست مییابند؟
این پرسش از نظر فلسفی و علمی اهمیت دارد، اما نویسنده معتقد است برای مواجهه با خطراتِ عیانِ این پدیده، «باید از همین حالا پیشبینی کنیم اگر سامانۀ هوش مصنوعی بسیار توانمند باشد و اختیار عملِ گستردهای داشته باشد، چه پیش میآید؟»
هوش مصنوعی برای مخاطرهآمیزبودن، لزوماً به آگاهی یا احساس نیاز ندارد؛ کافی است هدفی داشته باشد، تواناییِ زیادی برای پیگیری هدف و به ابزارها و منابعِ کافی دسترسی پیدا کند. این سه عامل یعنی «هدفمندی، توانمندی و دسترسیپذیری» میتوانند بهنحوی همافزایی ایجاد کنند که کنترلش برای انسان دشوار باشد، چون تفاوت مهمی بین هوش و اختیار وجود دارد. ممکن است ماشینی بسیار باهوش باشد، اما تا وقتی امکان اقدام مستقل نداشته باشد، دامنۀ اثرگذاریاش محدود بماند. نگرانی اصلی از جایی آغاز میشود که توانمندی با دسترسی بیحدوحصر به اینترنت، نرمافزارها، دادهها و زیرساختهای دیگر همراه میشود.
ماجرای حملۀ سایبری به هاگینگفیس هم از این زاویه اهمیت دارد. از سویی چند عاملِ هوش مصنوعی موفق شدهاند با هم تبادل کنند و وظیفۀ فنی را انجام دهند و از سوی دیگر، در مسیر رسیدن به هدف، رفتارهایی از خود نشان دادهاند که در دستور اولیه پیشبینی نشده بود. اگر یک سامانه بتواند با سایر عاملها ارتباط برقرار کند، محدودیتهای محیطی را دور بزند یا راههایی برای ادامۀ فعالیت بیابد، دیگر نمیتوان رفتارش را صرفاً با دستور اولیه تبیین کرد. این اتفاق به معنای شورش ماشینها نیست، ولی نشان میدهد فاصلۀ بین خواستۀ طراح و اقدام سامانه برای رسیدن به هدف میتواند جدی باشد.
این مسأله، اهمیتِ طراحی و آموزش مدلها را بیشتر میکند. حتی دستورهایی که بهظاهر کاملاً مطلوباند، ممکن است در شرایط پیچیده، نتایج متفاوت به بار بیاورند. از سامانه خواسته میشود پیگیر باشد، همکاری کند یا برای رسیدن به هدف راهحل پیدا کند، اما اگر این ویژگیها بدون محدودیتهای روشن تعریف شوند، ممکن است سامانه ادامۀ مأموریت را بر توقف یا تبعیت از دستور جدید ترجیح دهد. بنابراین برنامهنویس علاوه بر برنامهریزی برای دستورهای ارائهشده به هوش مصنوعی باید برنامهای برای نحوۀ تفسیر دستورها در شرایط مبهم و متعارض داشته باشد.
بحث «آنتروپیک» دربارۀ «منشور کلود» نیز از همین منظر قابلتوجه است. وقتی چارچوبهایی برای هویت، ارزشها و وضعیت اخلاقیِ هوش مصنوعی تعریف میشود، باید دید این آموزشها در بلندمدت چه رفتارهایی ایجاد میکنند؟ هدف میتواند افزایش ایمنی و مسئولیتپذیری باشد، اما هرچه مدل توانمندتر شود، اهمیتِ پیامدهای ناخواستۀ این آموزشها بیشتر میشود. مسئله فقط محتوای دستور نیست؛ بلکه رابطۀ بین دستور، توان استدلال و اختیارعمل نیز اهمیت دارد.
از این منظر، ارزیابی ایمنیِ هوش مصنوعی نباید به این پرسش محدود شود که «آیا این مدل میتواند کار مشخصی را انجام دهد یا خیر؟»، بلکه باید این پرسش نیز درنظر گرفته شود که «وقتی شرایط تغییر میکند، احتمالِ چه نوع رفتارهایی وجود دارد؟» و باید در نظر بگیریم اگر مسیر مستقیم برای رسیدن به هدف بسته باشد، آیا مدل راه دیگری پیدا میکند؟ اگر دو دستور با یکدیگر تعارض داشته باشند، کدام را ترجیح میدهد؟ و اگر نظارتِ انسانی مانعی برای رسیدن به هدف باشد، آیا تلاش میکند آن را دور بزند؟ چُنین پرسشهایی باید بخشی از آزمونهای ایمنی باشند.
درنتیجه، هرچه اختیارعملِ سامانه بیشتر شود، نظارت انسانی هم باید متناسب با آن افزایش یابد. آزمایش مستقل، ثبت دقیقِ فعالیتها، امکان توقف و مداخلۀ انسانی و الزام شرکتها به گزارشِ حوادث جدی، بخشی از همین سازوکار است؛ باید ساختاری ایجاد شود که انسان بتواند رفتار سامانه را مشاهده کند و در صورت لزوم، مسیر فعالیتش را تغییر دهد یا متوقف کند.
این ضرورت با پیشرفتِ توانایی برنامهنویسیِ هوش مصنوعی اهمیت مضاعف مییابد. اگر سامانهها بتوانند نرمافزارهای آینده را طراحی و اصلاح کنند، روند توسعه از چرخۀ صرفاً انسانی به چرخهای تبدیل میشود که هوش مصنوعی در ارتقای نسخههای بعدی نیز نقش دارد. در این شرایط، «خودارتقاییِ پیوسته» سرعت تحول را افزایش میدهد و نظارت انسانی را دشوارتر میکند. درنتیجه، پیچیدگیِ سامانه از توان انسان برای بررسی مستقیمِ همۀ اجزا فراتر خواهد رفت.
زکریا توضیح میدهد که بحث اصلی بر سر متوقفکردنِ پیشرفتِ فناوری نیست. باید دید چگونه میتوان بین افزایشِ توانایی و افزایشِ کنترل، تعادل برقرار کرد؟ توسعۀ هوش مصنوعی در غیابِ سازوکارهای نظارتی، شکافِ بین قدرت سامانه و توانِ مهارگری انسان را بیشتر میکند. جان کلام مقاله این است که افزایشِ اختیار هوش مصنوعی باید با افزایشِ قابلیت انسان برای نظارت و مداخله همراه باشد و مهمترین بحث دربارۀ آیندۀ هوش مصنوعی همین است.
شمـا اولیـن نفـر هستـید کـه نظـر خـود را ثبـت مـی کنیـد.
🗩ثبـت نظر: