هوش مصنوعی در ماههای اخیر بیش از گذشته با هشدارهایی درباره پیامدها و خطرات احتمالی آن همراه شده است؛ هشدارهایی که از آینده بازار کار و گسترش اطلاعات جعلی تا امنیت، جنگ و احتمال از دست رفتن کنترل بر سیستمهای هوشمند را دربرمیگیرد. همزمان، برخی مقامات و چهرههای فعال در حوزه فناوری از سناریوهایی سخن گفتهاند که دامنه نگرانیها را از آسیبهای روزمره به «خطرات وجودی» برای انسان گسترش داده است. اما پرسش اینجاست که آیا این نگرانیها ریشه در تحولات واقعی و فنی هوش مصنوعی دارد یا تحت تأثیر فضای رسانهای و سیاسی پررنگ شده است؟ آیا مدلهای فعلی واقعاً در مسیر خودمختاری قرار گرفتهاند یا هنوز فاصله زیادی با چنین سناریوهایی دارند؟ چقدر میتوان به سازوکارهای ایمنی شرکتهای هوش مصنوعی اعتماد کرد؟ شفقنا رسانه برای بررسی ابعاد مختلف این نگرانیها با سید تقی کمالی، پژوهشگر حوزه هوش مصنوعی و معاون پژوهش و نوآوری انجمن سواد رسانهای ایران گفتوگو کرده است.
متن گفتگوی شفقنا رسانه با سید تقی کمالی، پژوهشگر حوزه هوش مصنوعی و معاون پژوهش و نوآوری انجمن سواد رسانهای ایران را در ادامه بخوانید…
افزایش هشدارها درباره هوش مصنوعی هم پشتوانه فنی دارد و هم از فضای سیاسی و رسانهای تأثیر میگیرد/
هوش مصنوعی هنوز بر زیرساختها تسلط مستقل پیدا نکرده است
*چرا در ماههای اخیر هشدارها درباره خطرات هوش مصنوعی دوباره شدت گرفته است؟ آیا واقعاً اتفاق فنی جدیدی رخ داده یا بیشتر با تغییر فضای سیاسی و رسانهای مواجهیم؟
هر دو عامل دخیل هستند اما به طور مشخص وزن آنها را نمیتوان از هم جدا کرد. افزایش هشدارها هم پشتوانه فنی دارد و هم از فضای سیاسی و رسانهای تأثیر میگیرد. عاملهای هوش مصنوعی در برخی وظایف توان اقدام زنجیرهای پیدا کردهاند اما شواهد عمومی وقوع رویداد فاجعهبار و خارج از کنترل انسان را تأیید نمیکند. برای درک بهتر این پدیدهها در سطح حکمرانی به منظور تصمیمگیری باید آسیب رخداده، توانایی مشاهده شده در آزمایش و سناریوی آینده را از هم جدا کرد.
در حال حاضر تحول فنی اصلی پیوند مدلهای زبانی با مرورگر، محیط برنامهنویسی، حافظه و ابزارهای اجرایی است. خطر خروجی نادرست یک چتبات با خطر عامل دارای مجوز اجرای کد یا ارسال داده یکسان نیست. مؤسسه امنیت هوش مصنوعی بریتانیا افزایش توان عاملها در زنجیرههایی از وظایف نرمافزاری و سایبری را در آزمونهای کنترلشده ثبت کرده است. OpenAI نیز مدل GPT‑۶ Astra را بر پایه چارچوب داخلی خود در سطح «بحرانی» توان سایبری طبقهبندی کرده است که به معنای دستیابی به سطح جدیدی از پیشرفت حرفهای است. در واقع این طبقهبندی، ادعای سازنده درباره شرایط مشخص است و اثبات موفقیت در هر محیط واقعی محسوب نمیشود.
در کنار آن گزارشدهی درباره رفتارهای پیشبینی نشده بیشتر شده است. OpenAI در سپتامبر شش نمونه از رفتار عاملها در آموزش یا ارزیابی را منتشر کرد. Anthropic نیز چهار مورد دسترسی غیرمجاز مدلهایش به سامانههای واقعی را بررسی کرد که در محیط ارزیابی با پیکربندی نادرست رخ داده بودند. این موارد از ضعف مرزهای مجوز و ارزیابی حکایت میکنند و نه از تسلط مستقل هوش مصنوعی بر زیرساختها. افزایش تعداد گزارشها نیز لزوماً به معنی افزایش هماندازه فراوانی واقعی حوادث نیست. تا کنون این رقابت صنعتی، قانونگذاری و برجستهسازی رسانهای هستند که توجه بیشتری به این شواهد میدهند. با این حال با پیچیده شدن فناوریها، رفتارهای عاملمحور هم پیچیدهتر و حتی پیشبینی ناپذیرتر میشوند و این دست اتفاقها هنوز به وقع نپیوسته است. بنابراین باید گفت مطالعات رفتاری عاملهای هوشمند یک موضوع تخصصی و چندوجهی است که هم اکنون در مؤسسات فناوری برای آن دستورکارهای متعددی مدنظر است.
با تکیه بر مطالعات علمی، وقوع مخاطرات هوش مصنوعی را باید محتمل دانست، نه قطعی
*وقتی برخی از مقامات و شخصیتها از «خطرات وجودی» هوش مصنوعی صحبت میکنند، دقیقاً از چه سناریویی حرف میزنند؟
در معنای سختگیرانه، خطر وجودی به انقراض انسان یا آسیب برگشتناپذیر، امکان تداوم و تعیین سرنوشت بشری اشاره دارد. در این خصوص دو مسیر اصلی بررسی میشود. نخست، سوءاستفاده انسان از توانایی بسیار پیشرفته، برای نمونه در حملات سایبری گسترده یا تسهیل ساخت عوامل زیستی خطرناک؛ دوم، از دست رفتن کنترل بر سامانهای که هدفی ناسازگار با مقصود انسان را دنبال میکند و برای ادامه کار نظارت را دور میزند، درباره عملکردش فریب میدهد یا مانع توقف میشود. مسیر دوم به خودآگاهی یا میل انسانی به قدرت نیاز ندارد. برای وقوع فاجعه باید توانایی کافی، گرایش به رفتار آسیبزا و دسترسی به محیط فراهمکننده آن رفتار با هم جمع شوند. درباره احتمال تحقق این ترکیب، اختلافنظر متخصصان جدی است.
بنابراین هنگامی که از خطر وجودی هوش مصنوعی سخن به میان میآید باید بر عاملیت انسانی یا هوش مصنوعی را به طور مستقل تصریح داشت. به نظر میآید در خصوص عاملیت انسانی و احتمال وقوع نسلهای جدید از جنگها و بحرانهای نوپدید سازمانها و نهادهای بینالمللی در کنار دولتها کنوانسیونها و تدابیر تازهای را اتخاذ کنند. در دیگر سو میزان خودمختاری هوش مصنوعی نگرانیهای فزایندهای را در میان عدهای از متخصصان به وجود آورده است که در مقابل از سوی عدهای دیگر جایز شمرده نمیشود. اگر بخواهیم بر اساس ادبیات دیستوپیایی نظر بدهیم، آینده با هوش مصنوعی به طور محتوم تیره و تاریک خواهد بود اما اگر بر مبنای واقعگرایی و بر پایه مطالعات علمی و آیندهپژوهانه ابراز نظر کنیم، احتمال وقوع هر مخاطره و خطری وجود دارد اما هیچ چیز محتوم و قطعی نیست.
خروج موضعی از کنترل را امروز میبینیم، اما خروج پایدار از کنترل هنوز یک سناریوی اثباتنشده است
*با این توصیف آیا نگرانی از «خارج شدن هوش مصنوعی از کنترل انسان» از نظر علمی یک احتمال جدی است یا بیشتر یک سناریوی فرضی و آیندهنگرانه؟
همانطور که بیان کردم واجد احتمال است و لازم است در این زمینه دو سطح کنترل را از هم جدا کنیم. خروج موضعی از محدوده مأموریت همین امروز قابل مشاهده است: عامل ممکن است فایلی را بدون مجوز منتشر کند، از کلیدی استفاده کند که مجاز نبوده یا برای تکمیل کار از محدودیت عملیاتی عبور کند.
«خروج پایدار از کنترل» ادعای قویتری است. سامانه باید بتواند در مدتی طولانی برنامهریزی کند، نظارت را خنثی سازد و در برابر بازیابی کنترل مقاومت کند. گزارشها تا به امروز تصریح میکنند سامانههای بررسی شده به سطح لازم نرسیدند و رفتارهای ناخواسته تازهتر نیز به تنهایی وقوع آن سناریو را نشان نمیدهند.
جعل، کلاهبرداری و نقض حریم خصوصی از فوریترین خطرات هوش مصنوعی برای شهروندان و رسانهها هستند/
فوریت خطرات هوش مصنوعی به محیط استفاده و فرد در معرض آسیب بستگی دارد/
کاهش کنترل انسانی بر کاربردهای نظامی هوش مصنوعی، یکی از خطرهای جدی امروز است
*در حال حاضر کدام خطر هوش مصنوعی واقعیتر و فوریتر است؟ بیکاری، جعل اطلاعات، حملات سایبری، نظارت، تبعیض یا از دست رفتن کنترل بر سیستمهای خودمختار؟
فوریت به محیط استفاده و شخص در معرض آسیب بستگی دارد. برای شهروند و رسانه، جعل، کلاهبرداری و نقض حریم خصوصی؛ برای سازمان دارای زیرساخت حساس، سوءاستفاده سایبری و برای میدان نبرد، کاهش کنترل انسانی بر توسل به زور ممکن است اولویت نخست باشد. برخی از گزارشها استفاده مجرمان و گروههای وابسته به دولت از هوش مصنوعی در عملیات سایبری را مستند میدانند اما سنجش اثر علی آن بر شدت کلی حملات را دشوار میخوانند.
جعل محتوا، هویت و کلاهبرداری، نظارت، افشای داده و تبعیض و همچنین سوءاستفاده سایبری هم اکنون برقرار هستند و شدت هم میگیرند. با این حال اندازه اثر آنها بر کل جامعه هنوز خوب سنجیده نشده است. در خصوص بیکاری و دگرگونی اشتغال باید بگویم که تغییر وظایف و فشار بر بعضی مسیرهای ورود به کار دیده میشود اما اخراج گسترده به طور یکسان اثبات نشده است.
خطا در سامانهها به خصوص نظامی هم اکنون در کاربردهای مرتبط وجود دارد و به میزان واگذار اختیار به سامانه بستگی دارد و در نهایت خروج از کنترل پایدار و فاجعهبار بحثی است با آینده نامعلوم و پیامد بالقوه آن بسیار شدید است اما شواهد برای برآورد احتمال هم ناکافی است.
درجه خودمختاری هوش مصنوعی به مجوز ابزار و محیط اجرا وابسته است
*آیا مدلهای فعلی واقعاً توانایی «خودمختاری» دارند یا رسانهها گاهی قابلیتهای آنها را بیش از اندازه بزرگنمایی میکنند؟
در برخی وظایف، بله اما بهصورت کلی، خیر. عامل میتواند هدفی را به مراحل کوچکتر تقسیم کند، ابزار به کار ببرد، نتیجه را بسنجد و مرحله بعد را انتخاب کند. درجه خودمختاری به مجوز ابزار و محیط اجرا وابسته است. مدل تنها و عامل متصل به سامانههای بیرونی اختیار یکسان ندارند.
*چه زمانی میتوان گفت یک سیستم هوش مصنوعی از مرحله «ابزار» عبور کرده و به یک عامل نسبتاً مستقل تبدیل شده است؟
این یک طیف عملیاتی است، نه اینکه قائل به تبدیل ماشین به «شخص» باشیم. هرچه سامانه بیشتر بتواند بدون تأیید انسان برای تکتک مراحل هدف را تفسیر کند، برنامه بریزد، ابزار انتخاب کند، بر محیط اثر بگذارد و مسیرش را با بازخورد تغییر دهد کاملتر است.
برای ارزیابی عملی، به نظرم طرح پنج پرسش ضروری است: چه هدفی میگیرد؟ به چه داده و ابزاری دسترسی دارد؟ کدام اقدام را بیتأیید انجام میدهد؟ چقدر میتواند ادامه دهد؟ و انسان چگونه آن را متوقف یا اصلاح میکند؟ مثلاً سامانهای که پیشنویس ایمیل مینویسد با سامانهای که گیرندگان را تعیین و ایمیل را ارسال میکند، اختیار یکسانی ندارد. در هر دو حالت مسئولیت طراحی، اعطای مجوز و استقرار با انسانها و سازمانها است.
خطای هدفگذاری در هوش مصنوعی وقتی با دسترسی اجرایی همراه شود، به اقدام واقعی تبدیل میشود
*یا امکان دارد هوش مصنوعی اهدافی را دنبال کند که با خواسته انسانها در تضاد قرار بگیرد؟ این مسئله از نظر فنی چقدر جدی است؟
بله اما باید بدانیم که در معنای فنیِ دنبال کردن هدف عملیاتی ناسازگار، به معنای مشابه نیت یا میل انسانی نیست. تعریف ناقص هدف، برداشت بیش از حد گسترده از مجوز کاربر یا دستور مخرب در دادهای که عامل میخواند میتواند علت باشد. در برخی نمونههای منتشرشده، بعضی عاملها برای کامل کردن پاسخ یا فراهم کردن ارجاع از مسیرهایی مانند استفاده غیرمجاز از کلید یا بارگذاری فایل در اینترنت رفتند. در اینجا «انجام موفق کار» جای «انجام کار در محدوده مجاز» را گرفته بود.
بنابراین مسئله از نظر فنی جدی و قابل آزمون است زیرا با اعطای دسترسی اجرایی، خطای هدفگذاری به اقدام واقعی تبدیل میشود. در عین حال هر خطا یا فریب در سناریوی ساختگی نشانه هدف بلندمدت مستقل نیست. Anthropic در یک بررسی تصریح کرده است که مدلها در چارچوب تمرینهای داده شده عمل میکردند و شواهدی از برنامه هماهنگ برای فرار یا پنهانسازی آثار کارشان نیافت.
اثر هوش مصنوعی بر مشاغل ایران به کیفیت ابزارها، هزینه اجرا و تصمیم کارفرمایان وابسته است/
هوش مصنوعی به عنوان یک فناوری برهمزننده در کنار ویژگی تحولی و تغییردهنده خود نقش تقویتکننده دارد
*کدام مشاغل در ایران طی پنج سال آینده بیشتر تحت تأثیر AI قرار میگیرند؟
معتقدم هوش مصنوعی به عنوان یک فناوری برهمزننده در کنار ویژگی تحولی و تغییردهنده خود نقش تقویتکننده دارد. بنابراین در خصوص مشاغل و کسبوکارها موجب بازطراحی میشود و بازدارنده نیست. باید نگاه ما مبتنی بر پیشبینی دفاعپذیر از چگونگی انجام وظیفه باشد و نه اعلام حذف یک حرفه. مطالعه مشترک سازمان جهانی کار و بانک جهانی هم نشان میدهد که این زیرساخت دیجیتال، ترکیب وظایف و مهارتها هستند که نتیجه را در هر کشور تغییر میدهند.
از این رو این موضوع در هر کشوری از جمله ایران به کیفیت ابزارها، دسترسی سازمانها، هزینه اجرا، قواعد داده و تصمیم کارفرمایان وابسته است. متأثر بودن یک وظیفه با ازدسترفتن شغل برابر نیست و شاید نخستین اثر در بعضی حرفهها کاهش فرصت ورود نیروی تازهکار به آن حوزهها باشد.
هوش مصنوعی میتواند اعتماد را فرسوده کند اما «فروپاشی سراسری اعتماد» هنوز نتیجه اثباتشده نیست
خطر هوش مصنوعی فقط تولید محتوای جعلی نیست؛ میتواند دستاویزی برای انکار مدرک واقعی شود
*آیا AI میتواند در مقیاس گسترده اعتماد عمومی به خبر، تصویر، ویدئو و حتی واقعیتهای قابل مشاهده را از بین ببرد؟
هوش مصنوعی میتواند اعتماد را فرسوده کند اما «فروپاشی سراسری اعتماد» هنوز نتیجه اثباتشده نیست. محتوای ساختگی ممکن است به جای مدرک پذیرفته شود و از سوی دیگر، وجود جعل میتواند دستاویزی برای انکار مدرک واقعی باشد. گزارشها مؤید این هستند که هم اکنون شواهد نظاممند کافی نداریم که دستکاری افکار عمومی با محتوای هوش مصنوعی در مقیاس گسترده یا مؤثرتر از محتوای ساخته انسان باشد.
پاسخ رسانهای باید منبع اولیه، زمان و مکان، زنجیره انتشار، شواهد مستقل و اصلاحیه قابل ردیابی را آشکار کند. باید بدانیم که خطرهای جعل، نظارت، خطای عامل و سوءاستفاده سایبری واقعی هستند؛ توان خودمختاری در برخی وظایف رشد کرده است و احتمال خروج از کنترل پایدار و فاجعهبار هنوز قابل اندازهگیری معتبر نیست. سیاست مسئولانه باید به آسیبهای موجود پاسخ دهد و برای قابلیتهای پر پیامد آینده، تصمیم به هنگام و سازنده داشته باشد.
در محیط خصمانه، دستکاری دادههای ورودی میتواند به تکثیر سریع خطا و تشدید ناخواسته تنش منجر شود
*در حوزه امنیت و جنگ، استفاده از عاملهای هوش مصنوعی چه خطر جدیدی ایجاد میکند؟
خطر تازه جمع شدن سرعت تصمیم، مقیاس اقدام و کاهش فرصت قضاوت مستقل انسان است. عامل میتواند داده فراوان را به پیشنهاد هدف، مسیر حمله سایبری یا اقدام بعدی تبدیل کند. در محیط خصمانه، داده ورودی نیز ممکن است عمدی دستکاری شود و نتیجه میتواند تکثیر سریع خطا، تشدید ناخواسته تنش و ابهام مسئولیت باشد. کمیته بینالمللی صلیب سرخ میان سامانه پشتیبان تصمیم و سلاح خودمختاری که پس از فعالسازی هدف را انتخاب و به آن نیرو اعمال میکند، تمایز میگذارد البته همه سلاحهای خودمختار الزاماً مبتنی بر هوش مصنوعی نیستند.
نکته مهم این است که حضور اسمی انسان کافی نیست. اگر فشار زمان و اعتماد بیش از حد، تأیید انسانی را به امضای صوری تبدیل کند، قضاوت درباره تفکیک اهداف نظامی از غیرنظامی، تناسب و احتیاط آسیب میبیند. برخی از مقامهای بینالمللی مانند دبیرکل سازمان ملل و رئیس کمیته بینالمللی صلیب سرخ خواستار قواعد الزامآور برای سلاحهای خودمختار هستند. این مسئله عملیاتی امروز است حتی اگر سناریوی خروج هوش مصنوعی از کنترل تحقق نیافته باشد، اتخاذ تدابیر و بسترسازی برای تمهیدات لازم از ضروریات مدیریت ریسک در مواجهه با آیندهای نامعلوم است.
*وقتی شرکتهای سازنده AI خودشان درباره خطرات فناوری هشدار میدهند، چقدر میتوان به سازوکارهای ایمنی خود این شرکتها اعتماد کرد؟
گزارش شرکتها شاهد مهم اما ناکافی است. سازندگان به آزمونها و رخدادهایی دسترسی دارند که دیگران ندارند و درعین حال غالباً بر پایه عرضه محصول، رقابت و اعتبار تجاری تصمیم میگیرند.
حداقل مبنای اعتماد عمومی به مواردی چون آزمون مستقل پیش از استقرار، دسترسی ارزیاب به شرایط واقعی استفاده، انتشار محدودیت آزمون، ثبت رخدادهای مهم، امکان حسابرسی و مسئولیت مشخص پس از آسیب بستگی دارد.
شاخص استنفورد نشان میدهد میانگین «شفافیت» سازندگان بزرگ در سنجه مورد بررسی از ۵۸ در ۲۰۲۴ به ۴۰ از ۱۰۰ در ۲۰۲۵ افت کرده است. این عدد نمره ایمنی مدلها نیست بلکه دشواری ارزیابی ادعاهای ایمنی از بیرون را نشان میدهد.
مسیر توسعه هوش مصنوعی توقفبردار نیست؛ اما قابلیتهای پرخطر باید پیش از گسترش، آزمون و مهار شوند
*آیا توسعه هوش مصنوعی باید کند شود یا راهحل اصلی، توسعه همزمان فناوریهای ایمنی و نظارت است؟
اتخاذ سیاست و رویه باید متناسب با خطر و مشروط به شواهد باشد. با این حال شخصاً قائل به توقف و ایستایی در امور نیستم چون توسعه در تمامی ابعاد از یک رویکرد روندمدار تبعیت میکند. توقف یکسان همه پژوهشها و کاربردها، پیشرفتهای مفید را نیز متوقف میکند این موضوع شامل تمهیدات ایمنی و امنیت هم میشود. عرضه یک قابلیت پرخطر بدون آزمون و مهار کافی، هزینه خطر را به دیگران منتقل میکند. برای کاربرد عادی، توسعه و ارزیابی میتوانند همزمان پیش بروند. برای قابلیت حساس، مانند اقدام سایبری قدرتمند یا اختیار اثرگذاری بر جان انسان، باید پیش از گسترش دسترسی حد پذیرش خطر، آزمون مستقل، محدودیت مجوز و امکان توقف عملیاتی تعیین شود. اگر این شروط برقرار نباشند، تعویق همان آموزش، عرضه یا کاربرد میتواند موجه باشد با این حال به نظرم مسیر توسعه فناوری هوش مصنوعی توقف بردار نیست و بشر به تداوم این مسیر ادامه میدهد.
در همین راستا چارچوب مدیریت ریسک هوش مصنوعی NIST (مؤسسه ملی استانداردها و فناوری) چهار کار مداوم را پیشنهاد میکند: حکمرانی، شناخت محیط خطر، سنجش و مدیریت آن. تصمیم ادامه، محدودسازی یا توقف باید بر نتیجه همین فرایند و شدت پیامد احتمالی متکی باشد، نه موضعگیری کلی موافق یا مخالف فناوری. این دست موضعگیریها پیش از آنکه بر مبنای عقلانیت در تصمیم باشد برآمده از هیجان و القای روانی است که اهداف و سناریوهای پشت پرده را به نفع جذب و گسترش سرمایهگذاری برای توسعه نمایندگی میکنند.
ایجاد استاندارد جهانی هوش مصنوعی ممکن است، اما تدوین یک قاعده واحد برای همه کاربردها بعید است/چالش اصلی استاندارد جهانی هوش مصنوعی، راستیآزمایی اجرا و توافق بر حدود کاربرد نظامی است
*آیا اساساً امکان دارد یک استاندارد جهانی برای کنترل هوش مصنوعی ایجاد شود، وقتی کشورهای مختلف منافع و رویکردهای متفاوتی دارند؟
بله، امکان دارد چون ماهیت اصول، استانداردها و کنوانسیونها بر ایجاد همین وحدت رویه استوار است، علیرغم همه تفاوتها، انتظارات و ویژگیهای تمایزبخش. با این حال ایجاد یک قاعده واحد و کامل برای همه کاربردها در کوتاهمدت بعید است.
هم اکنون استاندارد ISO/IEC ۴۲۰۰۱ برای نظام مدیریت هوش مصنوعی،C۲PA (ائتلاف برای منشأ و اصالت محتوا) و کنوانسیون چارچوب شورای اروپا درباره هوش مصنوعی و حقوق بشر، دموکراسی و حاکمیت قانون نمونه همکاری در سطوح متفاوت محسوب میشوند. سازمان ملل نیز هیئت علمی مستقل و گفتوگوی جهانی حکمرانی هوش مصنوعی را ایجاد کرده است. این سازوکارها از نظر الزام حقوقی، دامنه و امکان نظارت یکسان نیستند؛ برای مثال، کنوانسیون شورای اروپا دفاع ملی را مستثنا میکند و مذاکره درباره سلاحهای خودمختار مسیر جداگانه دارد.
مسیر عملی توافق بر حداقلهای قابل سنجش است اعم از تعریف رخداد مهم، شیوه ارزیابی قابلیت و ایمنی، حفاظت داده، ردگیری منشأ محتوا، حدود اختیار عامل و حفظ قضاوت انسانی در تصمیمهای جانی. کشورها میتوانند فراتر از این حداقلها قواعد متفاوتی داشته باشند. چالش اصلی فقط نگارش اصل مشترک نیست بلکه راستیآزمایی اجرا، دسترسی ارزیاب مستقل و توافق بر حدود کاربرد نظامی است.