شنبه 04 مهر 1405

ارز دیجیتال
ارزهای خارجی
بورس
طلا و سکه
انرژی و فلزات

اتحاد گوگل، OpenAI و Anthropic برای تدوین استانداردهای ایمنی هوش مصنوعی

10:08 - 1405/07/04 فناوری
824کلمه 5 دقیقه
اتحاد گوگل، OpenAI و Anthropic برای تدوین استانداردهای ایمنی هوش مصنوعی
به گزارش ایتنا
شرکت‌های گوگل، OpenAI و Anthropic برای ایجاد استانداردهای مشترک ایمنی و ارزیابی مدل‌های پیشرفته هوش مصنوعی وارد مذاکره شده‌اند.

سه شرکت بزرگ فعال در حوزه هوش مصنوعی، یعنی گوگل، OpenAI و Anthropic، در هفته‌های اخیر مذاکراتی را درباره ایجاد نهادی برای تدوین استانداردهای مشترک آزمایش و ارزیابی مدل‌های پیشرفته آغاز کرده‌اند. این گفت‌وگوها هنوز به توافق نهایی یا تأسیس رسمی چنین نهادی منجر نشده، اما گزارش‌ها حاکی از آن است که مذاکرات در این زمینه پیشرفت داشته است.



هدف اصلی این همکاری احتمالی، ایجاد روشی مشترک برای سنجش ایمنی مدل‌های پیشرفته و فراهم کردن امکان ارزیابی مستقل آنها پیش از عرضه به کاربران است. این بحث‌ها در شرایطی مطرح می‌شود که شرکت‌های هوش مصنوعی بیش از گذشته به دنبال استانداردسازی روش‌های آزمایش مدل‌ها، ارزیابی مستقل و تعریف سازوکارهای روشن‌تر برای گزارش حوادث و رفتارهای غیرمنتظره سامانه‌های هوش مصنوعی هستند.

تلاش برای ایجاد استانداردهایی فراتر از مقررات دولتی




OpenAI در اوایل سپتامبر اعلام کرد مایل است با دیگر آزمایشگاه‌های هوش مصنوعی برای تدوین «استانداردهای صنعتی» همکاری کند. این شرکت استدلال کرده است که مقررات دولتی به‌تنهایی ممکن است نتوانند با سرعت توسعه قابلیت‌های مدل‌های پیشرفته و خطرات احتمالی ناشی از آنها همگام شوند.



البته استانداردهای صنعتی پیشنهادی قرار نیست جایگزین قوانین دولتی یا نظارت نهادهای رسمی شوند. هدف از چنین استانداردهایی می‌تواند ایجاد سازوکاری سریع‌تر برای شناسایی و مدیریت خطرات جدید باشد؛ به‌ویژه خطراتی که به نحوه رفتار مدل‌ها، توانایی آنها در عبور از محدودیت‌های تعیین‌شده و گزارش حوادث مربوط می‌شوند.



OpenAI پیش‌تر نیز اقداماتی را برای ایجاد چارچوب‌های ارزیابی مستقل انجام داده است. این شرکت در ماه مه راهنمای پیشنهادی خود را برای آزمایش مستقل مدل‌های پیشرفته توسط ارزیابان شخص ثالث منتشر کرد. طبق این دیدگاه، افزایش استقلال مدل‌ها، دسترسی آنها به ابزارها و توانایی انجام زنجیره‌ای طولانی از وظایف باعث شده روش‌های سنتی ارزیابی چت‌بات‌ها دیگر برای سنجش کامل توانایی‌ها و خطرات این سامانه‌ها کافی نباشد.



این شرکت همچنین در ماه ژوئن مشارکت خود را در تأسیس بنیاد Appia اعلام کرد؛ بنیادی که هدف آن توسعه مشخصات باز و قابل اجرا برای تبدیل استانداردهای بین‌المللی هوش مصنوعی به آزمون‌های عملی است. OpenAI علاوه بر این در شماری از ابتکارهای استانداردسازی و ایمنی، از جمله فعالیت‌های مرتبط با ISO، NIST و ائتلاف برای هوش مصنوعی امن، مشارکت دارد.


پیشنهاد گوگل برای یک نهاد مستقل




بخش دیگری از بحث‌های فعلی به پیشنهاد گوگل در ماه ژوئن بازمی‌گردد. این شرکت ایجاد یک نهاد مستقل و مورد حمایت صنعت، اما تحت نظارت دولت فدرال آمریکا، را پیشنهاد کرده است. چنین نهادی می‌تواند مسئول تدوین استانداردهای ایمنی برای مدل‌های پیشرفته و اطمینان از انجام ممیزی‌های مستقل باشد.



دمیس هاسابیس، مدیرعامل Google DeepMind، در ماه ژوئیه جزئیات بیشتری درباره این ایده ارائه کرد و الگویی مشابه نهادهای نظارتی حوزه مالی را مطرح کرد. طبق این پیشنهاد، آزمایشگاه‌های هوش مصنوعی می‌توانند مدل‌های پیشرفته خود را حدود ۳۰ روز پیش از عرضه به این نهاد ارائه کنند تا مجموعه‌ای از آزمون‌های ایمنی روی آنها انجام شود.



این آزمون‌ها می‌توانند خطرات احتمالی مدل‌ها در حوزه‌هایی مانند امنیت سایبری و زیست‌فناوری و همچنین توانایی آنها برای فریب دادن سیستم‌ها یا دور زدن محدودیت‌های تعیین‌شده را بررسی کنند. هاسابیس پیشنهاد کرده است در صورت اثبات کارآمدی این سازوکار، انجام چنین ارزیابی‌هایی به یکی از پیش‌شرط‌های عرضه مدل‌های پیشرفته در بازار آمریکا تبدیل شود.



بر اساس این طرح، بودجه این نهاد عمدتاً از صنعت فناوری تأمین خواهد شد و کارشناسان مستقل، نمایندگان دولت و اعضای جامعه متن‌باز نیز در فعالیت‌های آن مشارکت خواهند داشت.

همکاری رقبای هوش مصنوعی برای آزمایش ایمنی




همکاری میان شرکت‌های رقیب در زمینه ایمنی مدل‌ها موضوع تازه‌ای نیست. OpenAI و Anthropic در سال ۲۰۲۵ یک آزمایش مشترک انجام دادند که طی آن هر شرکت از روش‌های ارزیابی ایمنی خود برای بررسی مدل‌های شرکت رقیب استفاده کرد. هدف این همکاری، شناسایی نقاط ضعفی بود که ممکن است در آزمایش‌های داخلی هر شرکت دیده نشوند و بررسی امکان همکاری آزمایشگاه‌های رقیب برای ارزیابی ایمنی و هم‌ترازی مدل‌ها بود.



با افزایش توانایی مدل‌های هوش مصنوعی برای انجام مستقل وظایف پیچیده، به‌خصوص در حوزه‌هایی مانند امنیت سایبری، نیاز به روش‌های ارزیابی استاندارد نیز بیشتر شده است. هرچه این مدل‌ها دسترسی بیشتری به ابزارها، اینترنت و محیط‌های دیجیتال پیدا می‌کنند، تعیین معیارهای مشترک برای سنجش رفتار آنها اهمیت بیشتری پیدا می‌کند.



Anthropic نیز اخیراً اعلام کرده است که قصد دارد به ارزیابان مستقل اجازه دهد به بخشی از فرایندها، سامانه‌ها و داده‌های داخلی شرکت دسترسی داشته باشند تا نحوه اجرای اقدامات ایمنی و مدیریت حوادث را بررسی کنند. OpenAI نیز با اشاره به حوادثی که در جریان آزمایش‌های امنیتی خارجی رخ داده‌اند، بر ضرورت تدوین استانداردهای جدید برای طراحی و ایمن‌سازی محیط‌های آزمایش مدل‌های پیشرفته تأکید کرده است.



به گزارش TechCrunch، مذاکرات میان سه شرکت هنوز در مرحله بررسی قرار دارد و مشخص نیست آیا در نهایت به تشکیل یک نهاد مشترک رسمی منجر خواهد شد یا خیر. با این حال، هم‌زمانی این گفت‌وگوها با پیشنهادهای جداگانه شرکت‌ها نشان می‌دهد بحث درباره استانداردسازی ارزیابی ایمنی مدل‌های پیشرفته از سطح همکاری‌های موردی فراتر رفته و به یکی از موضوعات مهم صنعت هوش مصنوعی تبدیل شده است.


📡منبـع خبـر: www.itna.ir

ایتنا

🏹لـینـک کـوتـاه: halohava.top/8Ipz0k



بـرچـسب هـا:


اخبار مرتبط:


شمـا اولیـن نفـر هستـید کـه نظـر خـود را ثبـت مـی کنیـد.

🗩ثبـت نظر:


بازگشت به لیست اخبار