OpenAI، Google، Microsoft و Anthropic اعلام کردند که از یک استاندارد جدید برای خروج از اسکرپینگ توسط هوش مصنوعی حمایت می‌کنند، همانطور که قبلاً توسط Search Engine Roundtable گزارش شده است. با این کنترل، ناشرها می‌توانند ترجیحات آموزش هوش مصنوعی خود را در چندین شرکت هوش مصنوعی اعمال کنند، به جای تنظیم آنها به صورت جداگانه.
"توکن سیاست مشترک" که توسط Kevin Kelley، مدیر فنی استانداردهای Anthropic، به عنوان بخشی از Internet Engineering Task Force (IETF) پیشنهاد شده است، در فایل robots.txt وب‌سایت قرار خواهد گرفت، که مدت‌هاست نشان‌دهنده این است که کدام وب‌کrawlerها می‌توانند یک سایت را اسکرپ کنند یا نه - برای شاخص‌سازی جستجو، آرشیو یا …