اوپن‌ای‌آی از سیگنال مشترک آموزش هوش مصنوعی پشتیبانی می‌کند
مقدمه
اوپن‌ای‌آی در ۳۰ اکتبر ۲۰۲۶ اعلام کرد از یک سیگنال مشترک در فایل robots.txt پشتیبانی خواهد کرد تا صاحبان وب‌سایت بتوانند ترجیح خود درباره استفاده از محتوا برای آموزش مدل‌های مولد را با یک تنظیم به چند ارائه‌دهنده مشارکت‌کننده اعلام کنند. این خبر برای ناشران، فروشگاه‌های اینترنتی و وب‌سایت‌های محتوایی ایرانی اهمیت دارد؛ زیرا مدیریت جداگانه ربات هر شرکت هوش مصنوعی می‌تواند پیچیده و مستعد خطا باشد.
نکته مهم این است که این قابلیت هنوز به مرحله اجرای کامل نرسیده است. اوپن‌ای‌آی گفته پیاده‌سازی آن را در ماه‌های آینده انجام می‌دهد و جزئیات اجرایی را بعداً منتشر خواهد کرد. بنابراین، مدیران سایت نباید تنظیمات فعلی robots.txt خود را حذف یا صرفاً بر پایه این اعلامیه تغییر دهند.
این خبر چیست؟
فایل robots.txt در ریشه یک دامنه قرار می‌گیرد و به خزنده‌های وب اعلام می‌کند کدام بخش‌های سایت را می‌توانند بررسی کنند. تا امروز، ناشرانی که می‌خواستند درباره آموزش هوش مصنوعی تصمیم بگیرند، معمولاً باید برای هر شرکت یا هر خزنده، دستور جداگانه‌ای نگه می‌داشتند.
اعلامیه جدید اوپن‌ای‌آی از یک ترجیح مشترک برای «آموزش مدل‌های مولد پایه» حرف می‌زند؛ یعنی هدف آن، یکپارچه‌کردن اعلام ترجیح ناشر برای شرکت‌هایی است که این سازوکار را بپذیرند. اوپن‌ای‌آی این کار را اقدامی داوطلبانه و مرتبط با فعالیت گروه کاری AI Preferences در IETF معرفی کرده است. اعلامیه رسمی اوپن‌ای‌آی
چه چیزی فعلاً تغییر نکرده؟
مهم‌ترین نکته برای مدیران وب‌سایت این است که سیگنال مشترک، فعلاً جایگزین کنترل‌های اختصاصی هر شرکت نیست. اوپن‌ای‌آی صریحاً گفته کنترل‌های کنونی robots.txt همچنان برقرار می‌مانند و رعایت خواهند شد. در نتیجه، اگر سایت شما اکنون برای ربات‌های مشخص قوانین جداگانه دارد، نگه‌داشتن آن‌ها تا زمان انتشار جزئیات نهایی تصمیم محتاطانه‌تری است.
گوگل نیز در اعلامیه هم‌زمان خود گفته کنترل مشترک در کنار گزینه اختصاصی Google-Extended کار خواهد کرد و برنامه دارد از این سازوکار همراه با دیگر ارائه‌دهندگان در سال ۲۰۲۷ پشتیبانی کند. پس خبر ۳۰ اکتبر به‌معنای فعال‌شدن یک استاندارد نهایی و یکسان برای همه سرویس‌های هوش مصنوعی نیست؛ بلکه گامی به سوی آن است. توضیح گوگل درباره کنترل مشترک آموزش هوش مصنوعی
تفاوت آموزش و جست‌وجو
یکی از اشتباه‌های رایج، یکی‌گرفتن آموزش مدل با نمایش سایت در پاسخ‌های جست‌وجویی است. طبق مستندات اوپن‌ای‌آی، GPTBot برای خزیدن محتوایی به‌کار می‌رود که ممکن است در آموزش مدل‌های مولد پایه استفاده شود. در مقابل، OAI-SearchBot به نمایش وب‌سایت‌ها در قابلیت‌های جست‌وجوی ChatGPT مربوط است.
بنابراین یک وب‌سایت می‌تواند GPTBot را مسدود کند، اما OAI-SearchBot را مجاز نگه دارد تا محتوایش برای آموزش مدل استفاده نشود و در عین حال امکان حضور در نتایج جست‌وجوی ChatGPT را حفظ کند. این دو تنظیم مستقل‌اند. همچنین عامل ChatGPT-User برای برخی درخواست‌های مستقیم کاربران به‌کار می‌رود و اوپن‌ای‌آی می‌گوید چون چنین بازدیدی با درخواست کاربر شروع می‌شود، ممکن است قواعد robots.txt درباره آن اعمال نشود. مستندات خزنده‌های اوپن‌ای‌آی
ناشران ایرانی چه کنند؟
- robots.txt فعلی را بازبینی کنید: بررسی کنید اکنون برای GPTBot، OAI-SearchBot و سایر خزنده‌هایی که برای کسب‌وکارتان مهم‌اند چه قوانینی دارید.
- هدف خود را مشخص کنید: تصمیم درباره آموزش مدل، دیده‌شدن در جست‌وجوی هوش مصنوعی و دسترسی ربات‌ها یک تصمیم واحد نیست. پیش از مسدودسازی، اثر هر گزینه بر دیده‌شدن و سیاست محتوایی سایت را جداگانه بسنجید.
- به یک خبر اکتفا نکنید: چون اوپن‌ای‌آی زمان‌بندی «ماه‌های آینده» را اعلام کرده و گوگل از هدف پشتیبانی در ۲۰۲۷ گفته است، منتظر دستورالعمل فنی و فهرست ارائه‌دهندگان پشتیبان بمانید.
- تنظیمات اختصاصی را فعلاً حفظ کنید: تا زمانی که نحو دقیق سیگنال مشترک و رفتار همه مشارکت‌کنندگان روشن نشده، حذف قوانین اختصاصی می‌تواند کنترل فعلی شما را کاهش دهد.
- تغییرات را مستند کنید: از نسخه فعلی robots.txt نسخه پشتیبان بگیرید و تاریخ هر تغییر را ثبت کنید تا در صورت افت ترافیک یا بروز خطا، امکان بررسی داشته باشید.
جمع‌بندی
پشتیبانی اعلام‌شده اوپن‌ای‌آی از سیگنال مشترک آموزش هوش مصنوعی، در صورت اجرای گسترده، می‌تواند نگهداری ترجیحات ناشران را ساده‌تر کند. با این حال، این خبر یک قابلیت فعال و جایگزین همه قوانین کنونی نیست. اقدام درست در حال حاضر، بازبینی تنظیمات موجود، تفکیک هدف آموزش از هدف جست‌وجو و دنبال‌کردن مستندات رسمی اوپن‌ای‌آی، گوگل و روند استانداردسازی IETF است.
منصور عبداللهی
