Creative Commons (CC)، سازمان غیرانتفاعی معروف به حمایت از مجوزهای باز، به تازگی از فناوری Pay-to-Crawl حمایت مشروط کرده است. این سیستم به وب‌سایت‌ها امکان می‌دهد تا هنگام دسترسی ربات‌های هوش مصنوعی به محتوای خود، هزینه دریافت کنند. هدف این فناوری، حفظ تولید محتوا و دسترسی عمومی به اطلاعات است.

Creative Commons و حمایت مشروط از Pay-to-Crawl

CC پیش‌تر چارچوبی برای اکوسیستم باز AI معرفی کرده بود و حالا با احتیاط از Pay-to-Crawl حمایت می‌کند. در وبلاگ CC آمده است:
“اجرای مسئولانه Pay-to-Crawl می‌تواند راهی برای وب‌سایت‌ها فراهم کند تا تولید و اشتراک محتوای خود را ادامه دهند و از دسترسی عمومی محافظت کنند.”

چرا وب‌سایت‌ها به Pay-to-Crawl نیاز دارند؟

در گذشته، سایت‌ها به طور رایگان اجازه می‌دادند ربات‌ها محتوایشان را جمع‌آوری کنند و این باعث افزایش بازدید و کلیک می‌شد. اما اکنون کاربران پاسخ خود را مستقیماً از چت‌بات‌ها دریافت می‌کنند و کمتر به سایت‌ها مراجعه می‌کنند. Pay-to-Crawl می‌تواند برای ناشران، به ویژه وب‌سایت‌های کوچک، خسارت ناشی از کاهش ترافیک را جبران کند.

قراردادهای بزرگ بین ناشران و شرکت‌های هوش مصنوعی

چندین قرارداد مهم بین شرکت‌های هوش مصنوعی و ناشران بسته شده است، از جمله:

  • OpenAI با Condé Nast و Axel Springer

  • Perplexity با Gannett

  • Amazon با The New York Times

  • Meta با ناشران مختلف

این قراردادها دسترسی قانونی به محتوا و جبران مالی برای ناشران را تضمین می‌کنند.

اصول و استانداردهای مسئولانه Pay-to-Crawl

CC توصیه کرده است که Pay-to-Crawl باید:

  • پیش‌فرض همه سایت‌ها نباشد

  • دسترسی عمومی را حفظ کند

  • قابلیت تنظیم سرعت و محدودیت دسترسی داشته باشد

  • استاندارد، باز و قابل تعامل باشد

همچنین CC از استاندارد RSL Collective و پروژه CC Signals حمایت کرده است که قوانین شفاف برای دسترسی ربات‌ها به سایت‌ها ارائه می‌دهد.

استارتاپ‌ها و شرکت‌های فعال در این حوزه

شرکت‌ها و استارتاپ‌های فعال در این زمینه شامل:

  • Cloudflare

  • Microsoft (ساخت بازار AI برای ناشران)

  • ProRata.ai

  • TollBit

استاندارد RSL نیز توسط شرکت‌هایی مانند Yahoo، Ziff Davis و O’Reilly Media پشتیبانی می‌شود.

آینده محتوا در عصر هوش مصنوعی

Pay-to-Crawl می‌تواند مسیر جدیدی برای حفظ درآمد ناشران و استمرار تولید محتوا در عصر هوش مصنوعی فراهم کند. این فناوری به وب‌سایت‌ها کمک می‌کند تا محتوای خود را بدون از دست دادن دسترسی عمومی به اشتراک بگذارند و همزمان از ربات‌های هوش مصنوعی کسب درآمد کنند.

برای مطالعه مقالات مرتبط با هوش مصنوعی و مدل‌های پیشرفته، می‌توانید به لینک‌های زیر مراجعه کنید: