1. تخصيص قواعد زواحف الذكاء الاصطناعي الحديثة بدقة متناهية
تحترم كبرى شركات الذكاء الاصطناعي معرفات المستخدمين (User-Agents) المخصصة لبوتاتها. يتيح لك وضع كتل توجيهية منفصلة التحكم الدقيق في إتاحة البيانات للتدريب التلقائي أو استرجاعها كمصادر حية: - **GPTBot:** البوت المخصص لجمع بيانات التدريب لنماذج OpenAI. - **ChatGPT-User:** يتم إرساله فقط عندما يطلب المستخدم من ChatGPT تصفح موقعك مباشرة. - **ClaudeBot / Claude-Web:** زواحف شركة Anthropic المخصصة لنماذج Claude. - **PerplexityBot:** محرك الزحف والإجابات التابع لـ Perplexity AI.
text Code Example
# حظر التدريب الآلي مع السماح بمحركات البحث التقليدية:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cdn-cgi/l/نموذج إعداد احترافي لملف robots.txt وفق معيار RFC 9309.
2. قاعدة مطابقة المسار الأطول (Longest-Match Precedence) وفق RFC 9309
ينص المعيار القياسي الرسمي IETF RFC 9309 على أنه في حال تعارض قاعدة السماح (Allow) مع قاعدة المنع (Disallow) لمسار معين، يتم منح الأولوية المطلقة للقاعدة التي تحتوي على عدد محارف متطابقة أكبر. على سبيل المثال: إذا وُجد `Disallow: /tools/` مع `Allow: /tools/format/`، فإن الزاحف يُسمح له بزيارة مسار `/tools/format/` لأنه أكثر تحديداً.
3. التمييز بين تدريب النماذج اللغوية والاستشهاد المباشر في الإجابات
حظر روبوتات التدريب مثل GPTBot لا يعني بالضرورة حرمان موقعك من الظهور في إجابات الذكاء الاصطناعي التوليدي، طالما أنك تسمح لروبوتات التصفح الفوري مثل ChatGPT-User بالوصول للمحتوى، مما يضمن حماية حقوق النشر مع الاستفادة من حركة الزيارات المستمرة.
4. حماية المسارات الحساسة وتحديد خريطة الموقع XML الرسمية
احرص دائماً على حظر المسارات الحساسة ومسارات إعادة التوجيه الداخلية مع تجنب حظر ملفات التنسيق CSS والأكواد البرمجية JS، وتأكد من تضمين الرابط المباشر لخريطة الموقع XML في نهاية ملف robots.txt.