مولّد robots.txt

كيفية الاستخدام مولّد robots.txt

1. اختر ما تسمح به وما تمنعه، لكل عنكبوت أو للجميع.
2. أضف رابط خريطة الموقع.
3. انسخ الملف وضعه في جذر النطاق.

ما لا يفعله robots.txt

سوء فهم شائع يُوقع في خطأ مكلف.

فالمنع في robots.txt يمنع الزحف لا الفهرسة. والصفحة الممنوعة قد تظهر في نتائج البحث بالرابط وحده إن أشارت إليها روابط خارجية — بلا عنوان ولا وصف، وهو أسوأ ما قد يظهر.

والأدهى أن المنع يجعل العنكبوت عاجزًا عن قراءة وسم noindex داخل الصفحة. فمن يريد إخفاء صفحة يجب أن يسمح بالزحف إليها ويضع فيها noindex — لا العكس.

وهو ليس أداة حماية إطلاقًا. فالملف عامّ يقرؤه أي أحد، وسرد المسارات الحسّاسة فيه دلالة عليها لا إخفاء لها. والحماية بالمصادقة وحدها.

روبوتات الذكاء الاصطناعي

مسألة صارت عملية لمن ينشر محتوى، ولكل ناشر رأيه فيها.

فمعظم الشركات الكبرى تُعلن أسماء وكلاء مستخدم يمكن منعها في robots.txt. والمنع هنا يقوم على الالتزام الطوعي بالكامل، لا على آلية إلزام.

والمفاضلة واضحة: المنع يحمي المحتوى من الاستخدام في التدريب، ويحرم الموقع أيضًا من الظهور في إجابات المساعدات — وهذه قناة زيارات متنامية.

وموقف متوسّط شائع: السماح للعناكب التي تخدم البحث والإحالة، ومنع تلك المخصّصة لجمع بيانات التدريب. والمولّد هنا يفصل بينهما.

وتأتي في المنطقة اعتبارات نشر إضافية لبعض الجهات، حيث يخضع المحتوى الإعلامي لتراخيص محلية. وهذا شأن قانوني لا يحلّه ملف نصّي.

أخطاء تكسر الملف

الملف بسيط، وأخطاؤه مكلفة لأنها صامتة.

الموضع: يجب أن يكون في الجذر تمامًا. والملف في مجلد فرعي لا يقرؤه أحد.

Disallow: / بلا قصد: سطر واحد يمنع الموقع كله. وهو من أشهر أخطاء النشر — يُنقل الملف من بيئة الاختبار إلى الإنتاج كما هو.

منع ملفات الأنماط والسكربتات: العنكبوت يعرض الصفحة كما يعرضها المتصفح. ومنعه من ملفات CSS وJS يجعله يرى صفحة مكسورة.

خلط الأنماط: الملف يدعم * و$، ولا يدعم التعابير النمطية الكاملة.

واختبر النتيجة في أداة فحص robots.txt داخل Search Console قبل النشر.

الأسئلة الشائعة