فحص ملف Robots.txt
Seoأداة بسيطة لفحص والتأكد من صحة ملف robots.txt الخاص بموقعك وفهم كيفية رؤية محركات البحث له.
فحص احترافي وفق معيار RFC 9309 وسلوك Google الفعلي: نحلل القواعد مجموعةً مجموعة، نكشف الحظر الشامل والأخطاء الإملائية والتوجيهات المهملة، ونحاكي مطابقة Google لأي مسار تختبره.
نجلب /robots.txt مباشرة من خادمنا (مع اتباع التحويلات) ثم نحلله بنفس محرك الفحص — لا نخرّن دومينك أو ملفك.
كيف يقرأ Google ملفك؟ (مختصر عملي)
المجموعات أولاً
كل كتلة تبدأ بسطر أو أكثر من User-agent ثم قواعدها. User-agent: * تنطبق على الجميع ما لم توجد مجموعة باسم الزاحف نفسه.
الأطول يفوز
عند تعدد القواعد المطابِقة لمسار واحد تفوز الأطول (الأخصّ)، وعند التساوي تتغلب Allow على Disallow. جرّبها في المختبر أعلاه.
الخطر الصامت: الحظر الشامل
سطر واحد Disallow: / يُخفي موقعك كله من نتائج البحث. يحدث غالباً عند نسيان ملف بيئة التطوير أو وضع الصيانة مفعّلاً بعد الإطلاق.
ما لا يعمل في robots.txt
Noindex غير مدعوم منذ 2019، وCrawl-delay تتجاهله Google. للإزالة من الفهرس استخدم وسم meta robots أو Search Console.
أين أضع ملف robots.txt؟ +
في جذر الدومين حصراً: example.com/robots.txt. أي مكان آخر يتجاهله Google. الأحرف حساسة لحالة المسارات لكن أسماء التوجيهات (User-agent/Disallow) غير حساسة.
حظرت صفحة في robots.txt لكنها ما زالت في نتائج البحث — لماذا؟ +
الحظر يمنع الزحف فقط ولا يحذف من الفهرس. إن كانت الصفحة مفهرسة مسبقاً قد تبقى تظهر (بدون وصف). للحذف استخدم noindex في الصفحة نفسها مع السماح بزحفها، أو أداة الإزالة في Search Console.
هل Sitemap إجباري داخل robots.txt؟ +
لا، لكنه موصى به بشدة — يسرّع اكتشاف صفحاتك خصوصاً للمواقع الجديدة والكبيرة. يجب أن يكون رابطاً مطلقاً https:// كاملاً، ويمكنك ذكر أكثر من خريطة.
ما أكبر خطأ نراه في مواقع ووردبريس؟ +
أمران: نسيان Disallow: / بعد الإطلاق التجريبي، وحظر /wp-content/ أو /wp-includes/ فيمنع تحميل CSS/JS فيرى Google صفحة مكسورة ويخفض تقييم تجربة الصفحة.
هل تخزنون دوميني أو ملفي؟ +
لا — الفحص لحظي من خادمنا ولا نحفظ الدومينات أو المحتوى الملصق.