مولد robots.txt
أنشئ قواعد للزواحف ونزّل robots.txt.
قواعد الزواحف
تحديد الخيار يضيف Disallow: / لهذا الزاحف.
01
كيف تعمل الأداة؟
أنشئ قواعد للزواحف ونزّل robots.txt.
02
معلومات تقنية
robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.
معلومات تقنية
كيف تعمل الأداة؟:
أنشئ قواعد للزواحف ونزّل robots.txt. robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.
مثال:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
معلومات تقنية:
- >RFC 9309
الاستخدامات:
- >أنشئ قواعد للزواحف ونزّل robots.txt.
- >تُعالج البيانات داخل المتصفح.
الأسئلة الشائعة
ما الذي ينبغي الانتباه إليه؟
robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.
هل تُرفع بياناتي إلى الخادم؟
لا. تتم المعالجة داخل المتصفح.
لغات أخرى
المراجع
كيف نتحقق من النتائج
نتحقق من هذه الأداة بالاختبارات الآلية المرتبطة أدناه. تُعرض أسماء الأمثلة بلغتها الأصلية.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
تغطي الاختبارات الأمثلة والحدود المذكورة، وليس كل المدخلات الممكنة. التحويل ذهاباً وإياباً أو استخدام المكتبة نفسها ليس تحققاً مستقلاً.