مولد robots.txt

مولد robots.txt

أنشئ قواعد للزواحف ونزّل robots.txt.

قواعد الزواحف

تحديد الخيار يضيف Disallow: / لهذا الزاحف.

01

كيف تعمل الأداة؟

أنشئ قواعد للزواحف ونزّل robots.txt.

02

معلومات تقنية

robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.

معلومات تقنية

كيف تعمل الأداة؟:

أنشئ قواعد للزواحف ونزّل robots.txt. robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.

مثال:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

معلومات تقنية:

  • >RFC 9309

الاستخدامات:

  • >أنشئ قواعد للزواحف ونزّل robots.txt.
  • >تُعالج البيانات داخل المتصفح.

الأسئلة الشائعة

ما الذي ينبغي الانتباه إليه؟

robots.txt يقدّم تعليمات للزحف ولا يمنع الوصول. يتجاهل Google قيمة Crawl-delay.

هل تُرفع بياناتي إلى الخادم؟

لا. تتم المعالجة داخل المتصفح.

لغات أخرى

Robots.txt Generator — Base64.sh

مولد robots.txt

أنشئ قواعد للزواحف ونزّل robots.txt. تُعالج البيانات داخل المتصفح.

مشاركة:

X Facebook LinkedIn Reddit

المراجع

كيف نتحقق من النتائج

نتحقق من هذه الأداة بالاختبارات الآلية المرتبطة أدناه. تُعرض أسماء الأمثلة بلغتها الأصلية.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

تغطي الاختبارات الأمثلة والحدود المذكورة، وليس كل المدخلات الممكنة. التحويل ذهاباً وإياباً أو استخدام المكتبة نفسها ليس تحققاً مستقلاً.