Peraturan bot
Tetapkan akses untuk bot yang mematuhi robots.txt.
REKAWEB WEBTOOLS
100% Free Robots.txt Generator
Bina fail robots.txt untuk memberitahu bot enjin carian halaman yang boleh dirayapi.
Tangguh rayapan
Minta bot menunggu antara setiap permintaan.
Sitemap
Tunjuk lokasi peta laman di dalam fail yang sama.
Laluan
Sekat folder seperti /cgi-bin/ daripada dirayapi.
About Robots.txt Generator
Bina fail robots.txt untuk memberikan arahan perayapan kepada bot enjin carian yang mematuhinya.
Tetapkan direktori yang dibenarkan atau disekat dan semak kandungan fail sebelum meletakkannya di akar domain. Robots.txt bukan kaedah melindungi fail sulit atau mengawal akses pengguna.
