robots.txt Generator
Buat file robots.txt dengan aturan Allow/Disallow, crawl-delay, dan tautan sitemap. Semua diproses di perangkat Anda tanpa dikirim ke server.
Semua proses berjalan di browser Anda. Data tidak pernah dikirim ke server kami.
Contoh
Contoh Input
Disallow /admin/ + sitemap
Contoh Output
User-agent: *\nDisallow: /admin/
Cara Penggunaan
- 1Isi kolom input dengan detail Anda (judul, URL, deskripsi, dll.).
- 2Jika ada pilihan (mis. tipe atau opsi), sesuaikan dengan kebutuhan.
- 3Klik Hasilkan (atau tekan Ctrl+Enter).
- 4Salin hasil dari kotak keluaran dan tempel ke situs Anda. (Beberapa tool menampilkan pratinjau visual.)
Tentang robots.txt Generator
robots.txt Generator membuat file robots.txt yang memberi tahu crawler mesin pencari bagian situs mana yang boleh atau tidak boleh dirayapi. Anda menentukan user-agent, daftar path Allow/Disallow, opsional crawl-delay, dan URL sitemap.
Simpan file di root domain (https://domain.com/robots.txt). Ingat: robots.txt mengatur perayapan, bukan pengindeksan — untuk mencegah pengindeksan gunakan meta robots noindex.
Pertanyaan Umum (FAQ)
Apakah data saya dikirim ke server?
Tidak. Semuanya dibuat di browser Anda dengan JavaScript. Tidak ada yang diunggah, dicatat, atau disimpan di server kami — aman untuk data apa pun.
Apakah keluarannya bisa langsung dipakai?
Ya. Hasilnya adalah markup/file yang valid dan siap tempel ke <head>, root domain, atau file yang sesuai. Selalu uji structured data dengan Google Rich Results Test bila relevan.