robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Alat ini berjalan terus dalam penyemak imbas dan bersedia untuk semakan pantas tanpa memasang perisian.
Input boleh dikosongkan dan dikira semula serta-merta, yang berguna untuk tugasan kecil yang berulang.
Gunakan mod skrin penuh apabila anda memerlukan lebih banyak ruang untuk teks panjang, data berstruktur atau blok hasil yang besar.
Butang salin tersedia pada output yang dijana supaya hasil boleh digunakan semula dalam kod, dokumen atau sembang sokongan.
Kebanyakan operasi adalah deterministik: input dan pilihan yang sama menghasilkan output yang sama.
Untuk kandungan sensitif, pilih alatan penyemak imbas tempatan dan semak hasilnya sebelum berkongsinya dengan lebih lanjut.