这个工具是什么?
robots.txt 是网站根目录下的公开爬虫说明文件,可指向 sitemap、屏蔽低价值路径,并设置基础抓取偏好。它不能保护私密内容。
如何使用
输入 sitemap 地址和需要屏蔽的路径,例如 /admin/ 或 /tmp/,然后复制生成结果。
隐私说明
此工具在浏览器本地处理输入内容。请勿在任何在线工具中输入密码、私钥或其他敏感的生产数据。
常见问题
输入内容会上传吗?
不会。此工具在浏览器本地运行。
这个工具免费吗?
是的,无需注册即可免费使用。
免费的浏览器本地工具
为搜索引擎和爬虫生成基础 robots.txt 文件。
robots.txt 是网站根目录下的公开爬虫说明文件,可指向 sitemap、屏蔽低价值路径,并设置基础抓取偏好。它不能保护私密内容。
输入 sitemap 地址和需要屏蔽的路径,例如 /admin/ 或 /tmp/,然后复制生成结果。
此工具在浏览器本地处理输入内容。请勿在任何在线工具中输入密码、私钥或其他敏感的生产数据。
不会。此工具在浏览器本地运行。
是的,无需注册即可免费使用。