实用指南
新网站的 robots.txt 和 sitemap.xml 基础指南
对新网站来说，robots.txt 和 sitemap.xml 是搜索引擎基础配置。它们不能保证排名，但能帮助爬虫理解哪些页面可以抓取、哪些 URL 值得发现。
打开免费工具操作步骤
- 在网站根目录创建 robots.txt。
- 允许重要公开页面，避免误挡 CSS、JavaScript 或工具页。
- 添加 Sitemap 行，指向 sitemap.xml 地址。
- 确认 sitemap.xml 只列出规范 URL。
- 在 Google Search Console 和 Bing Webmaster Tools 提交 sitemap。
- 新增重要页面后，重新提交或请求收录。
重要提示
- robots.txt 是公开文件，不能用来保护私密页面。
- 阻止抓取不等于立刻从搜索结果删除。
- sitemap 应该包含有价值的 canonical URL，而不是所有重复变体。
- 用 301 跳转避免 www 和非 www 版本被当作重复页面。
常见问题
robots.txt 应该放在哪里？
应该能通过网站根路径访问，例如 https://example.com/robots.txt。
提交 sitemap 就一定会收录吗？
不会。它帮助搜索引擎发现页面，但是否收录仍由搜索引擎决定。
robots.txt 里应该写 sitemap 地址吗？
建议写。Sitemap 行可以直接告诉爬虫 sitemap 的位置。