実用ガイド
新しいサイト向け robots.txt と sitemap.xml の基本
新しい Web サイトでは、robots.txt と sitemap.xml は基本的な検索エンジン向け設定です。順位を保証するものではありませんが、クローラーにクロール可能な範囲と重要な URL を伝えやすくなります。
無料ツールを開く手順
- サイトルートに robots.txt を作成します。
- 重要な公開ページを許可し、CSS、JavaScript、ツールページを誤ってブロックしないようにします。
- sitemap.xml を指す Sitemap 行を追加します。
- sitemap.xml には canonical URL だけを入れます。
- Google Search Console と Bing Webmaster Tools に sitemap を送信します。
- 重要な新規ページを追加したら、再送信またはインデックス登録をリクエストします。
重要なポイント
- robots.txt は公開ファイルであり、非公開ページの保護には使えません。
- クロールをブロックしても、既存の検索結果がすぐ消えるとは限りません。
- sitemap には重複 URL ではなく、有用な canonical URL を入れます。
- www と非 www の重複は 301 リダイレクトで整理します。
よくある質問
robots.txt はどこに置きますか？
https://example.com/robots.txt のようにサイトルートでアクセスできる必要があります。
sitemap.xml で必ずインデックスされますか？
いいえ。発見には役立ちますが、インデックスするかは検索エンジンが判断します。
robots.txt に sitemap URL を書くべきですか？
はい。Sitemap 行でクローラーに場所を伝えられます。