このツールについて
robots.txt はサイトのルートに置く公開のクローラー指示ファイルです。sitemap の場所や低価値パスの除外、基本的なクロール方針を伝えます。非公開ページの保護には使えません。
使い方
sitemap URL とブロックしたいパス、たとえば /admin/ や /tmp/ を入力して結果をコピーします。
プライバシー
このツールは入力内容をブラウザ内で処理します。パスワード、秘密鍵、その他の機密データはオンラインツールに入力しないでください。
よくある質問
入力内容はアップロードされますか？
いいえ。このツールはブラウザ内で動作します。
無料で利用できますか？
はい。登録なしで無料で利用できます。