robots.txt テスター

robots.txt テスター ツールは、サイト内の特定の URL に対しクローラがブロックされているか確認する事が出来ます。
Google 画像検索に表示されないようにしたい画像がある場合、画像の URL を Googlebot-Image クローラがクロールできるかテストします。

テストは、robots.txt テスター ツールに URL を送信します。
ツールが Googlebot と同じように動作することのより、robots.txt ファイルをチェックし、URL が適切にブロックされているか確認できます。

robots.txt をテストする
ホームで、robots.txt ファイルをテストするサイトを選択します。

ダッシュボードでクロールを展開し、robots.txt テスター ツールを選択します。

robots.txt ファイルにテキスト エディタで変更を加えます。

robots.txt 内のコードをスクロールし、ハイライト表示されている構文エラーとロジック エラーを確認します。
構文に関する警告やロジックに関するエラーの数が表示されます。

ページの下部にあるテキスト ボックスに、URL の拡張子またはパスを入力します。

プルダウン リストで、シミュレーションするユーザーエージェントを選択します。

プルダウン リストの横にある テストをクリックして、シミュレーショントを実行します。

テストボタンが許可かブロック済みに変化するかを確認します。