サーバー接続エラーの対処方法 検索エンジンによるサイトのクロールとインデックス登録を適切に管理する

検索エンジンによるサイトのクロールとインデックス登録を適切に管理する
ファイアウォールを使用していて、意図的に Googlebot がウェブサイトにアクセスできないようにすることもあります。
この場合、意図しているのは、Googlebot を全面的にブロックすることではなく、サイトのクロールとインデックス登録を管理する事にあります。
この場合は、次の2点を確認します

• Googlebot のクロールを管理する方法は、ロボット排除プロトコルを使います。具体的には、robots.txt ファイルを使用する方法、 URL パラメータを設定する方法があります。プロトコル排除の方法⇒　https://developers.google.com/webmasters/control-crawl-index/docs/getting_started?csw=1　robots.txtを使う方法⇒　https://support.google.com/webmasters/answer/6062608?rd=1　
• ユーザー エージェントを Googlebot と偽った悪質なボットの疑いがある場合は、クローラが本当に Googlebot かを確認します。

サイトに対するクロール頻度を変更したい時は、Googlebot クロール速度の変更をグーグルにリクエストします。
ホスティング プロバイダは、IP アドレスの所有権も確認できます。