robots.txt ファイル エラーの対処方法

robots.txt ファイルは必ず必要というわけではない
robots.txt ファイルが必要な場合としては、検索エンジンのインデックスに登録したくないコンテンツがサイトに含まれる場合のみです。
サイトのコンテンツをすべて検索エンジンのインデックスに登録したい場合は、robots.txt ファイルは（空のものでも）必要ありません。
robots.txt ファイルが存在しない場合は、Googlebot がrobots.txt ファイルをリクエストしたときにサーバーから ステータスコード404 を返しますが、サイトのクロールを続行します。


Google のクローラが robots.txt ファイルにアクセスできるようにする
Google クローラが robots.txt ファイルにアクセスしようとしたときに、サーバーから ステータスコード5xx（アクセスできません）が返される場合があります。
この場合、ホスティング プロバイダで Googlebot がブロックされていないことを確認します。
ファイアウォールを使用している場合は、ファイアウォールの設定で Google のクローラをブロックしていないか確認します。