robots.txt ファイルを使用してクロールを管理する方法

robots.txtファイルは、特定のページをウェブクローラ ソフトウェアにクロールされないようにするテキスト ファイルです。
このファイルは基本的には Allow や Disallow 等のコマンドで、これによりウェブクローラに URL情報取得の可否を指示します。
robots.txt で許可されていない URL とコンテンツは Google 検索結果に表示されません。

robots.txt ファイルを使用するのは、サイトコンテンツに検索エンジンのインデックス登録したくないコンテンツがある場合のみです。
サイト全体を Google インデックスに登録したい場合は、robots.txt ファイルを作成しません。

Google クローラがアクセスできる URL とアクセスできないURL を確認するには、robots.txt テスターを使います。

下記の記事も参考にしてください

• robots.txt ファイルを使用してクロールを管理する方法　robots.txt の限界を理解する
• robots.txt 取得エラー
• robots.txt ファイル エラーの対処方法
• robots.txt テスター
• robots.txt テスター ツールの制約