Google でサイトを検出してクロールできるようにする

Googlebotは、新しいページや更新されたページをクロールし、検出したページを Googleインデックスに追加します。
クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって増加したウェブページURLリストを使用します。
Googlebotはウェブサイトすべてにアクセスし、各ページのリンクを検出してクロール対象のページ リストに追加します。
また、新しいサイト、既存のサイトへの変更、無効なリンクを検出し、Googleインデックスの更新情報として使用しています。

• クロールエラーを確認する。ウェブマスター ツールの「クロール エラー」ページでは、ボットがクロール時にアクセスできなかったURLの詳細を表示しています。エラーを確認し、可能な場合は修正します。 ボットの次回のクロール時に変更点が検出され、Google インデックスの更新情報として使われます。
• robots.txtファイルを確認する。robots.txt テストツールを使い、サイトのURLやディレクトリからGooglebot がブロックされていないか確認します。
• URLがメタタグによってブロックされていないことを確認する。
• サイトの構成を見直してアクセスしやすいものにする　（ベストプラクティス）。検索エンジンはテキストをベースに処理します。JavaScript、DHTML、画像、Silverlight などのリッチメディアを使用してナビゲーションやリンクを作成すると、サイトをクロールできない場合が多く発生します。
• サイトの構成変更、新ドメイン移転の場合、掲載順位が低下します。この現象を防止するには、 .htaccess ファイルで 301 リダイレクト（「RedirectPermanent」）を使用して、ユーザー、Googlebot、他のスパイダーを適切にリダイレクトします（Apache の場合は .htaccess ファイルを使用し、IIS の場合は管理コンソールを使用します）。301 HTTP リダイレクトの詳細はこちらの記事を参照してください。
• サイトマップの作成と送信する。サイトが既にインデックスに登録されている場合も、サイトマップでサイトの情報を提供し、どのURLが最も重要か通知できます。サイトマップは、Googlebot で簡単に見つからないようなリッチメディアをサイトで使っている場合や、サイトが新しく十分にリンクされていない場合などに役立ちます。