クローラー・インデックスとは？Google検索エンジンの仕組みを理解しよう

検索エンジンにページが認識されるまでの仕組み

検索エンジンにページが認識されるためには、クローラーに「発見」され、検索エンジンのデータベースに「登録」される必要があります。

クローラーとは、Web上を巡回しているロボットのことです。また検索エンジンが発見したページをデータベースに登録することをインデックスと呼びます。

Googleなどの検索エンジンは、インデックスされているページから上位表示させるページを選んでいるため、そもそもインデックスされなければ上位表示されることもないのです。

ここからは、「クローラー」「インデックス」についてさらに詳しく見ていきましょう。

クローラーとは

クローラーとは上述したように、検索エンジンがWeb上のページを発見するためのロボットのようなものです。Googleの検索エンジンでは、このクローラーのことを「Google bot（グーグル ボット）」と呼びます。

クローラーは主にWeb上のリンクを辿ってページを発見して、テキスト・画像・動画などの情報を収集します。

先ほどお伝えしたように、クローラーに発見されなければそもそもインデックスされず、インデックスされなければ検索エンジンから評価もされないため、検索結果に表示されることはありません。

そのため、まずはクローラーにいかに早く発見してもらうかがSEO対策には必要不可欠となります。

インデックスとは

インデックスとはクローラーが発見したページを検索エンジンのデータベースへ「登録」することです。検索エンジンはインデックスされた情報をもとにランキングづけを行うため、インデックスされなければ上位表示されることはありません。

インデックスされるには、

などが大切です。良質なページとは、ユーザーの検索意図を満たしていたり、競合サイトより求めている情報に辿りつきやすかったり、信頼性・独自性のあるページです。

関連記事：SEOにおける良質なコンテンツとは？Googleの真意を知りユーザーに届けよう

クロール・インデックスされているか確認する方法

実際に自社のページがクロールされているのかどうか確認してみましょう。確認方法にはいくつかありますが、基本的には「①Google Search Consoleを使用する」方法がおすすめです。

Google Search Consoleの設定がまだお済みでない方はこちらから設定を進めましょう：【初心者向け】Googleサーチコンソールの使い方・設定方法

①Google Search Consoleを使用する

Google Search Consoleの「URL検査」機能を利用して、直近でそのページがクロールされているかどうかを確認することができます。

①Google Search Console上部に確認したいページのURLをいれ、[enter]を押下

②「ページのインデックス登録」をクリック

※赤枠部分に「ページはインデックスに登録済みです」と表示されていれば、そのページはインデックス登録されています。されていない場合は、「
ページはインデックスに登録されていません: URL が Google に認識されていません」と表示されます。

③「前回のクロール」を確認

「前回のクロール」で表示されている日付が、直近でクロールされた日時です。

②検索コマンド「site:」を使用する

Google Search Consoleを使用しなくても簡易的に確認する方法です。検索エンジン上で、確認したいページのURLの前に「site:」を入れて検索すれば、そのページがインデックスされているかどうかを簡易的に確認できます。

インデックスされている場合は、検索結果に表示されます。

クローラーにクロールを促す方法

では、どのようにすればクローラーに早く発見してもらえるのでしょうか。新しく追加したページや、内容を更新したページをいち早く検索エンジンに認識させる方法には、以下の方法があります。

インデックス登録リクエストを使用する

Google Search Consoleの機能の一つである「インデックス登録をリクエスト」を使うことで、Googleにクロールを促すことができます。この機能は、「このページに優先的にクローラーを回してください」とリクエストするものです。

※この機能は、アカウントの権限によって使用できないことがあります。押下できない場合は管理者の方に確認してみてください。

sitemap.xmlの送信

sitemap.xmlとは、Webサイト上のURLを一覧化したXMLファイルで、検索エンジン（Google、Bingなど）のクローラーに対して「どのページがあるのか」「いつ更新されたのか」などの情報を明示的に伝えることができます。

sitemap.xmlは、Google Search Consoleから送信可能です。

新しいページを公開した際には、sitemap.xmlにそのURLを追記すれば、クローラーに「新しいコンテンツが追加された」ことを明示的に伝えることができます。既存ページの内容を更新した場合にも、sitemap.xml内の該当URLの <lastmod> （最終更新日）を最新の日付に書き換えることで、クローラーに「このページは最近更新された」と伝えられ、再クロールの優先度が上がる可能性があります。

特に情報が頻繁に更新されるページや、SEO上重要なキーワードを含むページなどでは、この対応が効果的です。

関連記事：XMLサイトマップとは？SEOの効果や作成方法を解説！

クローラビリティを高めてインデックスされやすいサイトを目指そう

クローラビリティとは、検索エンジンのクローラーがそのサイト内の情報をどれだけ効率よく収集できるかを表す言葉です。SEO対策を進める中でよく出てくる言葉なので、ここで覚えておきましょう。

クローラビリティを改善することでページがより発見されやすくなるため、クローラビリティの改善はSEO対策の効果に直結してきます。SEOの施策を進める上では欠かせない視点です。

ここからはクローラビリティを改善する方法の中から、代表的なものを見ていきましょう。

※ここから紹介する内容は、「内部対策」に包括される内容です。詳しく知りたい方は内部対策について詳しく解説している記事も併せてご覧ください。

リンク構造を見直す

Googleはリンクを「投票」とみなし、リンクが集まっているページを重要なページであると認識します。クローラーは全てのページを巡回するわけではなく、重要度が低いとみなされているページはクロールの頻度が少なくなる傾向があります。

また、クローラーはリンクを辿ってページを発見するので、内部リンクを適切に設置することでインデックス促進にもなります。インデックスさせたいページがあれば、関連するページから内部リンクを設置しましょう。

一点注意しなければならないのは、むやみやたらに内部リンクを設置することです。相対的にどのページが重要かわからなくなる可能性があるため、ユーザーの理解促進を第一に、関連性のあるページを繋ぐことを意識しましょう。

関連記事：内部リンク設計時のポイント

パンくずリストを整理する

クローラビリティを改善するためにはパンくずリストも意識する必要があります。

クローラーはサイト内の内部リンクを辿ってページをクロールするため、正しく設置しておくことでパンくずリストのリンク構造に則りクロールしサイトの全体構成を理解しやすくなります。

関連記事：パンくずリストとは？SEO対策として設置すべき理由と効果的な設置方法

サイトマップを送信する

Google Search Consoleからサイトマップを送信することでクローラーにサイト内に存在するページを適切に伝えることができます。

▼併せて読みたい！サイトマップに関しては以下の記事もぜひ参考にしてください。
sitemap.xmlの作り方・注意点・便利なツールまとめ【XMLサイトマップ】

robot.txtを使用する

robots.txtは、検索エンジンのクローラーの巡回を制御するためのファイルです。例えば、会員限定コンテンツやショッピングカート、重複ページといったクロールさせる必要のないページのクロールを制限すれば、クローラーがクロールしてほしいページに効率的にクローラーが回ってきやクロールしやすくなります。

このようにrobots.txtをうまく活用することで、SEOの効率を高め、重要なページへのクローラーを促すことが可能です。

まとめ

検索エンジンにページが認識されるためには、クローラーに「発見」され、検索エンジンのデータベースに「登録」される必要があります。

SEOを進めていく上では、ユーザーにとって有益な情報を発信することに加えて、クローラーに発見されやすく、データベースに登録されやすくするための工夫も必要です。新しく追加したページや内容を修正したページをきちんと検索エンジンに認識させることはSEO対策をする上で必須になってきます。

クローラビリティを改善し、検索エンジンにクロールされやすいサイトにしていきましょう。

次のステップ：やってはいけないSEO

検索エンジンの基本の仕組みを理解すると、ついつい検索エンジンだけに目を向けた対策に目が向いてしまうことがあります。しかし、このような施策は上位表示しないだけでなく、最悪のケースではインデックスから削除されてしまうかもしれないのです。

そうならないように、続いては「やってはいけないSEO」について学びます。

次のステップ：やってはいけないSEO対策