クローラー・インデックスとは？Google検索エンジンの仕組みを理解しよう

検索エンジンにページが認識されるまでの仕組み

検索エンジンにページが認識されるためには、クローラーに「発見」され、検索エンジンのデータベースに「登録」される必要があります。

クローラーとは、Web上を巡回しているロボットのことです。また検索エンジンが発見したページをデータベースに登録することをインデックスと呼びます。

Googleなどの検索エンジンは、インデックスされているページから上位表示させるページを選んでいるため、そもそもインデックスされなければ上位表示されることもないのです。

ここからは、「クローラー」「インデックス」についてさらに詳しく見ていきましょう。

クローラーとは

クローラーとは上述したように、検索エンジンがWeb上のページを発見するためのロボットのようなものです。Googleの検索エンジンでは、このクローラーのことを「Google bot（グーグル ボット）」と呼びます。

クローラーは主にWeb上のリンクを辿ってページを発見して、テキスト・画像・動画などの情報を収集します。

先ほど言ったように、クローラーに発見されなければそもそもインデックスされず、インデックスされなければ検索エンジンから評価もされないため、検索結果に表示されることはありません。

そのため、まずはクローラーにいかに早く発見してもらうかがSEO対策には必要不可欠となります。

インデックスとは

インデックスとはクローラーが発見したページを検索エンジンのデータベースへ「登録」することです。検索エンジンはインデックスされた情報をもとにランキングづけを行うため、インデックスされなければ上位表示されることはありません。

インデックスされるには、

などが大切です。良質なページとは、ユーザーの検索意図を満たしていたり、競合サイトより求めている情報に辿りつきやすかったり、信頼性・独自性のあるページです。

関連記事：SEOにおける良質なコンテンツとは？Googleの真意を知りユーザーに届けよう

クロール・インデックスされているか確認する方法

実際に自社のページがクロールされているのかどうか確認してみましょう。確認方法にはいくつかありますが、基本的には「①Google Search Consoleを使用する」方法がおすすめです。

Google Search Consoleの設定がまだお済みでない方はこちらから設定を進めましょう：【初心者向け】Googleサーチコンソールの使い方・設定方法

①Google Search Consoleを使用する

Google Search Consoleから直近でそのページがクロールされているかどうかを確認することができます。

①Google Search Console上部に確認したいページのURLをいれ、[enter]を押下

②「ページのインデックス登録」をクリック

※赤枠部分に「ページはインデックスに登録済みです」と表示されていれば、そのページはインデックス登録されています。されていない場合は、「
ページはインデックスに登録されていません: URL が Google に認識されていません」と表示されます。

③「前回のクロール」を確認

「前回のクロール」で表示されている日付が、直近でクロールされた日時です。

②検索コマンド「site:」を使用する　※非公式の方法

Google Search Consoleを使用しなくても簡易的に確認する方法です。検索エンジン上で、確認したいページのURLの前に「site:」を入れて検索すれば、そのページがインデックスされているかどうかを簡易的に確認できます。

インデックスされている場合は、検索結果に表示されます。

クローラーにクロールを促す方法

では、どのようにすればクローラーに早く発見してもらえるのでしょうか。新しく追加したページや、内容を更新したページをいち早く検索エンジンに認識させる方法には、以下の方法があります。

URL検査を使用する

Google Search Consoleの機能の一つである「インデックス登録をリクエスト」を使うことで、Googleにクロールを促すことができます。この機能は、「このページに優先的にクローラーを回してください」とリクエストするものです。

※この機能は、アカウントの権限によって使用できないことがあります。押下できない場合は管理者の方に確認してみてください。

robot.txtを使用する

robots.txtは、検索エンジンのクローラーの巡回を制御するためのファイルです。例えば、会員限定コンテンツやショッピングカート、重複ページといったクロールさせる必要のないページのクロールを制限すれば、クロールしてほしいページに効率的にクローラーが回ってきやすくなります。

このようにrobots.txtをうまく活用することで、SEOの効率を高め、重要なページへのクローラーを促すことが可能です。

実際の設定方法など、詳しいことはこちらの記事を参考にしてみてください！
・robots.txtとは｜クローラー制御・XMLサイトマップの場所指定の方法

クローラビリティを高めてインデックスされやすいサイトを目指そう

クローラビリティとは、検索エンジンのクローラーがそのサイト内の情報をどれだけ効率よく収集できるかを表す言葉です。SEO対策を進める中でよく出てくる言葉なので、ここで覚えておきましょう。

クローラビリティを改善することでページがより発見されやすくなるため、クローラビリティの改善はSEO対策の効果に直結してきます。SEOの施策を進める上では欠かせない視点です。

ここからはクローラビリティを改善する方法の中から、代表的なものを見ていきましょう。

※ここから紹介する内容は、「内部対策」に包括される内容です。詳しく知りたい方は内部対策について詳しく解説している記事も併せてご覧ください。

リンク構造を見直す

Googleはリンクを「投票」とみなし、リンクが集まっているページを重要なページであると認識します。クローラーは全てのページを巡回するわけではなく、重要度が低いとみなされているページはクロールの頻度が少なくなる傾向があります。

また、クローラーはリンクを辿ってページを発見しますので、内部リンクを適切に張ることでインデックス促進にもなります。インデックスさせたいページがあれば、関連するページから内部リンクを設置しましょう。

一点注意しなければならないのは、むやみやたらに内部リンクを設置することです。相対的にどのページが重要かわからなくなる可能性があるため、ユーザーの理解促進を第一に、関連性のあるページを繋ぐことを意識しましょう。

関連記事：内部リンク設計時のポイント

パンくずリストを整理する

クローラビリティを改善するためにはパンくずリストも意識する必要があります。クローラーはサイト内の内部リンクを辿ってページを読み取っていきます。

その際にパンくずリストを正しく設置しておくことによって、正確にサイト内にある情報を読み取ってくれます。

関連記事：パンくずリストとは？SEO対策として設置すべき理由と効果的な設置方法

サイトマップを送信する

Google Search Consoleからサイトマップを送信することでクローラーにサイト内にどのようなコンテンツがあるのかを適切に伝えることができます。

▼併せて読みたい！サイトマップに関しては以下の記事もぜひ参考にしてください。
sitemap.xmlの作り方・注意点・便利なツールまとめ【XMLサイトマップ】

altタグを適切に使用する

ページに設置した画像にaltタグを使用することで、Googleがその内容を理解しやすくなります。

altタグは「alt属性」や「代替テキスト」と呼ばれることもあり、ページに設置した画像の意味を説明するテキストの役割を果たします。altタグを適切に使用すると、読者と検索エンジンに、画像やコンテンツの意味を正しく伝えることができるのです。

そのためaltタグに、画像やコンテンツとかけ離れた内容を記載してしまうと、本来の意味が伝わらなくなり、インデックスされにくくなってしまいます。altタグを設定する際は、画像に合った適切なキーワードを使用して、シンプルかつわかりやすい説明文を作成しましょう。

関連記事：alt属性の設定方法と注意点

まとめ

検索エンジンにページが認識されるためには、クローラーに「発見」され、検索エンジンのデータベースに「登録」される必要があります。

SEOを進めていく上では、ユーザーにとって有益な情報を発信することに加えて、クローラーに発見されやすく、データベースに登録されやすくするための工夫も必要です。新しく追加したページや内容を修正したページをきちんと検索エンジンに認識させることはSEO対策をする上で必須になってきます。

クローラビリティを改善し、検索エンジンにクロールされやすいサイトにしていきましょう。

次のステップ：やってはいけないSEO

検索エンジンの基本の仕組みを理解すると、ついつい検索エンジンだけに目を向けた対策に目が向いてしまうことがあります。しかし、このような施策は上位表示しないだけでなく、最悪のケースではインデックスから削除されてしまうかもしれないのです。

そうならないように、続いては「やってはいけないSEO」について学びます。

次のステップ：やってはいけないSEO対策