クローラビリティとは? SEOでの重要性や改善方法をご紹介!

SEOサービスのご案内
今すぐ無料ダウンロード
SEOサービスのご案内
今すぐ無料ダウンロード

無料で資料をダウンロード

※フォーム送信後、メールにて資料をお送りいたします。

SEOサービスのご案内

専属のコンサルタントが貴社Webサイトの課題発見から解決策の立案を行い、検索エンジンからの自然検索流入数向上のお手伝いをいたします。

※フォーム送信後、メールにて資料をお送りいたします。

STEP 1


フォームでの問い合わせが
完了いたしました。
メールにて資料をお送りいたします。

SEO対策に注力しているにもかかわらず、なかなか効果が出ずに悩んでいるWeb担当者の方もいるのではないでしょうか。SEO対策を行なっていたとしても、その対策の結果を検索エンジンに認識してもらわなければ、効果が出ることはありません。まずはクローラーがWebサイト内を巡回しやすいようなWebサイト構造を作ることが大切です。

クローラビリティとはクローラーが情報を収集しやすくなるようにWebサイトを最適化することです。クローラビリティを改善することでページが「発見」されやすくなるため、クローラビリティの改善はSEO対策の効果に繋がります。本記事では、クローラビリティの改善方法について詳しく紹介します。

クローラビリティとは

クローラビリティとは、クローラーが情報を収集しやすくなるようにWebサイトを最適化することです。クローラーは世界中のWebサイトを巡回しているため、コンテンツを作成して公開してもすぐにクローラーが来てくれるわけではありません。いくら良いコンテンツを作成していたとしても、クローラーに発見し認識してもらわなけければ検索結果に反映されず、ユーザーに見てもらうことができないのです。このことから、クローラビリティを改善しページが発見されやすくすることがSEO対策において非常に重要であるとお分かりいただけると思います。

クローラーとは

検索エンジンにページが認識されるためには、まずは検索エンジンに「発見」される必要があります。その検索エンジンが「発見」することを「クロール」といいます。クローラーとは、検索エンジンがWeb上のページを発見する(クロールを行う)ためのロボットであり、Web上を巡回し、テキスト・画像・動画などの情報を収集します。1ページだけのWebサイトから何百万ページもあるWebサイトまで、世界中のWebサイトをチェックしています。クローラーは常にWeb上に存在するWebサイトを探して発見することを繰り返し行なっており、クローラーに発見してもらってインデックスされなければ、検索エンジンから評価をされないため検索結果に反映されません。そのため、クローラーにいかに早く発見してもらえるかはSEO対策において重要な要素の1つです。

クローラーに関してはこちらの関連記事もあわせてご覧ください。

クローラビリティの重要性

GoogleのJohn Muller氏は、Web上のすべてのURLをクロールして検出することが不可能であることを示しています。Web上にはURLの数が無数にあるため、その全てを適切にクロ―ルすることができません。無数のURLをデータベースで保持することができないため、クローラーはクロールする価値があるものを判断しようとします。クローラーが全てのWebサイトをクロールすることができないからこそ、クローラーに認識してもらうための対策を行っていく必要があるのです。

(引用:Google’s John Mueller: “It’s Impossible To Crawl The Whole Web” (searchenginejournal.com))

“webを適切にクロールするための客観的方法はない。”

URLの実数は事実上無限なので、全てのWebサイトをクロールすることは理論的に不可能です。データベースに無限のURLの数を保持する余裕はないので、すべてのWebクローラーは、現実的にクロールする価値のあるものについて仮定・単純化・および推測を行ないます。

—————————————————————————————————————————————-

(10行目以下)それを過ぎて、すぐに変更するページもあれば、10年間変更されていないページもあるため、クローラーは、変更されないと予想されるページではなく、変更が予想されるページに焦点を当てることで手間を省こうとします。(著者役)

クローラビリティを改善する方法

クローラーにページを発見してもるためには、クローラーがWebサイト内を巡回しやすいようにWebサイトの内部構造を設計する必要があります。よりクローラビリティなWebサイトにしていくための改善方法の一例をご紹介します。

<1>Webサイトをクローラーに認識させる
Googleにクロールを促す
XMLWebサイトマップを作成する

<2>クロールされやすいWebサイトにする
URL構造の見直し
内部リンクの最適化
パンくずリストの設定
インデックス制御
ファイルサイズを減らす

<3>サーバーを最適化する
正しいHTTPステータスコードを返す
外部からの被リンクを獲得する

Webサイトをクローラーに認識させる

Googleにクロールを促す

Webサイトをクローラーに認識させるために、まずはGoogleにクロールを促していきましょう。Googleサーチコンソールを活用することで、インデックス登録をリクエストすることができます。少しでも早くSEOの効果が得られるようコンテンツを公開した直後やリライトなどで記事を更新した直後にリクエストしておくことをオススメします。

Googleサーチコンソールからインデックス登録をリクエストする方法についてはこちらの記事をご覧ください。

XMLWebサイトマップを作成する

XMLWebサイトマップとは、Webサイト全体の構造を一目でわかるようにするためのマップのようなものであり、検索エンジンにWebサイトの全ページを知らせる役割があります。XMLWebサイトマップ(sitemap.xml)は検索エンジンに新たな記事が公開したことを知ってもらえるように働きかけたり、クローラーが気づかないページを減らすことができたりといったメリットがあります。

下記の条件に該当する場合、Webサイトの内容が検索エンジンやクローラーに理解されにくい状態になっている場合が多いので、Webサイトマップの作成をおすすめします。

  • Webサイトの規模が非常に大きい
  • 内部リンクが少ない、または適切にリンクされていない
  • 外部リンクが少ない
  • 画像や動画が多くある

上記に当てはまらない規模の小さいWebサイトでも外部リンクが少ないものや、内部リンクをあまり作らないWebサイトは、Webサイトマップを設置することでSEOへの好影響が期待できます。

XMLWebサイトマップの作成方法や送信方法についてはこちらの関連記事をご覧ください。

クロールされやすいWebサイトにする

URL構造の見直し

クロールしやすいWebサイトづくりを行なうためには、URLの構造の見直しをしていきましょう。Googleが発表しているURL構造に関するガイドラインにおいて、URL構造はできる限りシンプルかつ、ユーザーがわかりやすいものにすることが推奨されています。

有効なURLの設定の1つとして、URLにキーワードを含めるがあります。URLにキーワードを含めることで、ページの内容をユーザーが理解しやすくなる効果やSEO評価において効果があるとされています。また、URLが長すぎてしまうとファイル容量が大きくなり、Webサイトの表示速度が落ちてしまうため、ユーザーと検索エンジン両方にとって良い評価を得ることができません。URLの長さは直接はSEOの評価に影響はしませんが、URLはできるだけ簡潔にしておくようにしましょう。シンプルで分かりやすいURL構造にしておくことは、ユーザービリティ・クローラビリティに優れたWebサイトを目指す第一歩と言えるでしょう。

こちらの関連記事もあわせてご覧ください。

内部リンクの最適化

Googleのクローラーはページに設置されているリンク(内部リンク)をたどってページをクロールし、インデックスします。そのため、どこからもリンクの貼られていないページは認識することができません。また内部リンクが少なく「重要度が低い」と判断されると、クロールの巡回頻度が下がってしまい、古い状態のままキャッシュが更新されないというケースもあります。

適切な内部リンクの設置を行い、クロールしやすい状態にしておくことが大切です。内部リンクはクローラーにページを発見されやすくするため以外にもSEOの評価において効果があります。内部リンクを最適化する例としては、関連性の高い記事のリンクを設けることや、分かりやすいリンク名(アンカーテキスト)にするなどが挙げられます。その他にも正しい内部リンク設置方法については下記記事をご覧ください。

パンくずリストの設定

パンくずリストとは、Webページを閲覧しているユーザーに「今、自分が見ているページがWebサイト内のどこに位置するか」を知らせるための機能です。ユーザーがWebサイトを見やすくなることだけでなく、検索エンジンがWebサイトを認識することにも役立ちます。パンくずリストがあることによって検索エンジンがWebサイトの全体像を把握しやすくなり、正しくページを評価してもらうことに繋がるためあらかじめ設定を行っておきましょう。

パンくずリストについて詳しくはこちらをご覧ください。

インデックス制御

質の低い記事がある場合、GoogleからWebサイト全体の評価が下がってしまう可能性があります。そのため、そのようなWebサイト内の質の低い記事は検索エンジンにインデックスさせないようにしておくことが大切です。重複コンテンツや、コピーコンテンツ、情報量の少ないページ、HTMLWebサイトマップページ、エラーページにはnoindexタグを設定することで、インデックスされないようにブロックしておきましょう。

詳しいnoindexタグの設定方法についてはこちらをご覧ください。

ファイルサイズを減らす

クローラーは、巡回する際にテキスト・画像・動画などの情報を収集します。画像やCSS、JavaSriptといったファイルによって容量が重くなっていると、クローラーの負荷がかかってしまい、巡回するページが減ってしまう可能性があります。また、ファイルサイズはページの表示速度にも影響します。ページの表示速度は、ランキングを決定するシグナルの1つでもあるため、ファイルサイズを減らし表示速度の最適化を行っておきましょう。

サーバーを最適化する

正しいHTTPステータスコードを返す

HTTPステータスコードとは、Webブラウザ、またはクローラーがサーバーにアクセスした際に返されるレスポンスのことで、ページが存在しない場合には404のステータスコードが返されます。HTTPステータスコードを返していないと、低品質のコンテンツと認識されてしまったり、巡回してほしいページに訪れてもらえなかったりする可能性があります。検索エンジンのクローラーが正しく判断できるようにするためにも、正しいHTTPステータスコードを返しておきましょう。

またエラーページに訪れたユーザーに対して、デフォルトのNot Foundのみが表示されたページを出すと、別Webサイトへ移動してしまう可能性が高いです。そこでWebサイトの離脱を最小限に抑えるために、オリジナルのエラーページを作ることにより、グローバルナビや別コンテンツの情報への導線をつくっておくことが大切です。こちらの関連記事もあわせてご覧ください。

外部からの被リンクを獲得する

クローラビリティを向上する方法として、外部からの被リンクを獲得することも効果的です。外部からの被リンクとは、外部のWebサイトから自社のWebサイトへのリンクのことを指します。既述したようにクローラーは、リンクをたどってページをクロールしインデックスしていくので、外部のWebサイトにリンクを貼られていると自社のWebサイトに来てもらいやすくなります。また外部からリンクされているWebサイトは「他者が選んだコンテンツ」として検索エンジンに認識されるため、評価が高くなりやすくなっています。しかし、被リンク数が重要だからと、例えばリンク集Webサイトにリンクを貼ってもらうといった、低品質なWebサイトからのリンクばかりを獲得していた場合、Googleからペナルティを受けたりWebサイトの評価が下がってしまったりする可能性があります。現在は被リンクの「数」ではなく、被リンクの「質」や「関連性」が重要視されているため、検索エンジンから評価される「良い被リンク」を得ることを意識していきましょう。

被リンク対策について詳しくはこちらでご紹介しています。やってはいけない被リンクのパターンについても説明していますので、是非ご覧ください。

クローラーがWebサイトに来ているか確認する方法:Googleサーチコンソール

では、実際に自社のページがクロールされているのかどうか確認してみましょう。クロールされているかどうかはGoogleサーチコンソールで確認できます。GoogleサーチコンソールはGoogleが提供している無料SEO解析ツールです。以下で詳しく方法を解説します。

Webサイトのクローラー巡回状況を確認する

まずはWebサイト全体のクロールの統計情報を確認しましょう。

 

①Google Search Consoleにログイン
②左メニュー欄の「設定」をクリック
③「設定」画面にある「レポートを開く」をクリック
④「クロールの統計情報」が表示される

「クロールの統計情報」では3つのグラフ情報から過去90日間のクロール活動状況を確認することができます。3つのグラフ情報については以下になります。

・クロールリクエストの合計数
1日当たりのクロールされたページ数

・合計ダウンロードサイズ(バイト)
クロールリクエストをしてWebサイトをクロールするときに必要なダウンロードしたファイルサイズ

・平均応答時間(ミリ秒)
GoogleがWebサイトのページをクロールリクエストするときの平均応答時間

各ページの最新のクロール日を確認する

Googleサーチコンソールでは、各ページの最新のクロール日を確認することもできます。より多くのユーザーに見てもらいたいページがあれば、該当ページが最後にいつクロールされたかチェックしてみましょう。

①Google Search Consoleにログイン
②左メニュー欄の「URL検査」をクリック
③クロール日を確認したいページのURLを入力
④「ページのインデックス登録」の左矢印をクリック
⑤前回のクロール日(最新のクロール日)が確認できる

Google Search Consoleの使い方について詳しくはこちらをご覧ください。

まとめ:クローラビリティの向上はSEOにおいて重要

クローラビリティの改善方法や確認方法をご紹介していきました。クローラビリティなWebサイトを作ることは、SEOの観点からWebサイトの順位を上げていく為に非常に重要な項目の1つです。まずは自社のWebサイトがしっかりとクロールされているのかを確認し、クローラビリティを向上できるような改善を行っていきましょう。

こちらの関連記事もあわせてご覧ください。

株式会社PLAN-Bについて
SEO対策やインターネット広告運用などデジタルマーケティング全般を支援しています。マーケティングパートナーとして、お客様の課題や目標に合わせた最適な施策をご提案し、「ビジネスの拡大」に貢献します。

■SEOサービスについて
SEOコンサルティング
5,200社を超える支援実績に基づき、単なるSEO会社ではなく、SEOに強いマーケティングカンパニーとして、お客様の事業貢献に向き合います。

②SEOツール「SEARCH WRITE
「SEARCH WRITE」は、知識を問わず使いやすいSEOツールです。SEOで必要な分析から施策実行・成果振り返りまでが簡単に行える設計になっています。

■その他
関連するサービスとしてWebサイト制作記事制作なども承っております。

成果に直結する、オウンドメディア立ち上げサービス