悩んでいたことが３分で解決！｜クロールエラー別修正方法

Search Consoleのクロールエラーでは、サイト内のページが削除されてしまっている場合や、サイト内リンクがリンク切れになってしまっているなど、Googlebotがサイトをクロールした際に正しくクロールができなかったページを知る事ができます。

クロールエラーが発生していると、サイトを訪れたユーザーを混乱させてしまったり、ページからの離脱にも繋がる可能性があります。本コラムではクロールエラーの種類とそれぞれの対処方法についてお伝えします。

また、その他優先的に対応すべきSEO内部対策の施策についてはこちらの優先度マップもご活用ください！

クロールエラーのSEO順位への影響

サイトエラーとは、過去90日間Googlebotがサイト全体にアクセスできなかった場合におこるエラーであり、応答に時間が掛かるという場合はサーバーエラーの可能性もあります。サイトエラーに対して、URLエラー自体は順位に影響しないので、基本的にはクロールエラーは対処しなくて良い場合がほとんどです。

ですが、重要なページがエラーになってる場合は対処が必要な可能性があるため、エラーが見られたらURLのチェックが必要でしょう。URLエラーの中で特に多く見られるのは404エラーであり、過去に削除されたURLのエラーとして返している可能性があります。

ただ、これらのエラーを削除しようとツールを用いることがあると思いますが、これが別の問題を引き起こすこともあり得るため、焦って誤った対処をしないように注意が必要です。

このように、404エラーは古いサイトマップに削除されたURLが記載されている場合に起こるエラーであり、Webサイトの評価に関して心配は少ないでしょう。

クロールエラーを確認するには

Search Consoleからクロールエラーを確認するには、「クロールエラー」という項目から見ていきます。サイトエラーとURLエラーの２つのセクションに分けられ、サイトエラーではDNSエラーをチェックすることができます。URLエラーに関しては、PC、スマートフォン、フィーチャーフォンそれぞれのページの状況について確認ができます。

サイトエラーについて

これらの項目に表示されている場合は設定ミスや、大規模なエラーなどを確認する必要があります。こちらの項目でチェックができる内容については以下のとおりとなります。

DNSエラー

こちらのエラーについては、DNSサーバーの停止やDNSルーティングの問題が発生した場合に見られるエラーであり、クローラーがDNSサーバーと通信ができない状況となっています。
これらの解決方法としてはFetch as Googleで接続状況の確認を行ない、httpレスポンスの確認、エラー原因を究明し、改善を進めていくことが必要です。

サーバーエラー

サーバーエラーについては、サーバーとの接続状況が関連して発生するエラーです。主に下記のような原因で見られる現象であり、サーバーへの負荷が高い場合や、設定が誤っている場合に見られます。

robots.txtエラー

クローラーがrobots.txtへアクセスしようとしているが、200や404のエラーが返されておらず、アクセスができない状態の際に起こるエラーです。こちらは、クロールが延期されている状態であり、アクセスできない原因を解決することが必要です。

全てのページへクロールが必要であればrobots.txtファイルをなくすか、ホスティングプロバイダでクローラーの巡回がブロックされていないか確認し、解決しておくことが必要な対処方法となります。

URLエラーについて

URLに問題がある場合に見られるエラーです。クロールされづらい状態であるため、indexされにくい状態になってしまう前に、正規化されたURLへ変更したり、原因に応じて問題の改善をしたりする必要があります。なお、こちらの項目で見られるエラーの内容については以下の通りです。

サーバーエラーについては、タイムアウトやGooglebotをブロックしている状態であり、ソフト404ではサーバーから404の応答が来ていない状態となっています。他にも外部からの誤ったリンク、内部リンクの設置ミスによってページが見つからないこともあります。

対処方法としては、301リダイレクトの設定を行う、自分のページであればページの削除、内部リンクURLの修正をするなどの対処が必要になります。こちらのエラーを表示させないようにするためには、リストにチェックを入れ、「修正済みとする」のリクエストを送信します。

しかし、再度クロールされた際に同じようなエラーが残っていれば、再びURLエラーの項目へ表示されるため、その際はあらためて対処が必要であるといえます。

ステータスコードについての説明

200は正常ですが、他にも404と410、403、500エラーが挙げられます。それぞれ原因や対処方法に違いがあるため、サイトの状況について細かく知るためには必要な情報です。

なお、404と410の違いについては、404はページが見つからない状態であり、410はページ自体がなくなっている状態のことを指します。

404エラー

404エラーは、クローラーがそのURLをクロールできていないことを表していますが、サイト上から削除したページがエラーで検出されている場合は、SearchConsoleのエラーリストにて修正済みとして表示させない、という対処を施すことができます。また、外部からのリンクで修正が必要であれば、301リダイレクトを使用するという方法もあります。

403エラー

サーバーからのアクセス拒否を受けている状態であり、ドメインの設定、アクセス数による制限、パーミッション、.htaccessの設定ミス、サーバーの障害、WAF設定などをチェックする必要があります。

500エラー

.htaccessの設定ミス、CGIプログラムの設定ミス、サーバーへの負荷、閲覧しているパソコンに対応していない、メモリが多くて容量オーバーをしているという原因が挙げられます。使用しているサーバーの容量を増やしたり、管理しているホームページのメモリ量を見直したりなど上記の原因に合わせてチェックを進めておく必要があります。

ソフト404エラー

通常の404エラーとの違いは、ページでは404エラーとして表示されているにもかかわらず、サーバーから404エラーの応答が返されていない状況であることが挙げられます。サイト内検索の検索結果ページにおいて、検索結果が0件の場合にステータスコードが200になっている場合にも、ソフト404エラーが検出される事があります。

このようにエラーによって予測される原因は異なるため、SearchConsoleで表示されているステータスコードに応じて対処を進め、再び正常なクロールが進められるように改善を進めておく必要があります。

間違ったクロールエラーの対処方法

クロールエラーが表示された際に、対処方法をあれこれ考えて手当たり次第対処を進めようとすることもありますが、実は対処を施さなくても問題ない場合もあります。Googleでは定期的にクローラーが活発に行動し、全URLをチェックしていると発表しています。

4年前の古いURLも検出し、エラーとしてSearchConsoleに表示している場合もあり、結果として大量のエラーコードで溢れかえってしまうという例も珍しくありません。なお、上記のような現象が原因でURL削除ツールを誤って使用してしまうケースもありますが、URL削除ツールの正しい使用方法は、外部に流出させたくない情報を掲載したページを公開してしまった場合などであり、本来はクロールエラーの改善のために使用するものではありません。

しかし、焦ってエラーが見られたページをURL削除ツールで消してしまうと、Google公式でも書かれているように、サイトに問題が生じる可能性もあります。新たな問題が発生しないためにもツールを使用する際には注意が必要であるといえます。

不安の元であるクロールエラーですが、これらのURLに関しては自然に削除されるので、検索結果に表示させたくないのであればしばらく待ってみるのも対処方法の1つです。

また、古いドメインを購入した場合でも、上記のようなクロールエラーが見られる場合もあります。再審査リクエストを送っておくことで再度クロールされた際にエラーの改善を把握してもらうことができます。

まとめ

クロールエラーは順位に影響するものではなく、対処しなくても問題がないケースがほとんどです。

ですがクロールエラーが多発しているとユーザーの混乱や離脱に繋がる可能性もあるため、対処が必要なページとそうでないページを見極めながら活用していきましょう。