あなたのメディア、実は不正SEO「クローキング」になっていませんか？

検索エンジンが登場して以来、自分のサイトを上位に掲載するためにはどんな手段もいとわない、といった人たちが後を絶ちません。

かつてブラックハットSEOと総称される、検索エンジンのガイドラインを欺いて検索順位をあげる不正な手法が流行りました。

検索エンジンがまだ精度の低かった時代、ガイドラインの穴を突いたブラックハットSEOは有効でしたが、現在は無効化、もしくはペナルティの対象になっています。そのためSEO対策でブラックハットSEOの手法を積極的にとる人はもはやいないでしょう。

しかし、知識がなく意図せぬ形で、ブラックハットSEOの手法をサイトに施している場合も存在します。その可能性が高いと考えられるのが「クローキング」です。今回はそんなクローキングについてご説明します。

さらに、その他優先的に必要な内部対策についてはこちらの資料をご覧いただくとわかりやすいかと思いますので、ぜひ参考にしてみてください！

クローキングとは

「クローキング」はステルスやファントムとも呼ばれる、ブラックハットSEOの一つです。Webサイトに細工をして、検索エンジンとユーザーに別々のコンテンツを出し分ける手法のことを言います。

仕組みを簡単に説明します。まずユーザー向けのHTMLページとは別に、検索エンジン向けのSEO対策を施したHTMLページを用意します。次にアクセス元が“ユーザーのIPアドレス”か“検索エンジン（Googlebot）”かを、ユーザーエージェント(User-Agent)を用いて判別し、ユーザーからのアクセスならばユーザー向けHTMLを、検索エンジンからのアクセスならば検索エンジン向けのHTMLを読み込ませるよう設定します。

 クローキングの例

クローキングの例としては、次のようなものが挙げられます。

• 検索エンジンには HTML テキストのページを表示し、人間のユーザーには画像や Flash のページを表示する。
• ページをリクエストしたUser-agentが人間のユーザーではなく検索エンジンである場合にのみ、ページにテキストやキーワードを挿入する。

Googleサーチコンソールヘルプ“クローキング”より

なぜかつてクローキングがSEO施策になっていたのか

クローキングはSEO対策として過去に横行していました。というのも、検索エンジンが好む表示とユーザーが好む表示は違うからです。

ユーザーはページ内に画像やFlashなど、装飾が多く見栄えの良いサイトを好む傾向があります。しかし検索エンジンにとっては、そうしたサイトにあまり好ましい評価をしません。なぜなら、検索エンジンの評価するサイトはテキスト中心や、HTML構造がシンプルなサイトだからです。ユーザー好みで見栄えがいいサイトは複雑な構造になるため、検索エンジンに弾かれて、順位が上がらなくなる可能性があります。そこでクローキングが重宝したのです。検索エンジンにはシンプルに見せて評価をもらい、ページの順位を上げます。しかし実際のユーザーには、本当に見せたいサイトを表示するのです。このように、ユーザーへ行いたい表示が検索エンジンには適していない時、クローキングは大変便利なSEO施策とされていたのです。

意図せぬクローキングに要注意！

現在、クローキングはすべてGoogleのウェブマスター向けガイドライン（品質に関するガイドライン）違反と見なされています。発覚した場合、サイトはGoogleインデックスから削除されることがあります。しかし知識不足からクローキングだと意識せずにサイトを作成し、違反を受ける例は増えてきていると言います。どのようなものが検索エンジンにクローキングだとみなされてしまうのでしょうか。

１.デバイスによるページの振り分け

スマートフォン（以下、スマホ）が普及した結果、スマホ用のページを作成する必要性が高まってきました。スマホ用のページを持っている場合、User-Agentを使ってデバイスによる振り分けの設定をしているでしょう。同じURLでPC用とスマホ用のページ情報が同じであれば問題ありませんが、異なっている場合、クローキングと認識される可能性があります。通常、ウェブサイトは Googlebot Desktop（PC向けサイト）と Googlebot Mobile（スマホ向けサイト）の両方でクロールされています。PCユーザーとモバイルユーザーに別々のページを見せたい場合は、GooglebotとGooglebot-Mobileにもそれぞれ同じように対応するページを見せていれば、クローキングには該当しません。確実にクローキングとみなされることを防ぎたければ、スマホ用にURLを作成すると良いでしょう。

２.会員制のページ

会員制サイトはユーザーがIDとパスワードを入力し、ログインすることで閲覧できるページがあります。このようなページは検索エンジンに対して隠されているように見えますが、クローキングにはなりません。しかし、ログインしないと見れないはずのページが検索エンジンにインデックスされていることがあります。アクセス数を伸ばすために、運営者がログイン後の内容を検索エンジンに認識させている場合です。

例えばネットショップ系で、ログインしなければ商品の価格や詳細が見れない、という設定がされているサイトがあるとします。しかしユーザーは最初から商品の詳細について検索をかけてくる場合があるかもしれません。確実にサイトへ誘導したいので、サイト経営者は検索順位を上げるために、検索エンジンには商品の詳細についての情報を教えます。そうすることで、ユーザーの検索にサイトが引っかかりやすくなるだろうと考えるからです。実際は、クリックしてもユーザーは直接情報にアクセスすることはできず、ログイン画面に飛ぶことになります。すると「検索エンジンとユーザーに別々の表示がされている」という判断をされ、クローキングとみなされてしまいます。

３.ハッキングされている

自分では何もしていないのに、ハッキングによってクローキングが施されている場合もあります。ハッカーがページをハッキングする目的は、利益になるからです。一般に、ハッカーはハッキングしたページ上のリンクを第三者に売ることで収益を得ています。また、ハッキングしたサイトから別のサイトへユーザーをリダイレクトすることでも収益を得ます。ハッキングされたページは、一見では元のサイトと区別がつきにくいのが問題です。そのため、自分のブログがいつも通りに表示されていても裏では改ざんされており、検索エンジンに対して評価の下がる表示をしている、なんてことがあります。どれだけ自分が頑張っても検索順位が上がらなかったり、最悪の場合、クローキングとみなされて削除されてはたまりませんよね……。

ハッキングの場合は、Googleの提供するSearch Console（旧ウェブマスターツール）の中にある「Fetch as Google」という機能を使って、まずハッキング・改ざんされているか確認することができます。やり方についてはこちらのリンクを参照してください。

Googleサーチコンソールヘルプ“キーワードとリンクのクローキングによるハッキングを解決する”より

クローキングを見破るには？

はっきりクローキングと意識していなくても、自身のサイトがガイドラインを気づかないうちに破っている可能性があります。このようなクローキングを見破る方法はあるのでしょうか？

クローキングは検索エンジンに対して違うページを見せる仕組みのため、それを確実に発見できるのは検索エンジンだけと言えます。しかしユーザー側も、完全ではありませんがクローキングを見破る方法はいくつかあるのでご紹介します。

検索エンジンの「キャッシュ」を使う

検索エンジンはクローラーが取得した内容を「キャッシュ」として保存しています。リンクをクリックする前にそのキャッシュをチェックし、異なるページが表示されないかどうか、確認することができます。

ユーザーエージェント名を変更する

Firefoxなどユーザーエージェントを変更できる拡張機能をインストールしたブラウザで、ユーザーエージェント名をGooglebotなどに変え、JavaScriptとクッキーを無効にしてからサイト内を閲覧し、通常とは異なる表示がないかを確認することでクローキングされていないかどうかを確認することができます。

まとめ

現在はGoogleの精度が上がり、意図的にクローキングしたサイトはすぐにペナルティを受けるようになりました。しかし知識不足からクローキングに該当する施策をとっていたり、ハッキングによりクローキングの状態にさせられてしまう状況も起こっています。検索順位はあげたいものですが、不正なSEO施策を行なっていないか、自分のサイトを定期的にチェックすると良いでしょう。