Googleクローラーのドキュメントを再編成– 先週の最新SEO情報まとめ（2024/09/16～)

AI Overviewで引用されるドメインの傾向やオーガニック順位との関係性を調査

AI Overview（以下、AIO）で引用されるドメインの傾向やオーガニック順位との関係性について、調査した結果が公開されました。調査したクエリの85％が英語とのことですが、この調査結果では次のことがわかりました。

• AIOで多く引用されているソースTOP3は、youtube.com、wikipedia.com、linkedin.com

• AIOの約99%は引用元を示している（逆に1％は引用なし、例えば「1.5 は整数ですか？」などの単純なクエリの場合）

• AIOで引用されているページと、同じクエリで上位にランクされているページは高い割合で重複している

調査結果を見ると、やはりドメインの強さが影響しているように思えます。詳細を知りたい方は、以下の記事をご覧になってみてください。

参考：AI On Innovation: Analysis Of +546,000 AI Overviews

クローラのドキュメントにコンテンツエンコーディング情報を追加

Googleは、公式ドキュメントにコンテンツエンコーディングに関する情報を追加しました。コンテンツエンコーディングとは、ウェブサーバーにデータを送信する際に、データサイズを圧縮するための技術です。

追加された情報は次の通りです。

Google’s crawlers and fetchers support the following content encodings (compressions): gzip, deflate, and Brotli (br). The content encodings supported by each Google user agent is advertised in the Accept-Encoding header of each request they make. For example, Accept-Encoding: gzip, deflate, br.

【日本語訳】

Googleのクローラとフェッチャーは、以下のコンテンツエンコーディング（圧縮）をサポートしています：gzip、deflate、Brotli（br）。各Googleユーザエージェントがサポートするコンテントエンコーディングは、各リクエストの Accept-Encoding ヘッダーで通知されます。例えば、Accept-Encoding: gzip, deflate, brというように。

出典：Overview of Google crawlers and fetchers (user agents)｜Google Search Central

これは過去にブログで取り上げた内容について、ドキュメントに記載がなかったために追加されたものであり、動作に変更はありません。（Web担当者が何かする必要はありません）

Googleクローラーとフェッチャーのドキュメントを再編成

クローラーのドキュメントについて、構成に変更が加えられました。ドキュメントが長くなったことで、一部のトピックを独立したページに移動させています。また、新たにrobots.txtの記述例や、robots.txtによってブロックした場合の影響範囲（Discover、画像検索…etc）が追記されました。

独立したページは次の3つです。

Common crawlers	The common crawlers used for Google’s products (such as Googlebot). They always respect robots.txt rules for automatic crawls.
Special-case crawlers	Special-case crawlers are similar to common crawlers, however are used by specific products where there’s an agreement between the crawled site and the Google product about the crawl process. For example, AdsBot ignores the global robots.txt user agent (*) with the ad publisher’s permission.
User-triggered fetchers	User-triggered fetchers are part of tools and product functions where the end user triggers a fetch. For example, Google Site Verifier acts on the request of a user.

【日本語訳】

一般的なクローラー	Googleの製品（Googlebotなど）に使用される一般的なクローラー。robots.txtのルールに従った自動クロールを行います。
特殊なケースのクローラー	一般的なクローラーと似ていますが、クロールされるサイトとGoogle製品の間でクロールプロセスに関する合意がある場合に、特定の製品で使用されます。例えば、AdsBotは、広告パブリッシャーの許可を得て、グローバルrobots.txtユーザーエージェントを無視します。
ユーザートリガーフェッチャー	ユーザートリガーフェッチャーとは、ユーザーが操作してフェッチを実行するツールやプロダクト機能のことです。例えば、Google Site Verifierは、ユーザーのリクエストに基づいて動作します。

出典：Overview of Google crawlers and fetchers (user agents)｜Google Search Central

※Google Site Verifierとは、Google Search ConsoleをはじめとするGoogleのサービスで、Webサイトの所有権を確認するための仕組みです。

上記のうち、「一般的なクローラー」内のドキュメントに、robots.txtの記述例と影響範囲が追記されています。

記述例は以下の通り。

user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive

また、各クローラーをrobots.txtで制御した場合の影響範囲について、以下の表にまとめました。サーバーに負荷がかかっている場合など、以下を参考にクロールを制御することで、パフォーマンスの最適化を図ることができます。

コアウェブバイタルはそれほど重要ではない？

GoogleのMartin Splitt氏は、Google Search CentralのYouTubeチャンネルにて、「Core Web Vitals は一部の人が考えるほど重要ではない」と述べました。さらに、「重要ではないが無関係というわけではありません。ただし、これらのことに重点を置きすぎないでください」と付け加えています。

ユーザビリティが高まることでよい評価をもたらすことはありますが、サイトが遅すぎるなどの状態でなければ、固執しすぎる必要はないようです。動画では、Webサイトを高速化するヒントも述べられています。気になる方は以下からご覧になってみてください。

動画はこちら：

コアウェブバイタルってそもそもどんなものだっけ…という方は以下の記事も参考になります。

コアウェブバイタルについて分かりやすく解説！各指標や対策方法について

Googleは、Webページのユーザー体験（UX）の向上を目指して、Web Vitalsという概念を導入しています。Web Vitalsとは様々なユーザー体験の指標を包含する概念です。そして、その中でも特に重要なCore…

まとめ

今週のSEOニュースをお届けしました。特にrobots.txtの影響範囲はこれまで記述がなかったものですので、SEO担当者はチェックしておきましょう。

Xアカウントでも日々のSEO最新情報を発信しているので、見逃さないようにフォローしてくださいね。ニュース以外にも有益な海外記事も紹介しています！