Googleは検索結果（AI Overviewsを含む）のスクレイピング対策を強化しました。
1月16日ごろから報告が相次いでいた、順位計測ツールやスクレイピングツールで計測ができないなどの問題は、Googleの仕様変更が原因です。
この件について、SEOのエキスパートである渡辺隆広氏や鈴木謙一氏も、この事象が起きた直後に記事を出していますので、そちらも併せてご確認ください。
今回の仕様変更により、Googleは検索サービス利用時に「JavaScript」が有効であることを求めるようになり、JavaScriptが有効でない場合には検索結果を返さなくなりました。
そのため、検索結果を自動的にスクレイピングしたり順位取得したりするツールのうち、JavaScriptを実行しないものは検索結果を取得できなくなっています。
1月27日現在では、Googleの仕様変更に合わせて改修を完了させたツールベンダーもあり、復旧しているものが多数です。
一方で、日本で人気のある「GRC」など一部ツールでは未だ復旧を確認できていません。
SEO担当者やWeb担当者は、業務上このような順位計測ツールを利用されている方も多いと思いますので、この件についてまとめます。
目次
JavaScriptを要求する仕様に変更
今回の仕様変更により、Google検索を利用する際にJavaScriptを有効にすることが必須になりました。
現在、botなどを利用して JavaScript が無効な状態で検索をすると、次のように「検索を続行するには、JavaScript を有効にしてください」というメッセージが表示されるようです。
引用：Google検索ランキングチェックツールが機能しなくなる、原因はJavaScriptの実行が必要になったため – 海外SEO情報ブログ
Googleの広報担当者は、米ニュースサイト TechCrunch に対して次のように説明しています。
JavaScript を有効にすると、ボットや進化する不正行為やスパムから当社のサービスとユーザーをより適切に保護できるようになり、最も関連性の高い最新の情報を提供できるようになります。
また、JavaScriptを無効にした検索は全体の「0.1% 未満」ではあるものの、Google検索全体の規模からすると決して小さくない数字とも説明されています。
Google の広報担当者は TechCrunch に対し、平均すると Google での検索のうち JavaScript を無効にしている人が行うのは「0.1% 未満」だと語った。これは Google の規模からすると決して小さい数字ではない。Google は 1 日あたり約 85 億件の検索を処理しているため、Google で検索を行っている何百万人もの人が JavaScript を使用していないと推測できる。
引用：Google begins requiring JavaScript for Google Search | TechCrunch （原文は英語）
この仕様変更の結果、検索結果を自動取得するツールの一部がブロックされるようになりました。
順位取得ツールに影響
Googleがスクレイピング対策を実施した影響により、1月16日ごろから Semrush（SEOツール）や ZipTie.dev（AI Overviewsのモニタリングツール）など、国内外のサードパーティー製ツールで不具合が発生しました。
たとえばGRCでは、1月27日現在も以下のようなエラー表示や計測できない状況が続いており、まだ復旧の目処が立っていないようです。
GRCの公式サイトでは、今も次のようなアナウンス文が掲載されています。
一方でAhrefsやSistrixなど、仕様変更による影響を受けていないツールや、すぐに復旧に至ったツールもあります。
以下、1月27日時点での情報です。
※最新の情報については、各社公式サイトやSNSの情報をご確認ください。
- GRC（Yahoo!の順位は取得可能。参考）
※ただし、上記については1月16日分のデータに欠損が生じているツールもあります。
スクレイピング対策が強化された背景
そもそも、検索順位の確認を目的としたスクレイピング行為はGoogleの「スパムに関するポリシー」に違反する行為です。
こうしたスクレイピング行為は、「機械生成トラフィック（自動生成トラフィック）」に該当し、本来は禁止されています。
機械生成トラフィック（自動生成トラフィックとも呼ばれます）とは、Google に自動生成クエリを送信する行為を指します。ランキングの確認を目的としたスクレイピングや、明示的な許可なく Google 検索に自動アクセスするその他の行為もこれに含まれます。機械生成トラフィックは、リソースを消費し、ユーザーに最適なサービスを提供する妨げとなります。このような行為は、Google のスパムに関するポリシーおよび Google 利用規約に対する違反となります。
その一方で、実質的には多くの企業が検索結果をスクレイピングできる状況にありました。
今回の仕様変更では、こうしたスクレイピングへの対策が強化された形になります。
また、Googleがこのタイミングでスクレイピング対策を強化するに至った背景には、AI導入により増大している負荷の軽減や、LLMによるアクセスからデータを保護する目的があるのではないかとも推測されています。
Ziptieの Tomek Rudzki 氏はLinkedInの投稿で、以下の3つが理由であると指摘しました。
- コスト管理（AI Overviews はより多くのリソースを必要とする）
- 競合他社からLLMシステムを守る
- 一般的なスクレイピング対策
引用：LinkedIn – Tomek Rudzki（原文は英語）
Search Console の表示回数にも影響
スクレイピングによる検索結果の取得が制限されたことにより、一部のクエリやサイトでは Google Search Console で確認できる「表示回数」にも変動が生じています。
実際に弊社が所有するいくつかのWebサイトにおいても、Search Console上で（クリック数はあまり変動せず）表示回数が大幅に減少していることが確認できました。
これは、botによる検索結果の表示がブロックされたためです。
つまり「表示回数」には、スクレイピングによるインプレッションも含まれており、実際のユーザーによるアクセスよりも多く集計されていたということになります。
株式会社JADEの長山氏や株式会社コンテンシャルの柏崎氏も、Xにて検索ボリュームや表示回数に言及しています。
1月16日付近の数値変動には、この件も関与していることに注意が必要です。
今回の事象を経て認識しておくべきこと
機械生成トラフィックが禁止されている以上、今後もGoogleの仕様変更により今回のような事象が起きる可能性は否定できません。
サードパーティーのツールを利用する場合、こうしたリスクも許容した上で、順位取得ツールは利用する必要があります。
また、順位取得においてどのツールを選択するかも重要です。
DemandSphere社は、SERPのデータ分析ツール（検索順位取得ツール）を選ぶときに考慮すべきポイントとして、以下の3点を挙げています。
- ベンダーの復旧スピードはどの程度か？
- ベンダーと顧客はコミュニケーション可能か？
- 最新のフェッチングやスクレイピング技術を有しているか？
また、そうした技術を実装できるアーキテクチャかどうか
渡辺隆広氏も上記3点を引用して、SEOの専門家としての見解を述べているので、こちらも参考にしてみてください。
参考：Google、検索結果のスクレイピングツール対策を強化、順位取得ツールなどに影響 – SEMリサーチ
まとめ
Googleのスクレイピング対策強化と順位取得ツールへの影響についてお伝えしました。
GRCでのエラーや、Search Consoleでの急な表示回数の減少など、原因がわからずにお困りの方がいましたら、ぜひこの記事を共有していただけますと幸いです。
また、エクスコアでは、SEOコンサルティングサービスを提供しております。SEOのお悩みはお気軽に弊社にご相談ください。
株式会社エクスコアのコンテンツマーケター・ライター。
1996年生まれ。大学で言語学専攻を卒業したのち、エクスコアに入社。2020年からオウンドメディア「Webma」の運営に従事し、コンテンツ制作・編集・SEO業務に携わる。累計100記事以上を執筆し、PV数・CV数400%超成長に貢献。
