Googleがスクレイピング対策を強化。順位取得ツールに影響【多くは復旧済み】 -webma-

Googleは検索結果（AI Overviewsを含む）のスクレイピング対策を強化しました。

1月16日ごろから報告が相次いでいた、順位計測ツールやスクレイピングツールで計測ができないなどの問題は、Googleの仕様変更が原因です。

この件について、SEOのエキスパートである渡辺隆広氏や鈴木謙一氏も、この事象が起きた直後に記事を出していますので、そちらも併せてご確認ください。

今回の仕様変更により、Googleは検索サービス利用時に「JavaScript」が有効であることを求めるようになり、JavaScriptが有効でない場合には検索結果を返さなくなりました。

そのため、検索結果を自動的にスクレイピングしたり順位取得したりするツールのうち、JavaScriptを実行しないものは検索結果を取得できなくなっています。

1月27日現在では、Googleの仕様変更に合わせて改修を完了させたツールベンダーもあり、復旧しているものが多数です。

一方で、日本で人気のある「GRC」など一部ツールでは未だ復旧を確認できていません。

SEO担当者やWeb担当者は、業務上このような順位計測ツールを利用されている方も多いと思いますので、この件についてまとめます。

JavaScriptを要求する仕様に変更

今回の仕様変更により、Google検索を利用する際にJavaScriptを有効にすることが必須になりました。

現在、botなどを利用して JavaScript が無効な状態で検索をすると、次のように「検索を続行するには、JavaScript を有効にしてください」というメッセージが表示されるようです。

引用：Google検索ランキングチェックツールが機能しなくなる、原因はJavaScriptの実行が必要になったため – 海外SEO情報ブログ

Googleの広報担当者は、米ニュースサイト TechCrunch に対して次のように説明しています。

JavaScript を有効にすると、ボットや進化する不正行為やスパムから当社のサービスとユーザーをより適切に保護できるようになり、最も関連性の高い最新の情報を提供できるようになります。

また、JavaScriptを無効にした検索は全体の「0.1% 未満」ではあるものの、Google検索全体の規模からすると決して小さくない数字とも説明されています。

Google の広報担当者は TechCrunch に対し、平均すると Google での検索のうち JavaScript を無効にしている人が行うのは「0.1% 未満」だと語った。これは Google の規模からすると決して小さい数字ではない。Google は 1 日あたり約 85 億件の検索を処理しているため、Google で検索を行っている何百万人もの人が JavaScript を使用していないと推測できる。
引用：Google begins requiring JavaScript for Google Search | TechCrunch （原文は英語）

この仕様変更の結果、検索結果を自動取得するツールの一部がブロックされるようになりました。

順位取得ツールに影響

Googleがスクレイピング対策を実施した影響により、1月16日ごろから Semrush（SEOツール）や ZipTie.dev（AI Overviewsのモニタリングツール）など、国内外のサードパーティー製ツールで不具合が発生しました。

たとえばGRCでは、1月27日現在も以下のようなエラー表示や計測できない状況が続いており、まだ復旧の目処が立っていないようです。

GRCが全部エラーでk順位とれなくなっていますね。
どうやらGoogle側でSERPsのスクレイピングを弾く設定を入れたみたいです。
おそらく他の順位取得ツールをとなれないではないでしょうか。これはSEOコンサルからすると致命的ですね。… pic.twitter.com/rBQq4OTiO0
— 鈴木よしまさ@マケステップ代表-SEO特化スクール (@Yoshima_manga) January 17, 2025

GRCの公式サイトでは、今も次のようなアナウンス文が掲載されています。

引用：ライセンスについて – SEOツールラボ

一方でAhrefsやSistrixなど、仕様変更による影響を受けていないツールや、すぐに復旧に至ったツールもあります。

以下、1月27日時点での情報です。

※最新の情報については、各社公式サイトやSNSの情報をご確認ください。

現在も復旧せず

GRC（Yahoo!の順位は取得可能。参考）

復旧済み

Semrush（参考）
Similarweb（参考）
DemandSphere（参考）
ZipTie.dev（参考）
GMO順位チェッカー（参考）

※ただし、上記については1月16日分のデータに欠損が生じているツールもあります。

影響なし、正常に稼働

Advanced Web Ranking（参考）
Ahrefs（参考）
Sistrix（参考）

スクレイピング対策が強化された背景

そもそも、検索順位の確認を目的としたスクレイピング行為はGoogleの「スパムに関するポリシー」に違反する行為です。

こうしたスクレイピング行為は、「機械生成トラフィック（自動生成トラフィック）」に該当し、本来は禁止されています。

機械生成トラフィック（自動生成トラフィックとも呼ばれます）とは、Google に自動生成クエリを送信する行為を指します。ランキングの確認を目的としたスクレイピングや、明示的な許可なく Google 検索に自動アクセスするその他の行為もこれに含まれます。機械生成トラフィックは、リソースを消費し、ユーザーに最適なサービスを提供する妨げとなります。このような行為は、Google のスパムに関するポリシーおよび Google 利用規約に対する違反となります。
引用：Google ウェブ検索のスパムに関するポリシー | Google 検索セントラル

その一方で、実質的には多くの企業が検索結果をスクレイピングできる状況にありました。

今回の仕様変更では、こうしたスクレイピングへの対策が強化された形になります。

また、Googleがこのタイミングでスクレイピング対策を強化するに至った背景には、AI導入により増大している負荷の軽減や、LLMによるアクセスからデータを保護する目的があるのではないかとも推測されています。

Ziptieの Tomek Rudzki 氏はLinkedInの投稿で、以下の3つが理由であると指摘しました。

コスト管理（AI Overviews はより多くのリソースを必要とする）
競合他社からLLMシステムを守る
一般的なスクレイピング対策
引用：LinkedIn – Tomek Rudzki（原文は英語）

Search Console の表示回数にも影響

スクレイピングによる検索結果の取得が制限されたことにより、一部のクエリやサイトでは Google Search Console で確認できる「表示回数」にも変動が生じています。

実際に弊社が所有するいくつかのWebサイトにおいても、Search Console上で（クリック数はあまり変動せず）表示回数が大幅に減少していることが確認できました。

これは、botによる検索結果の表示がブロックされたためです。

つまり「表示回数」には、スクレイピングによるインプレッションも含まれており、実際のユーザーによるアクセスよりも多く集計されていたということになります。

株式会社JADEの長山氏や株式会社コンテンシャルの柏崎氏も、Xにて検索ボリュームや表示回数に言及しています。

Googleがスクレイパーをブロックし出したことでインプレッションが下がったクエリが多くある、ということは、特に既知のクエリのボリュームに関してはマッチポンプで増えてたってことだね
— Kazushi Nagayama🕊️長山一石 (@KazushiNagayama) January 22, 2025

スクレイピング防止の強化直後から、Google様はだいぶ負荷を減らせたようで何よりです☺️
※クリック数ほぼ変わらず https://t.co/DGEBJ80o2W pic.twitter.com/Jzi2cx2ymA
— 柏崎剛 | SEO対策 (@tkashiwazaki2) January 19, 2025

1月16日付近の数値変動には、この件も関与していることに注意が必要です。