Domain 79 / 225

Googlebot のクロール率は緊急時のみ 503 / 429 で一時的に下げる

クロール率の要点

Googlebot のクロール率は通常 Google が自動最適化するが、サーバー過負荷時には 503 / 429 を返すことで一時的にクロール率を下げられる。Search Console の旧「クロール頻度」設定は廃止。長期的にはサーバー強化やキャッシュ最適化が推奨

なぜこれを学ぶか

Googlebot のクロールが原因でサーバが過負荷になることがある。特に大規模 EC サイト / 動的生成サイト / 低スペックサーバで発生しやすく、その時の正しい対処法を知らないとサイトダウンに繋がる。

中規模以上の動的サイト、サーバ運用担当者で必須。

学ばないと起きること

よくある事故	被害
robots.txt で全 Disallow	検索結果から全ページ消失
Search Console 旧設定（既に廃止）に頼る	設定が反映されず過負荷続く
過負荷時に 200 を返し続ける	サーバダウン → SEO 大打撃

学ぶメリット

サーバ過負荷時の正しい一時対応ができる
長期的な改善方針が立てられる
商談で「503 / 429 でクロール率調整」を即答

仕組み

Googlebot のクロール率自動調整

Google は通常自動で最適化:

サーバ応答時間を測定
レスポンスコードを観察
応答が遅ければクロール頻度を下げる

通常はこの自動調整に任せれば良い。

緊急時の手動低減

公式: 30 分〜数時間以内にクロール頻度を下げる必要がある場合のみ。

方法	効果
503 Service Unavailable	一時的に過負荷を伝え、クロール延期
429 Too Many Requests	レート制限を伝え、クロール延期
Retry-After ヘッダ	再試行までの秒数指定

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

「1 時間後に再試行してください」の意味。

Search Console の旧設定（廃止）

公式: 「クロール頻度の手動設定」機能は 2024 年に廃止。今は自動調整のみ。

キー概念

503 / 429 を長期間使い続けない

公式: 数日以内が目安。長期間 503 を返し続けると Google が「サイト消失」と判定し、インデックスから削除する。

長期的な対策

サーバ過負荷の根本解決:

対策	効果
サーバ増強（CPU / メモリ / 帯域）	物理的な処理能力
CDN（Cloudflare / Fastly）導入	静的アセットをエッジ配信
キャッシュ最適化	動的生成回数削減
robots.txt で重い URL を Disallow	不要なクロール削減
サイトマップで重要 URL を指定	クロール優先度誘導

よくある誤解

よくある誤解	実際のところ	出典
Search Console でクロール率を下げられる	旧設定は 2024 年廃止	クロール率低減ガイド
503 を返し続けても OK	数日以内、長期はインデックス削除リスク	同上
robots.txt 全 Disallow が安全な手段	検索結果から全消失する	同上

実務での適用

サーバ過負荷時の緊急対応

重い URL に 503 + Retry-After を返す
数時間〜数日でサーバ強化 / CDN 導入
復旧後は通常 200 に戻す

通常運用での予防

CDN / キャッシュで Googlebot リクエストの大半を吸収
サーバ負荷モニタリング
Search Console「クロールの統計」を週次確認

トラブル別の対処

症状	確認すべきこと
サーバ過負荷で Google からのアクセスが多い	503 + Retry-After で一時調整

公式ソース

自己テスト

Q1. Googlebot のクロール率を一時的に下げる方法は？

503 Service Unavailable または 429 Too Many Requests と Retry-After ヘッダを返す

Q2. Search Console の手動クロール頻度設定は？

2024 年に廃止。現在は自動調整のみ

Q3. 503 を返し続けるとどうなる？

数日以内が目安。長期間続けると Google がサイト消失と判定しインデックス削除

これらの内容を採点付きで挑戦したい場合は、本ドメインのプロ試験で 5 問形式で確認できる。