クロールバジェット / Crawl Budget

クロールバジェット（Crawl Budget）とは、Googlebot が一定期間内に Web サイトをクロールできるページ数や帯域幅の上限を指す概念です。Google はサイトごとにクロールの時間とリソースを割り当てており、この配分量がクロールバジェットと呼ばれます。大規模サイトでは、限られたクロールバジェットの中で重要なページが優先的にクロールされるよう、不要ページの制御とサイトマップの最適化が不可欠です。

クロールバジェットは「クロール需要（Crawl Demand）」と「クロール容量制限（Crawl Capacity Limit）」の 2 つの要因で構成されています。クロール需要はサイトの規模や更新頻度、コンテンツの品質に基づいて Google が判断する「クロールしたい量」であり、クロール容量制限はサーバーがパフォーマンスに影響を与えずに処理できるクロール量の上限です。

なぜクロールバジェットが重要か

クロールバジェットは、すべてのサイトで問題になるわけではありません。Google 公式ドキュメントでも明記されているとおり、数千ページ以下の小規模サイトではクロールバジェットを意識する必要はほとんどありません。Googlebot は小規模サイトを十分にクロールできるためです。

一方で、以下のようなサイトではクロールバジェットの最適化が SEO の成果を大きく左右します。

クロールバジェットが不足すると、新しく公開した記事や商品ページが Google の検索結果に表示されるまでに想定以上の時間がかかります。SEO の施策を実行しても、そもそもクロールされていなければ効果は発揮されません。

クロールバジェットの構成要素

クロールバジェットを構成する 2 つの要因について、それぞれ詳しく解説します。

クロール需要が高くても、サーバーの応答が遅ければクロール容量制限によってクロール量は制限されます。逆に、サーバーが高速でもコンテンツの品質が低ければクロール需要が下がり、Googlebot の訪問頻度は減少します。

クロールバジェットを浪費する主な原因

クロールバジェットの無駄遣いを特定し、解消することが最適化の第一歩です。

EC サイトでよく見られるのが、カラーやサイズのフィルター組み合わせにより URL が数万件に膨れ上がるケースです。これらの URL がすべてクロール対象になると、本来優先すべき商品ページやカテゴリページのクロールが後回しになります。

クロールバジェットの最適化手法

クロールバジェットを有効活用するための具体的な施策を優先度順に整理します。

不要な URL のクロールをブロックする

robots.txt を活用して、クロールが不要なパスをブロックします。検索結果ページ、印刷用ページ、セッション付き URL などは、Googlebot にクロールさせる必要がありません。ただし、robots.txt によるブロックはインデックスの防止を保証しないため、確実にインデックスから除外したい場合は noindex メタタグと併用します。

サーバー応答速度を改善する

TTFB（Time To First Byte）を 200ms 以下に抑えることで、Googlebot は同じ時間内により多くのページをクロールできるようになります。CDN の導入、HTTP/2 または HTTP/3 の採用、サーバーリソースのスケーリングが有効です。

XML サイトマップを最適化する

サイトマップにはインデックス対象の URL のみを記載し、noindex ページやリダイレクト先の URL は除外します。lastmod の日付は実際の更新日を正確に記載します。不正確な lastmod は Google に無視される原因になります。

内部リンク構造を最適化する

重要なページへの内部リンクを増やし、ホームページから 3 クリック以内でアクセスできる構造にします。クロール深度が浅いページほど Googlebot に優先的にクロールされる傾向があります。

クロールバジェットと AI クローラー

2026 年現在、Web サイトには Googlebot だけでなく、GPTBot や ClaudeBot などの AI クローラーもアクセスしています。AI クローラーのアクセスが増加すると、サーバー負荷が上がり、結果として Googlebot のクロール容量制限に影響する可能性があります。

AI 検索オプトアウトの最新動向でも解説していますが、AI クローラーの管理は robots.txt で行います。AI クローラーを許可するかどうかは、サーバーリソースとの兼ね合いも含めた判断が必要です。

Googlebot のクロールの仕組みを詳しく解説した記事では、IndexNow プロトコルや JavaScript レンダリング対策など、クロール効率をさらに高める実践的な方法を紹介しています。

spotyou での活用

spotyou は AI 記事生成とコンプライアンスチェック、SEO/AEO 最適化を一体で提供するサービスです。生成する記事は構造化データに対応した設計で出力されるため、Googlebot が効率的にコンテンツを理解でき、クロールバジェットの無駄遣いを防ぎます。

また、コンプライアンスチェック機能により情報の正確性を担保し、E-E-A-T の信頼性要件を満たすコンテンツ品質を確保します。品質の高いコンテンツは Google のクロール需要を高め、クロール頻度の向上につながります。

まとめ

• クロールバジェットは Googlebot がサイトをクロールできる量の上限で、クロール需要とクロール容量制限の 2 要因で決まる
• 50 万ページ以上の大規模サイトや URL パラメータが多いサイトで特に重要
• パラメータ URL の制御、リダイレクトチェーンの解消、サーバー応答速度の改善が最適化の基本
• robots.txt と XML サイトマップを適切に設定し、重要なページが優先的にクロールされるようにする
• AI クローラーのアクセス増加がサーバー負荷に影響する点にも注意が必要