Domain 85 / 225
クロール問題の診断は Search Console「クロールの統計」から始める
クロール診断 の要点
クロール問題の診断は Search Console「クロールの統計」レポートで応答時間 / レスポンスコード / DNS / 接続エラーをまず確認する。原因別に robots.txt 過剰制限 / サーバ過負荷 / DNS 問題 / SSL 問題などのチェックリストを順次潰す
なぜこれを学ぶか
クロールが正しく行われないと 新規ページがインデックスされない / 古いページが残り続ける。 原因は多岐にわたり、診断の出発点を知らないと迷子になる。
中規模以上のサイト、Search Console を使う担当者で必須。
学ばないと起きること
| よくある事故 | 被害 |
|---|---|
| 新規記事がインデックスされない原因不明 | SEO 機会損失が続く |
| サーバ問題に気付かず流入低下 | 機会損失数百万円 |
| robots.txt のミスで全クロール拒否 | サイト全体が消失 |
学ぶメリット
- クロール問題の診断フローが体系化
- Search Console「クロールの統計」を使いこなす
- 商談で「クロールエラー診断手順」を即答
仕組み
Search Console「クロールの統計」レポート
クロール状況を可視化:
| 指標 | 内容 |
|---|---|
| クロール リクエスト総数 | 過去 90 日 |
| ダウンロード サイズ | データ転送量 |
| 平均応答時間 | サーバ応答速度 |
| レスポンス別 | 200 / 301 / 404 / 503 / 5xx |
| ファイル形式別 | HTML / 画像 / JS / CSS |
| Googlebot タイプ別 | Smartphone / Desktop / Image / Video |
Settings → Crawl stats で開く。
よくあるクロールエラー
| エラー | 原因 |
|---|---|
| Server error (5xx) | サーバ過負荷 / プログラムバグ |
| Not found (404) | 削除ページ / リンク切れ |
| Forbidden (403) | アクセス制限 / .htaccess |
| Redirect error | リダイレクトループ / 30+ ホップ |
| DNS error | DNS 設定 / ドメイン期限切れ |
| Connection error | ファイアウォール / SSL 証明書 |
| Robots.txt fetch error | robots.txt が 5xx |
キー概念
診断フロー
Step 1: Search Console で症状確認
- クロールの統計 → エラー急増の有無
- ページ → インデックス → エラー一覧
- セキュリティと手動の対策
Step 2: robots.txt チェック
https://example.com/robots.txt
- Disallow: / になっていないか
- Sitemap: ディレクティブ
- crawl-delay 過剰設定
Step 3: DNS / サーバ確認
# DNS 確認
dig example.com
# サーバ応答確認
curl -I https://example.com
# HTTP/2 / HTTPS 確認
curl -v https://example.com
Step 4: ファイアウォール / Bot ブロック
Googlebot を誤ってブロックしていないか:
# Googlebot IP 一覧（公式 JSON）
curl https://developers.google.com/search/apis/ipranges/googlebot.json
Step 5: URL 検査ツール
特定 URL を手動検査:
- Search Console → URL 検査 → ライブテスト
- レンダリング結果 / リソース読み込み確認
よくある誤解
| よくある誤解 | 実際のところ | 出典 |
|---|---|---|
| クロールエラーはすぐに修正必須 | 一時的エラーは Google が再試行 | クロールエラー対処 |
| 404 が多いと SEO ペナルティ | 404 自体はペナルティでない、内部リンク切れに注意 | 同上 |
| User-Agent 偽装で Googlebot を確認できる | DNS 逆引きで検証必須 | 同上 |
実務での適用
月次クロール監視
- クロールの統計を月次確認
- エラー急増を検知
- URL 検査ツールでサンプル確認
- 必要に応じてサーバ / robots.txt 修正
Googlebot の正当性検証
# IP の DNS 逆引き
host 66.249.66.1
# → crawl-66-249-66-1.googlebot.com
# 正引き確認
host crawl-66-249-66-1.googlebot.com
# → 66.249.66.1
両方一致なら正規 Googlebot。
トラブル別の対処
| 症状 | 確認すべきこと |
|---|---|
| 5xx エラー急増 | サーバログ / DB / 過負荷状況 |
| クロール急減 | robots.txt / DNS / SSL 証明書 |
| 一部ページのみインデックスされない | URL 検査でレンダリング確認 |
公式ソース
自己テスト
Q1. クロール問題の診断出発点は？
Search Console「クロールの統計」レポート。応答時間 / レスポンスコード / エラー別を確認
Q2. Googlebot の正当性検証方法は？
IP の DNS 逆引き → 正引きで一致確認、または公式 IP JSON との照合
Q3. robots.txt が 5xx を返すとどうなる？
Google はサイト全体のクロールを停止する可能性
これらの内容を採点付きで挑戦したい場合は、本ドメインのプロ試験で 5 問形式で確認できる。