Domain 102 / 225
Google-Extended は AI 機能のみクロール拒否できる専用 User-Agent
Google-Extended の要点
Google-Extended は Google が AI 機能（AI Overview / Bard / Gemini）の学習・参照用に使う専用 User-Agent。robots.txt で個別制御することで「通常検索は表示するが AI には使わせない」が実現できる。有料コンテンツ / 独自ノウハウの保護に有効
なぜこれを学ぶか
「AI Overview にコンテンツを使われると独自性が失われるが、通常 SEO の流入は欲しい」というジレンマに対する 唯一の公式ソリューション。 有料メディア / SaaS / 独自データ保有サイトで重要。
AI 時代の権利保護を考えるすべての担当者で必須。
学ばないと起きること
| よくある事故 | 被害 |
|---|---|
| Google-Extended の存在を知らず Disallow できない | AI に独自コンテンツが流用される |
| 全 User-Agent を Disallow して通常 SEO も消失 | 流入崩壊 |
学ぶメリット
- AI と通常検索を分離制御
- 独自コンテンツの権利保護
- 商談で「Google-Extended」を即答
仕組み
Google の主要 User-Agent
| User-Agent | 用途 |
|---|---|
| Googlebot | 通常検索クロール |
| Googlebot-Image | 画像検索 |
| Googlebot-Video | 動画検索 |
| Googlebot-News | ニュース |
| Google-Extended | AI 機能（AI Overview / Bard / Gemini） |
| AdsBot-Google | 広告品質 |
Google-Extended の制御
robots.txt で個別ブロック:
User-agent: Google-Extended
Disallow: /
これで:
- 通常 Google 検索: 引き続き表示
- AI Overview / Bard 等: 学習・参照対象外
部分的な制御
特定ディレクトリのみ AI 除外:
User-agent: Google-Extended
Disallow: /premium/
Disallow: /api/
/premium/ 配下だけ AI に使わせない設定。
キー概念
通常 SEO への影響なし
公式: Google-Extended の Disallow は通常 SEO ランキングに影響しない。
- 通常 Googlebot は別途クロール
- 検索結果に通常通り表示
AI への影響範囲
Google-Extended Disallow で除外される機能:
- AI Overview（生成回答）
- Gemini（旧 Bard）の回答生成
- 将来追加される Google AI 機能
ただし他社 AI（ChatGPT / Claude 等）には別 User-Agent が必要。
主要 AI クローラー一覧
| User-Agent | 提供元 |
|---|---|
| Google-Extended | Google AI |
| GPTBot | OpenAI |
| ChatGPT-User | OpenAI（オンデマンド検索） |
| ClaudeBot | Anthropic |
| Claude-Web | Anthropic |
| anthropic-ai | Anthropic（旧） |
| CCBot | Common Crawl |
| PerplexityBot | Perplexity |
それぞれ個別に制御可能:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
よくある誤解
| よくある誤解 | 実際のところ | 出典 |
|---|---|---|
| Google-Extended Disallow で SEO 順位下落 | 通常 SEO に影響なし | Google-Extended 公式 |
| 1 つの設定で全 AI ブロックできる | プロバイダごとに User-Agent 個別指定 | 同上 |
| Google-Extended が将来必須になる | 現時点でオプション、有料コンテンツ等で利用 | 同上 |
実務での適用
AI 利用の判断
| 状況 | 推奨 |
|---|---|
| ブランド露出を AI で増やしたい | Allow（デフォルト） |
| 有料コンテンツを保護したい | Disallow |
| 独自調査データを保護したい | Disallow |
| ノウハウ系記事の流用を防ぎたい | Disallow |
部分制御の実装
/blog/ は AI 公開、/research/ は AI 除外:
User-agent: Google-Extended
Disallow: /research/
User-agent: GPTBot
Disallow: /research/
User-agent: ClaudeBot
Disallow: /research/
トラブル別の対処
| 症状 | 確認すべきこと |
|---|---|
| AI に意図せず引用される | Google-Extended + 他社 AI クローラーの Disallow |
公式ソース
自己テスト
Q1. Google-Extended の役割は？
Google AI 機能（AI Overview / Bard / Gemini）専用の User-Agent。robots.txt で個別制御可能
Q2. Google-Extended Disallow で通常 SEO に影響するか？
影響なし。通常 Googlebot は別途クロール
Q3. 他社 AI（OpenAI / Anthropic 等）も Google-Extended でブロックできる？
できない。GPTBot / ClaudeBot 等を個別に指定する必要あり
これらの内容を採点付きで挑戦したい場合は、本ドメインのプロ試験で 5 問形式で確認できる。