# robots.txt — 17lubbs
# 策略：对搜索引擎与生成式引擎（GEO）全面开放抓取与引用
# 机器可读入口：/llms.txt · /llms-full.txt · /ai-index.json · /feed/json · /<文章>.md

# 内容使用信号：允许搜索收录、允许作为 AI 输入/引用、允许训练
Content-Signal: search=yes, ai-input=yes, ai-train=yes

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=
Disallow: /feed/$
Disallow: /trackback/
Disallow: /go/
Disallow: /410.html

# ---- 生成式引擎爬虫（显式允许，便于被 AI 检索与引用）----
# OpenAI（ChatGPT / SearchGPT）
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic（Claude）
User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google（Gemini / AI Overviews / Vertex）
User-agent: Google-Extended
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

# Microsoft（Copilot 走 Bing 索引）
User-agent: bingbot
Allow: /

# Apple（Siri / Apple Intelligence）
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# 字节跳动（豆包 / 抖音搜索）
User-agent: Bytespider
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: FacebookBot
Allow: /

# 其他生成式与检索型引擎
User-agent: CCBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: YouBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Ai2Bot
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
Allow: /

User-agent: ImagesiftBot
Allow: /

# ---- 站点地图 ----
Sitemap: https://www.17lubbs.com/sitemap.xml