# robots.txt — www.mingdao.com # ── 通用爬虫 ────────────────────────────────────────────── User-agent: * Content-Signal: search=yes, ai-input=yes, ai-train=no Crawl-delay: 10 Disallow: /act Disallow: /aja Disallow: /adm Disallow: /app # ── AI 爬虫 ─────────────────────────────────────────────── # 全部放行,抓取范围与通用爬虫一致。 # 我们的内容使用偏好由上面和下面的 Content-Signal 声明表达,不靠拦爬虫: # search=yes 允许被搜索引擎索引 # ai-input=yes 允许 AI 在回答用户提问时实时引用本站内容(需注明来源) # ai-train=no 不允许将本站内容用于训练/微调生成式模型 # 注意:下面每个 User-agent 组都必须重复 Disallow 规则——robots.txt 只匹配最具体的一组, # 一旦为某个 UA 单独开组,通用组的 Disallow 对它就不再生效了。 User-agent: GPTBot User-agent: ChatGPT-User User-agent: OAI-SearchBot User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Bytespider User-agent: Amazonbot User-agent: CCBot User-agent: meta-externalagent User-agent: cohere-ai Content-Signal: search=yes, ai-input=yes, ai-train=no Crawl-delay: 10 Allow: / Disallow: /act Disallow: /aja Disallow: /adm Disallow: /app # ── 站点地图 ────────────────────────────────────────────── Sitemap: https://www.mingdao.com/sitemap.xml # 152 个行业数据模型页(www.mingdao.com/landing/data-model/),主 sitemap 未收录 Sitemap: https://www.mingdao.com/landing/data-model/sitemap.xml