robots.txt 生成器
通过多个 user‑agent 规则块构建 robots.txt：支持 Allow/Disallow、可选 Crawl-delay、Host 与 Sitemap。输入时预览会实时更新。
User‑agent 规则块
全局
说明：
Host 会被部分爬虫（如 Yandex）识别；Google 不使用 Crawl-delay，但其他爬虫可能会使用；通配符 * 和 $ 在实践中被广泛支持（不属于核心 RFC）。
预览（robots.txt）
URL 测试器
提示：
robots.txt 是公开可访问的，只对遵守规范的爬虫起建议作用；它不是访问控制机制。
Asted Cloud
评论 (0)
分享你的想法——请保持礼貌并围绕主题。
登录后发表评论