爬虫规则
Robots.txt 生成器
生成包含常用 Allow、Disallow、Sitemap 和 Crawl-delay 指令的 robots.txt 文件。
SEOrobots.txt本地运行
规则
配置指令
输出
生成包含常用 Allow、Disallow、Sitemap 和 Crawl-delay 指令的 robots.txt 文件。