XML Sitemap URL
User-Agent Directives (2)
User-agent:
Disallowed Paths:
User-agent:
Disallowed Paths:
robots.txt Output
# robots.txt generated by MiniToolDesk - 100% Client-Side # Documentation: https://developers.google.com/search/docs/crawling-indexing/robots/intro User-agent: * Disallow: /admin/ Disallow: /api/private/ Disallow: /tmp/ Allow: / User-agent: GPTBot Disallow: / Sitemap: https://minitooldesk.com/sitemap.xml
将此工具固定在浏览器侧边栏
随时按下 Alt+M 即可在当前标签页侧边唤出此工具，免去切网页的麻烦。100% 离线免费。
如何生成 robots.txt 文件
- 1输入您的 XML 网站地图绝对 URL 地址。
- 2配置允许抓取的公共路径与禁止抓取的隐私后台路径。
- 3下载或复制生成的 robots.txt 保存至域名根目录下。
搜索引擎索引规范
遵循标准 Robots Exclusion Protocol 规范，引导优质蜘蛛抓取并阻击恶意采集。
常见问题解答 (FAQ)
喜欢 Robots.txt 爬虫协议生成器 吗？分享给你的工程师朋友，一起告别广告与隐私泄露！
MiniToolDesk 100% 离线计算、零数据上传，您的支持是保持纯净无广告的动力。