robots.txt 文件生成器
轻松创建符合搜索引擎规范的 robots.txt 文件，控制搜索引擎爬虫访问您的网站内容
生成设置
生成结果
User-agent: * Disallow: /admin/ Disallow: /private/ User-agent: Googlebot Allow: /public/ Sitemap: https://example.com/sitemap.xml
什么是 robots.txt？
robots.txt 是一个位于网站根目录下的文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取，哪些页面不应该抓取。它是网站与搜索引擎之间的一种约定，有助于优化网站的索引效率。
如何使用生成的 robots.txt？
- 使用本工具生成适合您网站的 robots.txt 内容
- 点击"下载文件"按钮获取 robots.txt 文件
- 将文件上传到您网站的根目录下
- 通过访问 https://您的域名/robots.txt 确认文件已正确放置