免费 robots.txt 生成器
生成一份干净的 robots.txt——控制爬虫、指向你的站点地图，并决定 AI 答案引擎能否读取你的网站。无需注册。
可被抓取，是被 ChatGPT、Claude、Perplexity 与 AI 概览引用的前提。只有当你想屏蔽它们时才取消勾选。
robots.txt
User-agent: * Allow: /
生成一份干净的 robots.txt——控制爬虫、指向你的站点地图，并决定 AI 答案引擎能否读取你的网站。无需注册。
可被抓取，是被 ChatGPT、Claude、Perplexity 与 AI 概览引用的前提。只有当你想屏蔽它们时才取消勾选。
User-agent: * Allow: /