关闭

robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么,不让搜索引擎抓取什么。 一、robots.txt 的写法: User-agent: *意思是允许所有搜索引擎收录,星号代表所有。 Disallow:/意思是禁止搜索引擎收录页面。 禁止所有搜索引擎访问网站的所有部分User-agent: *Disallow: / 禁止百度索引你的网站User-agent: BaiduspiderDisallow: / 禁止Google索引你的网站User-agent:…

2021年04月20日 0条评论 103点热度 0人点赞 阅读全文