已有账号?立即登录 >

签到成功

  • robots的写法,及作用

    robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么,不让搜索引擎抓取什么。 一、robots.txt 的写法: User-agent: *意思是允许所有搜索引擎收录,星号代表所有。Disallow:/意思是禁止搜索引擎收录页面。禁止所有搜索引擎访问网站的所有部分User-agent: *Disallow: /禁止百度索引你的网站User-agent: BaiduspiderDisallow: /禁止Google索引你的网站User-agent: GooglebotDisallow: /禁止除Google外的一切搜索引擎索引你的网站User-agent: GooglebotDisallow:User-agent: *Disallow: /...

    2021-04-20

    seo基础robots写法及robots高级玩法

    seo基础robots写法及robots高级玩法 什么是robots? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索来爬行网站时候,会先看网站里有没有robots这个文件,如果有这个文件,会按照robots文件给的爬行规则进行网站的爬取。 为什么要用robots? 网站为了seo网站优化肯定会有部分页面不想被搜索抓取和收录,如“联系我们”“广告合作”这时就会用到robots,来屏蔽搜索的爬取和收录。 robots的基本写法 1、允许所有搜索引擎访问 User-agent: * Disallow: 或者 User-agent: * Allow: / 注意,可以最直接...

    2021-03-19