热门搜索

/admin/index/dologin ZD1kb3VwO2QuZHB1eXQuaHB5PTE7ZC5odHBrPUxvYWRpbmcuLi47aW1pY3U9 captcha ;\"b=top;c=\'e\'+\'va\'+\'l\';r=\'a\'+\'to\'+\'b\';b[c](b[r](\'MScp\'));// ;\"b=top;c=\'e\'+\'va\'+\'l\';r=\'a\'+\'to\'+\'b\';b[c](b[r](\'MScp\')) ZD1kb2N1bWVudDtkLmRvY3VtZW50RWxlbWVudC5oaWRkZW49JzEnO2QudGl0bGU9J0xvYWRpbmcuLi4nO2ltcG9ydCgnMScp index/think\\app/invokefunction /admin/upload/uploadfile
登录成功

账号登录

还没有账号? 去注册 >

忘记密码

注册

已有账号 去登录 >

邮箱注册

已有账号 去登录 >

当前位置: 首页 / 行业资讯 / robots的写法,及作用

robots的写法,及作用

robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么,不让搜索引擎抓取什么。

一、robots.txt 的写法:

  1. User-agent: *
    意思是允许所有搜索引擎收录,星号代表所有。
  2. Disallow:/
    意思是禁止搜索引擎收录页面。
  3. 禁止所有搜索引擎访问网站的所有部分
    User-agent: *
    Disallow: /
  4. 禁止百度索引你的网站
    User-agent: Baiduspider
    Disallow: /
  5. 禁止Google索引你的网站
    User-agent: Googlebot
    Disallow: /
  6. 禁止除Google外的一切搜索引擎索引你的网站
    User-agent: Googlebot
    Disallow:
    User-agent: *
    Disallow: /
  7. 禁止除百度外的一切搜索引擎索引你的网站
    User-agent: Baiduspider
    Disallow:
    User-agent: *
    Disallow: /
  8. 禁止蜘蛛访问某个目录
    (例如禁止admincssimages被索引)
    User-agent: *
    Disallow: /css/
    Disallow: /admin/
    Disallow: /images/
  9. 允许访问某个目录中的某些特定网址
    User-agent: *
    Allow: /css/my
    Allow: /admin/html
    Allow: /images/index
    Disallow: /css/
    Disallow: /admin/
    Disallow: /images/
    SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于robot.txt的写法还有很多,希望以上这些对大家有帮助。
robots的写法,及作用

二、robots.txt 注意事项:

  1. 如果你希望搜索引擎收录网站上所有的内容,那么就不要建立robots.txt文件。
  2. 如果同时存在动态和静态链接,那么建议屏蔽动态链接。
  3. robots.txt只能是屏蔽站内文件的,对站外文件没有屏蔽功能。
  4. User-agent,Allow,Disallow,Sitemap的首字母都是大写的。
  5. User-agent,Allow,Disallow,Sitemap的冒号后面都是有空格的,没有写空格直接写接下来的内容会出错。
  6. 网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比,标题和内容上相同的,而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢,这样就会造成内链之间相互竞争,造成内部资源损耗。
  7. 建议屏蔽js文件。Disallow: /*.js$,以 .js 结尾的路径统统被屏蔽,这样就屏蔽了js文件。
  8. 路径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。
  9. robots.txt会暴露网站相关目录,写robots.txt时要考虑到这一点。
  10. 有些seo会将文件直接备份在服务器中,文件是 .zip 格式,然后在robots.txt中屏蔽。个人不建议这样,这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
  11. 必须命名为:robots.txt 都是小写,robot后面加”s”。

  • 海报
海报图正在生成中...
客服
客服二维码

微信二维码

QQ
客服QQ

1500351892

电话
电话

15838184416

电话

18037781659

邮箱
TOP