1. 小包seo博客首页
  2. seo优化技术

15.什么是robots协议?robots文件的作用与写法

什么是robots协议?robots.txt文件的作用与写法!robots.txt协议的注意事项!

「广州seo优化技术」什么是robots协议?robots文件的作用与写法

什么是robots协议

1.网站和搜索引擎的协议文件

2.搜索引擎蜘蛛到网站上第一个访问的文件

robots.txt文件的作用

为什么要设置robots.txt文件:让蜘蛛不要抓取不重要的信息,直接抓取重要信息,限制蜘蛛的抓取范围,从而更好的提高网站文章收录,对seo网站优化起到一定作用。

robots.txt协议的写法

1.三个单词:

A.user-agent(针对对象):

  • 百度蜘蛛:Baiduspider
  • 谷歌蜘蛛:Googlebot
  • 360蜘蛛:360Spider
  • SOSO蜘蛛:Sosospider
  • 有道蜘蛛:YoudaoBot
  • 搜狗蜘蛛:Sogou News Spider

B.Disallow:不允许。

C.Allow:允许。

2.带/符号与不带/符号的区别:

A./abc/(abc文件下的内容)

B./abc:模糊匹配(只要包含/abc的路径都给屏蔽掉)例如/abcdsdsadas

3.两个通配符:*:A.匹配0个或者多个字符       B.$:匹配相同后缀的文件

A.通配符*的作用:

例如:匹配所有搜索引擎蜘蛛写法,即user-agent:*

例如:不允许抓取路径/abcdsdsada,即可写成Disallow: /abc*(匹配多个字符),*会自动匹配dsdsada,百度就抓取不到路径/abcdsdsada,即/abcdsdsads47546,/abc44646都是不会抓取的。

常用于屏蔽动态路径:

屏蔽所有动态路径写法:

  • Disallow:/*?匹配:dsdsad?(匹配?前面文字)
  • Disallow:/?*匹配:?dsdsadsdas(匹配?后面文字)
  • Disallow:/*?*匹配所有?(匹配所有?路径)

B.通配符$的作用:

例如:不允许抓取html后缀文件:

           即Disallow: /a/*.html$(不允许抓取/a里面.html后缀的文件)

4.robots.txt协议的注意细节:

A.必须是英文状态     

B.空格(:号后面要加空格)    

C.首字母大写

D.三个单词优先原则:allow优先,即

  • user-agent:*(针对所有蜘蛛)
  • Disallow:/(不允许所有蜘蛛抓取)
  • Allow:Baiduspider(允许百度蜘蛛抓取)
  • 这样的写法是最终会只允许百度蜘蛛抓取网站

robots.txt协议的注意事项

 1.robots协议的生效时间:并不是写了robots协议就立刻生效,几天或者更长时间,甚至一两个月才会生效

 2.不要随便利用robots屏蔽整站(因为生效时间的不稳定,最终会导致收录等都没有)

 3..需要屏蔽的内容

  •  A.JS CSS
  • B.动静态路径同时存在时,屏蔽掉动态路径
  • C.模板文件
  • D.死链接
  • E.隐私页面
  • F.后台
  • G.注意写完robots.txt之后要上传根目录,站长平台:可以检测robots是否生效或者有没有错误

原创文章,作者:广州SEO小包,如若转载,请注明出处:http://www.seo023.org/jishu/599.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注