z-blog网站robots怎么设置
创新互联建站导读:zblog的系统文件不需要被抓取,但正常情况下搜索引擎也不会去抓取,所以设置与否其实没有很大影响。不想麻烦的话,直接全部开放抓取即可;实在不放心的,也可以去做下限制。
成都创新互联专注于红山企业网站建设,成都响应式网站建设,成都做商城网站。红山网站建设公司,为红山等地区提供建站服务。全流程按需设计,专业设计,全程项目跟踪,成都创新互联专业和态度为您提供的服务
问题:z-blog网站robots怎么设置?
回答:这个是问题是笔者看到有朋友在搜外上提问,稳到zblog网站robots文件设置的问题。具体内容如下:
为什么z-blog很多模板商、或者SEO插件商都推荐下面这种robots写法?? 除了安装文件就这两个文件为什么要全禁止了?
怪的是全部禁止后通过站长工具检测居然是正常的,原理是什么回事,百度蜘蛛也都能正常抓取吗?
User-agent: *
Disallow: /zb_users/
Disallow: /zb_system/
Sitemap:
首先解释下,前面robots代码里写到的,是禁止zb_users和zb_system文件目录下文件被搜索引擎抓取,这样写是没有错的。因为这两个目录下的文件没有被抓取的必要。
那么为什么禁止蜘蛛抓取了,站长工具测试还是正常能抓取呢?原因可能有三个:
1、robots文件没有上传成功;
2、robots文件在搜索引擎那里没有更新;
3、站长工具检测不准。
解释了问题出现的原因,我们再来看看z-blog网站robots怎么设置。本站的主程序就是zblog的,来看看本站的robots文件,如下图:
可以看到对于主站的zblog程序,笔者并没有设置任何的限制抓取,只是对于目录下的bbs论坛做了限制。事实上这没有任何的问题,也就是说对于zblog我们无需纠结哪些目录文件需要禁止抓取,直接开放全部抓取也不会出现影响。
robots文件的作用的确是存在的,对于内容比较多的大站来说,通过robots的设置,可以有效的调节蜘蛛抓取的资源。比如说商城网站会出现很多的帮助文档,这些帮助文档就可以通过robots的设置来限制抓取,从而节省了蜘蛛抓取频次。但是大家要注意一个问题,那就是对于那些正常不需要被抓取的页面,设置robots还是有必要的,但是对于zblog这种系统文件,设置与否其实无关紧要。如果硬是要去设置的话,按照前面代码那样做,是可以的。
关于z-blog网站robots怎么设置的问题,笔者就简要的说这么多。总之来说就是,zblog的系统文件不需要被抓取,但正常情况下搜索引擎也不会去抓取,所以设置与否其实没有很大影响。不想麻烦的话,直接全部开放抓取即可;实在不放心的,也可以去做下限制。
本文名称:z-blog网站robots怎么设置
网址分享:http://pwwzsj.com/article/ddpeig.html