上海网站设计-巧用robots避免蜘蛛黑洞
发布时间:2015-05-12 14:17  已被人阅读    分享到:
上海网站设计-巧用robots避免蜘蛛黑洞
 
典享网络专业从事上海网站建设,上海网站设计,上海网站推广,上海网站制作,上海网站改版,上海网站运营,上海微信代运营,网站建设,微信运营,网站托管,网站SEO多年。我们不断总结最新的建站及其seo方法,对此我们总结出很多心得。
 
网站上线之初我们会为网站建设robot文件来屏蔽那些不愿意被搜索索引抓取的文件,那你知不知道其实robot文件还可以巧妙的避免蜘蛛黑洞,更有利于网站的运营。
 
对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。
 
比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?
 
我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun
 
同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
 
对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。
 
robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。
 
典享网络相信,用心掌握并很好的利用上述网站建设、SEO 技巧,可使网站的关键词排名得到明显的改善和提高。我们也期待在今后的时间里能与更多客户合作。



 
本文分享地址:/news/2/1336.html上海网站建设,上海网站制作,上海建站公司,网络运营推广,微信代运营|典享网络典享NET编辑,转发请注明来源及版权归属。
上一篇:上海网站设计-网页设计中颜色叠加的运用 【关闭】
下一篇:上海网站设计-网站开发的语言如何来选择