网站谨慎robots屏蔽的使用

时间 : 15-05-20 评论 : 1 点击 : 1,458 次

今天清远SEO团队为大家分享一下个人经验,有学清远SEO知识的爱好者们,都知道SEO优化中robots机器人是用来抓取网站内容的,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这些目录你可以进,那些目录你不可以进;这些文件你可以访问,那些文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好,才会发挥它的功能,robots文件就像两刃剑一样。

事情还得从上个月开始。那时我们正在投标的一家清远企业的网站整体推广方案,分析他们企业网站的过程中,因为网站是其他公司制作的,内容都已填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。可这家所谓清远专业建站公司用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到五年之后,(不可能还没有建好吧)仍然没有收录,我就建议中医院院方开放蜘蛛抓取。不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一条收录。robots使用不当

 

上个月,重新修改填充内容,也是把网站屏蔽着,结果到现在,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了,360收录了。这次彻底对度娘的robots文件反应速度是无语了。如下图:site:www.gdqyszyy.com清远SEO把中医院SITE的结果

前两天在群里与小伙伴们讨论,一位叫就爱江湖的大神说自己之前也遇到过几次这样的情况。

在此清远SEO提醒大家慎重的使用robots文件,特别对一个新站来说;提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。

本文由清远SEO原创出品,请大家转载时保留本段内容。大家如有兴趣,可以与付锋一起探讨SEO技术,讨论SEO发展前景,或者讨论职业发展与人生梦想。付锋期待成为你忠实的朋友。

(既然来了何不座下来喝杯茶,小生早已设下茶宴与君同饮,与君畅谈上文阅后感想。)

本文出自:SEO清远网           官方网站地址:http://seo.6889936.com

本文标签 , , , , , ,

由付锋创作室 清远SEO团队 版权所有 © 转载时请您注明出处及相应链接,文章均为( fairfu )原创,转载请保留链接: http://seo.6889936.com/?p=2541

网站谨慎robots屏蔽的使用:目前有1 条留言

  1. 沙发
    DFDA
    Post:2015-05-21 上午8:39

    这个用错有这么厉害呀,真要的谨慎使用呀。

发表评论


Duang~  你还没加入清远SEO微信? 你out了........


  加清远SEO技术研究中心QQ群送空间  加QQ群送域名空间
加QQ群再送微信运营平台(功能:微相册、微信机器人、图文素材、LBS位置回复、门店管理、自定义菜单、微投票、大转盘、刮刮乐、优惠券、水果机、砸金蛋、团购、会员卡、微酒店、外卖订餐、超级商城、微旅游、微婚庆、微房产等等) 

       ==站长QQ:46770222==
 ==免费咨询热线4006 422 242==
清远网是付锋创作室长期分享SEO知识及企业全网营销推广心得。清远全网营销团队在SEO研究过程中的成果奉献,免费提供各种SEO工具;全清远唯一能对各行业及大中小型企业进行现场数据分析,全程支持培训指导,打造一个属于我们的E时代,我们满怀热情,踏上燃烧的征程,释放心中的力量,成就大家的梦想,我们潜心研究互联网三大巨头的互联网思维,在BAT领域里小有微名,专注网站建设开发,SEO网站优化,网站排名,提供排名方案,电子商城策划;目前正研究开发O2O概念,以2的精神做行业领跑者一路奋进!
   网站    微信

付锋创作室

置顶文章



  • 免费咨询
  • 网站建设
  • 网站优化
  • 整合营销
  • 售后服务