robots.txt

时间 : 15-03-22 评论 : 3 点击 : 3,485 次

什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
从SEO的角度,robots.txt文件是一定要设置的,原因:
1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3、一些没有关键词的页面,屏蔽掉更好。
4、一般情况下,站内的搜索结果页面屏蔽掉更好。

(既然来了何不座下来喝杯茶,小生早已设下茶宴与君同饮,与君畅谈上文阅后感想。)

本文出自:SEO清远网           官方网站地址:http://seo.6889936.com

本文标签 , , , , ,

由付锋创作室 清远SEO团队 版权所有 © 转载时请您注明出处及相应链接,文章均为( fairfu )原创,转载请保留链接: http://seo.6889936.com/?p=437

robots.txt:目前有3 条留言

  1. 板凳
    vdsa
    Post:2015-04-12 上午9:56

    原来 是这么一个逻辑 :roll:

  2. 沙发
    清远是我家
    Post:2015-04-21 下午5:33

    乍一看还以为是reboot :arrow:

发表评论


Duang~  你还没加入清远SEO微信? 你out了........


  加清远SEO技术研究中心QQ群送空间  加QQ群送域名空间
加QQ群再送微信运营平台(功能:微相册、微信机器人、图文素材、LBS位置回复、门店管理、自定义菜单、微投票、大转盘、刮刮乐、优惠券、水果机、砸金蛋、团购、会员卡、微酒店、外卖订餐、超级商城、微旅游、微婚庆、微房产等等) 

       ==站长QQ:46770222==
 ==免费咨询热线4006 422 242==
清远网是付锋创作室长期分享SEO知识及企业全网营销推广心得。清远全网营销团队在SEO研究过程中的成果奉献,免费提供各种SEO工具;全清远唯一能对各行业及大中小型企业进行现场数据分析,全程支持培训指导,打造一个属于我们的E时代,我们满怀热情,踏上燃烧的征程,释放心中的力量,成就大家的梦想,我们潜心研究互联网三大巨头的互联网思维,在BAT领域里小有微名,专注网站建设开发,SEO网站优化,网站排名,提供排名方案,电子商城策划;目前正研究开发O2O概念,以2的精神做行业领跑者一路奋进!
   网站    微信

付锋创作室

置顶文章



  • 免费咨询
  • 网站建设
  • 网站优化
  • 整合营销
  • 售后服务