搜索巨头滥用Robots协议三大危害

kevin-ying

　　360与百度之间的遗留官司继续审理,捧红了“Robots协议”这一舶来词。Robots协议的出现,本是为了搜索引擎更有效地索引到内容结果页、内容网站服务器等资源免受爬虫频繁打扰而设置的一种技术协议。然而,这一协议在中国正被滥用,成为互联网巨头维护垄断地位的工具。

　　简单地说,“Robots协议”,是一个被放置在网站中的.TXT文件,为搜索引擎爬虫做出提示,设置允许与不允许两种语句,网络爬虫据此“自觉地”抓取或不抓取该网页内容。业界普遍认为,Robots是一把双刃剑,适用会优化搜索结果,而滥用则会造成整个行业混乱。专家表示,滥用Robots协议会让网民和整个行业面临三大危害。

　　危害一:网民获得不完整的搜索结果

　　滥用Robots协议,首先受影响的并不是企业,而是网民。如果搜索巨头禁止其他新兴搜索 引擎抓取自身内容,那么当网民尝试新的搜索引擎时,就无法获得完整的搜索结果,只能被迫选择搜索巨头的产品,这违背用户本意,增加网民时间成本,而且与互联网产品开放的初衷相违背。

　　另一方面,由于搜索巨头通过滥用Robots实现对内容的控制,进而控制网民,搜索巨头可以利用这种控制力操纵搜索结果,甚至引导舆论。有评论人表示,“搜索巨头可为所欲为任意操纵搜索结果,对竞争对手进行道德谴责、而一般的舆论批评对巨头无效,只有竞争打破垄断才会让消费者和行业获益”。

　　专家认为,搜索市场的主导地位,控制互联网优质内容,不让其他搜索引擎抓取,进行不公平竞争的垄断行为,既违背了Robots协议的初衷,也违背了互联网开放、分享的精神。

　　危害二:限制市场自由公平竞争造成行业壁垒

　　事实上,国际上从来没有任何组织或专家把Robots协议当成规范,甚至主动拒绝。欧美电信专家认为,由于Robots协议包含排斥性条款,搜索巨头可能会利用Robots协议的条款,迫使某些热门网站与其签署排他性协议,从而将后起竞争者挡在门外,维护垄断。

　　此前,微软曾控诉Google收购YouTube后限制竞争对手对YouTube的正当抓取。而在国内,几乎相同的一幕也在上演。如果通过Robots协议去控制内容,那么将对其他新兴搜索引擎构成致命威胁。

　　著名互联网评论人士方兴东就曾表示,Robots协议不宜过多强调和使用,更不能作为行业发展的大旗,否则将毁掉开放共享的互联网机制。在他看来,Robots被滥用将成为不公平竞争的武器。如果国内前百家网站都限制一家搜索引擎,那么这家搜索将马上瘫痪。相反,如果一家搜索签下前1000网站的独家抓取协议,那么其他搜索引擎将永无出头之日,行业从此再也没有竞争。

　　危害三:阻碍甚至扼杀搜索行业创新

　　另外,专家认为如果把Robots生搬硬套为行业规范,必将成为搜索巨头阻击新搜索公司的竞争武器,限制搜索市场的自由竞争。

　　行业通常认为,美国的互联网商业竞争环境比中国好,最近十年从零做到上市的美国互联网公司是中国的十倍。其核心原因就是,美国整体环境鼓励创新,而且巨头通常对创业者十分友善;而在中国,巨头大多会利用各种资源打压创业公司,扼杀互联网创新,可谓大树之下,寸草不生。

　　利用Robots协议限制其他搜索引擎抓取正属于此列,创业公司或选择通过不断的产品创新弥补这一劣势,或者选择随波逐流。现在看来,360搜索是唯一能够对巨头形成威胁的搜索产品。

　　有专家认为,随着360搜索的份额提升,以及腾讯入股搜狗可能对搜索格局带来的影响,互联网市场尤其是搜索行业的竞争活力被激活,能够促进创新,让网民受益。对于Robots协议不能生搬硬套,更不应成为搜索巨头滥用市场支配地位、阻击新公司入局的不正当竞争工具。

源文出处: http://www.ce.cn/xwzx/fazhi/201310/14/t20131014_1616260.shtml

kevin-ying

槽点:其实,有点内涵的网民们根本不关心搜索引擎,哥喜欢逛经常去的网站,网址输入顺手了,根本都不用从IE收藏夹进去,直接输入想去的网址
搜索引擎什么的,除非 GOOGLE ,除非是花边新闻,哥基本上都不用打开国产的搜索引擎,各种广告,各种推广...什么的看得还不蛋疼吗?
把真正网民们需要的内容早就掩盖得无隐无踪了

另外,建议有点原创的内容的网站在 robots 都写上:

1. User-agent: *
   
2. Disallow:/

复制代码

看你搜索引擎牛逼,还是原创内容的牛逼?

咱们要知道,搜索引擎什么的应该是我们原创者的孙子,别本末倒置了