在市场经济发展的大浪潮下,互联网企业之间的竞争越来越激烈,与此同时,互联网行业的内部矛盾也逐渐凸显出来,各种互联网新问题也纷纷出现。2012年百度诉奇虎360案件,让爬虫协议成为人们关注的焦点。由于爬虫协议的法律性质司法实践中尚无统一的界定,而且违反爬虫协议的法律后果也具有不确定,如何更好规范爬虫协议,维护互联网行业的公平竞争,是目前的司法实践的一大问题。爬虫协议设立初衷是为了防止网络拥堵和保护网站隐私,爬虫协议的合理使用可以维护互联网安全。由于爬虫协议不具有强制性,在实践中搜索引擎容易为了自身的利益,而违背网站设置的合理正当的爬虫协议,同时内容网站也可能滥用市场支配地位对条件相同的交易者无正当理由予以拒绝,这时,爬虫协议很可能沦为内容网站和搜索引擎服务商不正当竞争和垄断的工具。对于爬虫协议的法律规制,传统上主要从知识产权法的角度进行规制,但是如果网站所有者利用爬虫协议争夺竞争优势,排挤竞争对手,这时候利用竞争法对滥用爬虫协议的行为进行规制具有现实意义。本文重点讨论搜索引擎违反符合商业道德的爬虫协议,肆意对网站内容进行抓取是否违反了《反不正当竞争法》第二条的一般条款,以及内容网站设置爬虫协议黑名单排除特定爬虫访问是否构成《反垄断法》中的拒绝交易和差别对待。除引言和结语除外,本文主要由五个部分构成:第一部分为“爬虫协议的基本说明”。本部分首先阐述了爬虫协议的概念,然后从理论和实践两个角度对爬虫协议法律性质认定的不同观点进行了说明,最后通过国内外案件进一步分析了违反爬虫协议的法律后果。第二部分为“爬虫协议竞争法规制的原因剖析”。本部分首先导入百度诉360案件,进一步分析爬虫协议著作权法规制过程中存在的困境,进而说明竞争法对爬虫协议进行规制的必要性。第三部分为“爬虫协议反不正当竞争法规制的法理探讨”。本部分主要阐述爬虫协议双方主体之间存在竞争关系,但是滥用爬虫协议本身不属于《反不正当竞争法》所规制的具体不正当竞争行为,因此,应该由一般条款进行规制,并围绕爬虫协议属于公认的商业道德展开论述。第四部分为“爬虫协议反垄断法规制的适用分析”。本部分围绕搜索引擎领域市场支配地位的确定以及相关市场的确立,设置歧视性爬虫协议与拒绝交易和差别对待的界限,最后展开对爬虫协议进行反垄断法律责任的研究。第五部分为“对爬虫协议进行竞争法规制的建议”。本部分围绕法官适用《反不正当竞争法》一般条款主观风险规避,以及通过评析新《反不正当竞争法》第十二条,从而进一步论述目前可以在不正当竞争类型中增加规范搜索引擎行为的独立章节,以及对爬虫协议具体垄断行为进行规制的完善建议。