论文部分内容阅读
2012年8月,360公司与百度公司关于搜索引擎爬虫行为争议引发的“三百大战”,将互联网行业多年遵循的处于后台的行业惯例,即“爬虫协议”的法律效力问题推到了前台。$$ 爬虫协议的概念,源自英文的“robots,txt”,即网络机器人协议。robots协议官方网站(http://www.robo