论文部分内容阅读
摘 要:从介绍网络搜索引擎原理出发,通过分析“网络机器人”采集因特网网络信息的过程,详细说明了拒绝“网络机器人”的方法。并以“Google”、“百度”等网络搜索引擎和网络机器人为例,介绍了如何根据不同的要求,正确设置“robots.txt”文件中的各种语句和各个参数,从而达到防范网络搜索引擎进入网站的目的。
关键词:网络搜索引擎;网站内容;网络机器人;拒绝方法
关键词:网络搜索引擎;网站内容;网络机器人;拒绝方法