如何阻止百度baidu爬虫和谷歌蜘蛛抓取网站内容
2024-07-18 21:14:50作者：饭克斯
如果不希望百度或Google抓取网站内容，就需要在服务器的根目录中放入一个robots.txt文件，其内容如下：
User-Agent:*Disallow:/
这是大部份网络漫游器都会遵守的标准协议，加入这些协议后，它们将不会再漫游您的网络服务器或目录。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
实例分析：淘宝网的Robots.txt文件
User-agent:Baiduspider
Disallow:/
User-agent:baiduspider
Disallow:/
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
网站robots的情况，可以使用百度站长工具进行查询。http://zhanzhang.baidu.com/robots/index
展开全文
