Robots协议简介 Robots协议也称为爬虫协议、爬虫规则、机器人协议等，也就是robots.txt，网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面，优化网站的收录和权重。 Robots协...