关于robots协议禁止爬虫抓页面依然收录首页问题，怎么解决？

针对这个问题：

1.首页收录是在所难免的，但是你可以查看一下快照，首页里的内容应该是没有被收录和建立索引的。robots禁止了爬虫抓取，但一般百度都会收录首页，就像当年淘宝网禁止了百度，但百度依然会收录淘宝网的首页。

2.一般全站禁止了之后，如果其它网站没有链接到你内页的入口，百度不会收录你的内页的。