很多人会使用到网页采集器，其实这也是通过程序来进行采集的，如果没有使用代理IP，采集速度快了，照样是会被封住的。另外，这些网站还有其他的一些反爬策略，同样也会影响到我们采集网页的数据，这是如何限制的呢？我们应该如何解决？

　　Python爬虫是一种按照一定规则，自动抓取网络数据的程序或脚本，它可以快速完成抓取、整理任务，大大节省时间成本。由于Python爬虫的频繁抓取，会对服务器造成巨大负载，服务器为了保护自己，自然要做出一定的限制，也就是我们常说的反爬虫策略，来阻止Python爬虫的继续采集。反爬虫策略有：

　　1.对请求Headers进行限制

　　这应该是最常见的，最基本的反爬虫手段，主要是初步判断你是否是真实的浏览器在操作。

　　这个一般很好解决，把浏览器中的Headers信息复制上去就OK了。

　　值得注意的是，很多网站只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，比如知乎，有一些页面还需要 authorization 的信息。所以需要加哪些Headers，还需要尝试，可能还需要Referer、Accept-encoding等信息。

　　2.对请求IP进行限制

　　有时候我们的爬虫在爬着，突然出现页面无法打开、403禁止访问错误，很有可能是IP地址被网站封禁，不再接受你的任何请求。

　　如果出现IP限制，可以使用代理IP破除，比如机灵代理，日流水量大，封了一个IP，还有千千万万个代理IP；同时支持多线程高并发使用。

　　3.对请求cookie进行限制

　　当爬虫遇到登录不了、无法保持登录状态情况，请检查你的cookie.很有可能是你爬虫的cookie被发现了。

　　以上就是关于反爬虫策略，对于这几个方面，爬虫要做好应对的方法，不同的网站其防御也是不同的，建议先去了解清楚。