日期:2014-05-20  浏览次数:20832 次

如何解决频繁访问ip被封,或被限制问题?
我要抓取一个网站的内容,需要访问那个网站
由于访问太频繁,比如雅虎,百度等等 如果太快了,他们反爬程序就会封锁我的IP  
或者暂时不让我的IP去访问 程序就会时常链接失败,中断等等. 内容就抓不全或者没抓到,
能不能在程序里,伪装成他们的IP来访问他们,这样的话就应该不会有问题,或者有没有其他方式解决???

还有一种情况,访问过于频繁,就会有验证码输入信息,如何跳过验证信息,或其他方式,能够正确解析网页内容。

不知道有没有什么方法解决上面的问题,大神指教!!!
解析 ip伪装 绕过验证码 访问频繁ip被封

------解决方案--------------------
增加两次抓取的时间间隔。