1. 爱易网页
  2. Java教程
  3. 有关网络爬虫速度,该怎么处理

有关网络爬虫速度,该怎么处理

日期：2014-05-20　 浏览次数：21173 次

有关网络爬虫速度
最近在写了个爬虫，在一个网站爬东西，但是爬取页面比较多，被封ip了，虽然他允许输入验证码解封，但是数据量比较大，不能一直这样做，如何降低自己的速度，或者流量之类的，防止出现这种情况

------解决方案--------------------
Thread.sleep(10*1000); 然线程歇个10秒

相关资料更多>

  1. jsp里面显示pdf并隐藏路径,该如何处理
  2. 小弟我给分，你要不要
  3. java作为客户端，应该怎样调用.net WCF 服务？解决方案
  4. 今天写程序 ,突然想问,到底哪位高手是小弟我的初恋
  5. java 虚拟机有关问题
  6. scjp 重载，请教这样写有什么有关问题？
  7. 贪食蛇有关问题
  8. <input type="text" name="login.username" id="textfield" />输入的值放入session中,该如何解决
  9. 奇怪，在网上找到的水晶报表9.2中文版，都没有report application server和Crystal Reports Advanced Developer Edittion两部分，而小弟我正