日期:2014-05-17  浏览次数:20702 次

如何获取动态网站上的查询数据?如何抓取动态网站数据?
目前看到一个挺不错的网站,但是需要输入参数和查询条件才能查询出结果,相当于它是从数据库查询出来的结果,有没有什么工具或者源码能一次性将所有数据得到本地文件或者本地数据库当中呢?httplient?还是先获取他的循环静态html文件,然后从一个一个页面提取出数据来?如何抓取动态网站的数据大侠们觉得是怎么做?
网站 数据抓取

------解决方案--------------------
没这么简单。。你可以去分析下选择搜索条件之后的真实请求是什么,剩下的就是httpclient模拟发送请求了。
------解决方案--------------------
我觉得取数据不是什么难题,主要难点是在你分析请求的规律