日期:2014-05-20  浏览次数:20594 次

海量数据的处理问题
系统说明:
一个web系统,要从数据库中读取数据,然后根据这些数据画出图形。一条信息会对应一个小图形。而且,这些图形可以支持点击显示具体信息。

我的实现方法:
读数据,画图,然后在图画的时候记录图形位置和图形的信息,将这些信息送到前台,点击图片时使用javascript处理信息的显示

问题:
我的实现方法只在处理小数据量时可行,但有时候从数据库中取出的数据会达到几十万条,这时系统内存立刻就不够用了。请问对这种大数据量该怎么处理呢?


------解决方案--------------------
不了解 帮顶
------解决方案--------------------
> > > 但有时候从数据库中取出的数据会达到几十万条,一个页面就需要这么多数据吗?!

如果不是,请不要把数据全部load到内存,你应该一个cache,帮你缓存常用的数据,而不是把所有的数据都读到内存!

至于cache,可以选用开源的(强烈推荐),或者自己写一个。