日期:2014-05-20  浏览次数:20600 次

大数据的情况下如何高效的计算表达式的值
最近的一个项目需要进行蒙特卡洛模拟,并且需要对模拟结果进行表达式求职计算
计算的公式不固定一般的格式是这样$0+$1*2/$3*2.5且随着业务的复杂还需要
进行多次迭代计算。数据量很大最少的也要进行2-3万次计算。

我试了用自己写的表达式求职程序和Mozilla的Rhino效率上都不是很理想,可能是自己
水平比较差,用Mozilla的Rhino居然比自己写的程序快一倍。我们用的jdk1.5所以不能
用jdk1.6中才支持的编译后执行脚本的方法。

想过尝试动态生成Java文件然后编译执行,但是一想起在服务器环境这个程序可能需要
同时计算多个表达式......越想越觉得不可靠.

大家处理这样的问题有什么好的思路,请给些指点.

------解决方案--------------------
蒙特卡洛算法我们也用。。。可惜是数学家算好给我们的。。。。

帮顶吧
------解决方案--------------------
我不知道 BeanShell 的速度如何?
------解决方案--------------------
路过 学习

帮顶下
------解决方案--------------------
以脚本语言的计算能力根本就不适合做大规模数值计算。
你可以先把一个固定的计算公式用java写好,然后跟Rhino比较一下。保守的估计至少要差几十倍以上,rhino的脚本编译运行也不能提高太多的效率,因为它依旧要依靠脚本运行引擎。

如果计算公式不是经常变化的话,还是可以用java写,用javac动态编译。同时可以考虑用文件保存编译过的class。


------解决方案--------------------
不懂,顶下
------解决方案--------------------
5000 个数据计算 $0+$1*$2+$3 使用 BeanShell 的话需要 17~18 秒的时间,好像太耗时间了。
------解决方案--------------------
哈哈,改进了一下,把循环放到 BeanShell 里面用 JVM 去执行,5000 个数据计算 $0+$1*$2+$3 使用 BeanShell 的话压缩到了不到 600ms

参考:

Java code
import java.util.Random;

import bsh.EvalError;
import bsh.Interpreter;

public class Test2 {
    
    public static void main(String[] args) throws EvalError {        
        final int count = 5000;
        final int paramCount = 4;
        
        double[][] datas = new double[paramCount][count];
        Random ran = new Random();
        for(int i = 0; i < datas.length; i++) {
            for(int j = 0; j < datas[i].length; j++) {
                datas[i][j] = ran.nextDouble() * count;
            }
        }
        double[] results = new double[count];
        
        long t0, t1;
        t0 = System.currentTimeMillis();
        
        String exp = "$0 + $1 * $2 + $3";
        eval(exp, results, datas);
        
        t1 = System.currentTimeMillis();
        System.out.println(t1 - t0);
        
        // 测试正确性
        double[] res = new double[count];
        for(int j = 0; j < datas[0].length; j++) {
           for(int i = 0; i < datas.length; i++) {
               res[j] = datas[0][j] + datas[1][j] * datas[2][j] + datas[3][j]; 
           }
        }
        
        for(int i = 0; i < count; i++) {
            if(results[i] != res[i]) {
                System.out.printf("error! %.6f --> %.6f%n", results[i], res[i]);
            }
        }
    }
    
    public static void eval(String expression, double[] results, double[]... datas) throws EvalError {
        
        String ep = expression.replaceAll("\\$(\\d+)", "datas[$1][j]");
        
        String exp =
            " for(int j = 0; j < datas[0].length; j++) {" +
            "   for(int i = 0; i < datas.length; i++) {" +
            "     results[j] = " + ep + ";" +
            "   } " +
            " }";
        Interpreter bsh = new Interpreter();
        bsh.set("datas", datas);
        bsh.set("results", results);
        bsh.eval(exp);
        results = (double[])bsh.get("results");
    }
}

------解决方案--------------------
xuexi
------解决方案--------------------
BeanShell 支持的是 Java 语言
------解决方案--------------------
哈哈,我终于知道前面为什么要 600ms 了,因为我多做了几次循环,哎,真粗心!