日期:2014-05-16  浏览次数:21000 次

使用Apache的Commons-Collection库中提供的BlockingBuffer实现数据异步处理

?


数据异步处理是常见的需求。假设一下场景:?

系统可能存在大量的数据并发写入某文件或某数据库表,而写入时还有相关业务处理,但是写入的结果对写入人来说毫不关心,无论是否写入成功都不重要,也不需要他立刻写入,慢慢写也可以。?

于是,我们可以用一种思路来解决,即创建一个队列,外部代码只负责将要处理的数据写入该队列,另有一个线程,尝试清空该队列,也就是处理数据。?

这就是一个比较简单的生产者和消费者的多线程模式,只是只有一个消费者,生产者很多。?


对于这种模式Apache开源库中的commons-collections中的Buffer,尤其是BlockingBuffer很好的实现了我们所说的这个队列。?

这个队列提供了一个"remove"方法,尝试获得队列中的数据,如果这个队列为空,这个方法将会阻塞,直到有数据为止。?

接下来,我们可以将这个逻辑封装为以下类:写道
public class DataDealer
{
? ? private final Buffer dataBuffer; // 数据buffer,因为使用匿名类,所以声明为final

? ? public DataDealer()
? ? {
? ?? ???// 初始化阻塞队列,原始队列是一个无边界的先进先出队列,也是Apache的同一个库中提供的
? ?? ???dataBuffer = BlockingBuffer.decorate( new UnboundedFifoBuffer(??) );

? ?? ???// 创建数据处理线程
? ?? ???Thread dealThread = new Thread( new Runnable()
? ?? ???{
? ?? ?? ?? ?public void run()
? ?? ?? ?? ?{
? ?? ?? ?? ?? ? while ( true )? ?// 永远尝试获得数据并处理,因此死循环
? ?? ?? ?? ?? ? {
? ?? ?? ?? ?? ?? ???System.out.println( "尝试获取要处理的数据" );
? ?? ?? ?? ?? ?? ???Object toDeal = dataBuffer.remove(); // 如果拿不到数据,就会阻塞
? ?? ?? ?? ?? ?? ???System.out.println( "dealing:" + toDeal ); // 真正的业务处理代码就在这里
? ?? ?? ?? ?? ?? ???System.out.println( "数据处理完毕" );
? ?? ?? ?? ?? ? }
? ?? ?? ?? ?}
? ?? ???}, "数据处理线程" );

? ?? ???dealThread.setDaemon( true );??// 将这个数据处理线程设置为守护线程,如果主线程退出,那么个数据处理线程也自动退出
? ?? ???dealThread.start();??// 启动这个线程
? ? }

? ? // 外部业务方法就简单了,调用这个方法提交一个要处理的对象,其实现逻辑只是将其加入队列而已
? ? public void addDataToWrite( Object toWhite )
? ? {
? ?? ???dataBuffer.add( toWhite );
? ? }

}

?以上代码有一个注意事项,就是这个对象每创建一次就会发起一个线程,实际使用中,应该对其进一步改进,实现单例模式。

?