施用数据库来均匀非配任务
日期：2014-05-16 浏览次数：20316 次
使用数据库来均匀非配任务
最近做的一个项目中，有一个计算模块非常的消耗cpu资源，所以就从开始就规划成了一个并发的模块。并发就难免要处理任务的分配，在这个项目中使用了一个非常简单的方式做了这个任务分配，后来在stack overflow上也看见这个方法。感觉还有意思的。
具体的做法就是先将任务持久化到数据库中，table的名字是xx_task结构可以是：
| id ? ?? | c1 ? ? ? | c2 ? ?? |
然后每个计算实例主动来这个表中领取任务，为了避免两个计算实例领取到相同的任务可以按照任务的id对任务集合做一个hash。然后每个计算实例去自己的任务子集中拿属于自己的任务。比如，部署了7个计算实例，那么编号为1的计算实例领取任务的sql可以这样写：
select * from xx_task where id mod 7 = 0
只要任务的id是连续的，那么就可以保证均匀的分配任务了。当然，这个方法有个弊端，就是没有master，如果一个计算实例crash了，那么它的任务就没人做了。所以对于那种高可用要求的场景可能就不太合适了。
免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
