日期:2014-05-16  浏览次数:20557 次

【转】基于内存数据库的分布式数据库架构

??????????????????????? --------本文是同事在程序员发表的文章,记录下来。

?

【摘要】 本文提出了一种通过引入内存数据库层,建立两层多分区分布式数据库架构。此方案用于解决海量高并发系统的数据存储和访问问题,尤其适用于电子商务等数据模型复杂且业务复杂的互联网站。

?

这些年互联网站发展迅猛,为应对海量数据下的高并发访问,产生了各种分布式架构设计思想,例如Key-Value引擎,数据分区等。而对于电子商务类网站,海量数据问题还有一个重要特点,就是数据结构化及数据之间的关联,淘宝如此,阿里巴巴也是如此,这是与社区、视频、 博客等互联网站的显著差异。

?

1.? NoSQL 是灵丹妙药吗?

NoSQLKey-Value 引擎如BigTableCassendra等在很多大型网站被采用,很好的解决了海量数据存储和访问问题。而对于电子商务类网站,Key-ValueNoSQL并不是解决此问题的灵丹妙药。最多它们仅能用于一些数据模型较为简单的应用。

原因有两个方面:

1)数据模型复杂

淘宝和阿里巴巴的会员、宝贝、供求、订单等核心实体数据模型复杂,属性个数几十到上百个。例如:会员(Member)就包含基本信息、联系、工商、账户等多个域的信息;另外,核心实体之间,外围实体与核心实体之间还存在复杂的关联。

2)业务复杂:

模型的复杂源于业务和逻辑的复杂。电子商务网站大量查询场景是结构化查询,例如:

在淘宝上查询“卖家在江浙沪,价格在50-200元的男士T恤”,

在阿里巴巴上“列出某个会员所有待发货的订单”

这类查询(当然,阿里巴)主要针对多个非主键字段, 即便对于BigTableCassandra 这样的基于ColumnKey-Value数据库,其简单的Query API还无法胜任此类需求。 因此在阿里巴巴和淘宝,OracleMySQL 等关系数据库将仍然扮演重要角色。

?

2. MySQL 集群

引入K-V引擎等非关系数据库无非是要解决海量数据在高并发环境下的高效读写问题,最大程度在可靠的持久化(Durable)与高访问性能 (Performance) 之间选择一个平衡点。在高度结构化系统中,同样的考虑驱使我们需要考虑另外的解决方案。