日期:2014-05-16  浏览次数:20526 次

企业应用数据迁移
开源ETL工具 Kettle
Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。


0 准备工作:

1、做好原始数据备份,这个不再赘述;
2、建立老系统和新系统模型的对应关系,如果发现对应不上的情况,赶紧修改;即使已经建立过关系,强烈建议再次进行核对。
3、确定迁移时间:
   3.1何时进行迁移:一般来说,选择夜间没有新业务时;
   3.2初步估计迁移需要多少时间:如数据较多,迁移时间较长,可以考虑将数据按条件分多个批次进行迁移。

迁移:
1、选择工具:如果是相同类型的数据库的迁移,可以考虑用存储过程,更推荐使用数据迁移工具来做,一般来说,就kettle就够了;如果是超大数据量,还不差钱的话,可以使用商业工具,Informatica,ODI等等;
2、数据库环境:建议搭建一个与新系统完全相同的测试环境,至少数据库环境要完全相同;
3、迁移:这个用工具,将老系统数据迁移到测试环境的数据库,具体过程不再赘述;如果不同类型的数据库,要特别注意数据类型之间的匹配关系;

完成迁移:
1、迁移完成后,立即启用新系统,让新系统使用测试环境的数据库,如果发现有问题,在进行修改。

基本上就这些了,最后总结一下:
1、一定要做好规划;
2、测试、测试、再测试。