日期:2014-05-16  浏览次数:20565 次

hadoop学习之-Sqoop与关数据库(mysql)之间导入实践

一、            Sqoop概述

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到HadoopHDFS中,也可以将HDFS的数据导进到关系型数据库中。

 

二、            Sqoop安装配置

软件下载:

Sqoop官方版本:http://apache.dataguru.cn/sqoop/1.4.2/

Sqoop CDH版本:http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

Hadoop CDH版本:http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz

 

 

安装环境:

--所涉及软件版本

Os versionredhad linux 5.6 64bit

Hadoop versionHadoop-0.20.2 for linux

Sqoop versionsqoop-1.2.0-CDH3B4

Hbase versionhbase-0.90.5

Mysql version5.5.24 MySQL Community Server (GPL) for windows 64bit

Oracle versionoracel 11.2.0.3 for linux 64bit

 

Hadoop架构:

主机名

IP

节点名

进程名

gc

192.168.2.100

master