日期:2014-05-16  浏览次数:20667 次

Linux下安装搭建Hadoop集群

参考:http://blog.csdn.net/wangfaqiang/article/details/7244552

通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\
官方地址:(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)

1 先决条件
??? 确保在你集群中的每个节点上都安装了所有必需软件:sun-JDK? ,ssh,Hadoop
??? JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。
??? ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。

2 实验环境搭建
?? 2.1? 准备工作
???? 操作系统:CentOS release 6.3
???? 部署:Vmvare
???? 在vmvare安装好一台Linux虚拟机后,可以导出或者克隆出另外两台虚拟机。
???? 说明:
???? 保证虚拟机的ip和主机的ip在同一个ip段,这样几个虚拟机和主机之间可以相互通信。
???? 为了保证虚拟机的ip和主机的ip在同一个ip段,虚拟机连接设置为桥连。

???? 准备机器:一台master,若干台slave,配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访,例如:
???? 192.168.1.105 node(master)? ?
???? 192.168.1.151 node1 (slave1)? ?
???? 192.168.1.152 node2 (slave2)
????? 192.168.1.153 node3 (slave2)
???? 主机信息: ?

机器名

??IP地址

作用

master

192.168.1.105

NameNodeJobTracker

slave1

192.168.1.151

DataNodeTaskTracker

slave2

192.168.1.152

DataNodeTaskTracker

slave3

192.168.1.153