日期:2014-05-16  浏览次数:20467 次

Hadoop自学笔记(五)配置分布式Hadoop环境

上一课讲了如何在一台机器上建立Hadoop环境,我们只配置了一个NHName Node, 这个Name Node里面包含了我们所有Hadoop的东西,包括Name Node, Secondary Name Node, Job Tracker, Task Tracker,这一课讲解如何把上述配置放到不同机器上,从而构建一个分布式的hadoop配置。


1. hadoop分布式安装概览

a) 2-10nodes:Name Node, Job Tracker, Secondary Name Node都可以放在一台机器上,所有的Data NodeTask Tracker放在其他机器上

b) 10-40nodes: 可以把Secondary Name Node分开来

c) 100+ nodes: 所有的NodeTrackers都分开放,并且添加rack awareness支持,同时需要各类优化设置。


本课的流程:

配置好ssh到所有的机器上,使其可以免输入密码连接(如同上一课所述)

配置好mastersslaves

配置好所有的*-site文件

学习使用命令来启动,控制和关闭Hadoop(常用脚本说明如下图)。


2. 配置Hadoop2-10个节点上

这个图很帅,我们在HN Client机器上来控制所有的Hadoop机器,每个机器给一个窗口(下图已经通过ssh链接到每台机器了,链接方式见上一课)。


第一步:取消所有机器上面的ssh密码访问

ssh-copy-id -i $HOME/.ssh/id-rsa.pub nuggetuser@HNData1

把这个文件拷贝到所有的HNDataSecondary Name Node上面。这样就可以无密码登陆了。


第二步:配置MasterSlaves

所有的配置文件都在