日期:2014-05-16  浏览次数:20625 次

hadoop0.20.2配置 in linux(ubuntu)

配置ssh

创建密钥,这里p后面是空密码,不推荐使用空密码

ssh-keygen -t rsa -P ''

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

配置完后,执行一下 ssh localhost, 确认你的机器可以用 SSH 连接,并且连接时不需要手工输入密码

下载hadoop

wgethttp://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz

tar -xvf hadoop-0.20.2.tar.gz

增加环境变量

在/etc/environment

HADOOP_HOME=目录路径

JAVA_HOME=jdk路径

在/etc/profile中增加

exportHADOOP_HOME=目录路径

export JAVA_HOME=jdk路径

修改hadoop配置文件

修改$HADOOP_HOME/conf/hadoop-env.sh

#export JAVA_HOME=

改为export JAVA_HOME=jdk路径

设置HDFS目录

mkdir /$HOME/tmp

chmod -R 777 /$HOME/tmp

修改/conf/core-site.xml文件

增加

<property>
<name>hadoop.tmp.dir</name>
<value>/home/du/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
</property>

修改conf/mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

修改