环境：CentOs5、hadoop0.20.203、jdk1.6.0_29
namenode:centos1(ip:192.168.1.101)
datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)
配置步骤：
（1）配置NameNode和DataNode
修改每台机器的/etc/hosts(包括namenode和datanode)
127.0.0.1 localhost.localdomain localhost
192.168.1.101 centos1
192.168.1.103 centos2
192.168.1.104 centos3
::1 localhost6.localdomain6 localhost6
(2)在所有的机器上建立相同的用户
useradd grid
passwd grid
成功建立grid用户后，输入用户密码就是该用户密码
（3）SSH设置
使用grid用户登录
在所有机器/home/grid下
mkdir .ssh
在namenode上生成密钥对
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注意点：
不进行以下步骤SSH免密码登录设置会不成功
.ssh目录要设成700 有执行权限
authorized_keys要设成600 否则会出错
还有ssh 登陆要加入用户名的 比如
ssh root@localhost
这时从centos1向其他机器发起SSH连接，只有第一次登录时需要输入密码，以后则不需要
（4）在所有机器上安装JDK
下载jdk-6u29-linux-i586.bin,安装到/usr/java下，cd到usr/java下
chmod u+x jdk-6u29-linux-i586.bin
./jdk-6u29-linux-i586.bin
接下来要设置java的环境变量输入命令：
gedit /etc/profile
在文件的最后添加以下语句：
JAVA_HOME=/usr/java/jdk1.6.0_29
export JRE_HOME=/usr/java/jdk1.6.0_29/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存退出，然后执行source /etc/profile即可。
输入java -version 命令，出现如下信息就表示配置成功
java version "1.6.0_29"
Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)
(5)在所有机器上安装配置Hadoop
首先在namenode上配置，配置后在分发到datanode上
在这里，下载hadoop-0.20.203.tar.gz，然后解压到/home/grid/下即可
tar -zxvf hadoop-0.20.203.tar.gz
接下来需要修改hadoop的conf文件夹下的配置信息：
修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。：
export JAVA_HOME=/usr/java/jdk1.6.0_29
修改core-site.xml，如下：
<configuration><property><name>fs.default.name</name><value>hdfs://centos1:9000</value>
</property><property><name>hadoop.tmp.dir</name><value>/home/grid/tmp</value>
</property></configuration>
注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。
修改hdfs-site.xml，如下
<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>
修改mapred-site.xml，如下：
<configuration><property><name>mapred.job.tracker</name><value>192.168.1.101:9001</value></property></configuration>
保险起见这里写centos1对应的IP地址
masters里写入作为namenode节点机器的IP
192.168.1.101
slaves里写入作为datanode节点的机器的IP
192.168.1.103
192.168.1.104
注意点：
修改hadoop-0.20.203.0/bin下的hadoop.
vi hadoop
查找 –jvm . vi 下的命令模式： :/-jvm
将-jvm server改成 –server .
因为JDK1.6已经废除了一个参数-jvm,如果不修改的话，无法启动数据节点。
到此，hadoop的有关配置已经完成，namenode端通过如下命令把配置好的hadoop发送到各个datanode处：
scp -r hadoop-0.20.2 centos2:/home/grid
scp -r hadoop-0.20.2 centos3:/home/grid
(6)
注意点：关闭所有机器上的防火墙，不然会导致datanode起不来
/etc/init.d/iptables stop
在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
bin/hadoop namenode -format
下面接着在namenode端启动hadoop进程：
bin/start-all.sh
如果没有其它差错的话，hadoop可以正常启动，并能够看到如下结果：
在namenode端用jps命令查看启动情况，如下：
grid@centos1:~/hadoop-0.20.203$ jps
xxxx Jps
xxxx Namenode
xxxx Secondarynamenode
xxxx JobTracker
在datanode端用jps查看启动情况，如下：
grid@centos2:~/hadoop-0.20.203$ jps
xxxx Jps
xxxx DataNode
xxxx TaskTracker
然后可以通过如下地址来查看集群运行状况：
http://centos1:50030
http://centos1:50070
http://centos2:50060
打完收工！！！
---------------------------------------------------------------------------我是分割线---------------------------------------------------------------------------------------------------------------------------------------------
跑hadoop自带的wordcount程序
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt /tmp/wordcount/out
4、查看运行结果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果，发现有两个文件夹和一个文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。
注意：如果出现java.net.NoRouteToHostException: No route to host，关闭防火墙
/etc/init.d/iptables stop
Hadoop应用之Hadoop安装篇
2010-06-04 10:01 rhunix chinaunix.com
我要评论(0) 字号：
T |
T
Hadoop相信大家应该有所了解，那么对它的应用你是否熟悉，这里就向大家介绍一下Hadoop应用之一：Hadoop安装问题，希望本文的介绍对你学习有所帮助。
AD：
本节继续向大家介绍hadoop应用中Hadoop安装方面的内容，上节我们介绍了Hadoop安装之前的环境配置，下面就开始Hadoop安装了，欢迎大家一起来学习，希望通过本节介绍大家对Hadoop应用有深一步的理解。
一，安装hadoop系统
1，添加用户（所有namenode和datanode需要使用相同的用户名,所有的信息传输需要用户认证）
freebsd7test1#adduser
Username:rhinuxdoop
Fullname:
Uid(Leaveemptyfordefault):
Logingroup[rhinuxdoop]:
Logingroupisrhinuxdoop.Inviterhinuxdoopintoothergroups?[]:
Loginclass[default]:
Shell(shcshtcshbashrbashnologin)[sh]:bash//注意最好使用bash,其实程序运行的时候会自动指定shell环境
Homedirectory[/home/rhinuxdoop]:/services/rhinuxdoop
客户端必须是和服务端同样的用户名
2，hadoop需要使用rsync+ssh同步状态和数据，需要无需输入密码就可访问,所以设置用密钥认证
a,生产密钥对（用添加的用户操作本例用户为rhinuxdoop）
[rhinuxdoop@freebsd7test1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
默认在~/.ssh/下
b,在本机用户中添加
[rhinuxdoop@freebsd7test1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c,添加到其他datanode
将namenoderhinuxdoop用户目录下.ssh/id_rsa.pub文件内容导入其他datanode
[rhinuxdoop@freebsd7test2~]$catid_dsa.pub>>~/.ssh/authorized_keys
d，测试：用rhinuxdoop在namenode上登陆让后ssh到所有的datanode（本例中包括自己机器）
应该无需密码就可以登陆
3，下载hadoop安装软件
a,去http://hadoop.apache.org/core/下载最新版本hadoop目前为0.16.0版
b,解压hadoop-0.16.0.tar.gz到用户目录/services/rhinuxdoop/
[rhinuxdoop@freebsd7test1~]$tarzxvfhadoop-0.16.0.tar.gz.
4,hadoop-0.16.0目录结构说明：
a,bin存放脚本程序，
比如主控制程序hadoop,
启动脚本start-all.sh--启动所有hadoop进程start-dfs.sh--启动DFS进程start-mapred.sh启动MAP/Reduce进程
停止脚本stop-all.shstop-dfs.shstop-mapred.sh
b，conf配置文件目录，
环境配置文件hadoop-env.sh可以配置环境变量，比如JAVA_HOME已经系统默认等。
默认配置文件hadoop-default.xml此文件不能修改需要设置参数请修改hadoop-site.xml
自定义配置文件hadoop-site.xml此文件可以自定义配置，出现在该文件中的配置项，系统将自动取代默认配置文件hadoop-default.xml中的配置项
namenode指定文件masters此文件来指定master(namenode)机器名
datanode指定文件slaves此文件来指定slave(datanode)机器列表，每台机器名占一行
c，log目录
默认日志存放目录
d，各配置文件具体参数说明和研究下一个版本中给出。下面我们看一下Hadoop安装过程中hadoop配置(freebsd7test1)。
5，hadoop配置(freebsd7test1)：
a,建立namenode存储目录及数据目录
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置环境变量，编辑./conf/hadoop-env.sh
===============hadoop-env.sh====================
exportJAVA_HOME=/usr/local/jdk1.5.0
#至少要设置JAVA_HOME，另外也可以设置HADOOP_HOME-系统目录,HADOOP_HOME默认为bin目录的父目录
=================================================
c，配置hadoop-site.xml(关于可配置项已经各配置项的说明可以参考hadoop-default.xml)
配置项格式为：
- <property>
- <name>io.file.buffer.size</name>
- <value>4096</value>
- <description>Thesizeofbufferforuseinsequencefiles.
- Thesizeofthisbuffershouldprobablybeamultipleofhardware
- pagesize(4096onIntelx86),anditdetermineshowmuchdatais
- bufferedduringreadandwriteoperations.</description>
- </property>
-
- <property>
- <name>配置项名字</name>
- <value>配置项的值</value>
- <description>配置项的说明此文字只是帮助人理解用.</description>
- </property>
-
格式化namenode
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopnamenode-format
无报错既可，Hadoop安装过程中freebsd7test1基本配置已完成
6，hadoop配置(freebsd7test2及其他datanode)
a，其他datanode必须保持namenode相同的目录结构所以把namenode目录复制过去
[rhinuxdoop@freebsd7test1~]$scp-rhadoop-0.16.0172.16.27.82:/services/rhinuxdoop/
7，启动hadoop
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/start-all.sh
此时会告知日志记录的目录和文件名，日志记录基本可以在hadoop-site.xml中设定默认在hadoop-default.xml中设置为info
8,查看和测试。
a,系统开启9000和9001端口分别为dfs的namenode和mapreduce的jobtracke监听口。
b,查看datanode状态：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopdfsadmin-report可以看到各点的状态
c,存放文件：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-put/home/xuyunfeng/tzupdater-1.3.3-2007k.ziptzupdater-1.3.3-2007k.zip
将在本地系统目录的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系统根目录中。
d,查看hadoop文件系统目录[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2<r3>543472742008-02-2810:57rw-r--r--rhinuxdoopsupergroup
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip<r3>2637152008-02-2816:16rw-r--r--rhinuxdoopsupergroup
e,更多hadoop文件系统命令操作请参考手册
f，api调用测试后续
g,可以通过web形式去浏览NameNode和JobTracker，默认端口为：
◆NameNode-http://freebsd7test1.rhinux.com:50070
◆JobTracker-http://freebsd7test1.rhinux.com:50030
◆需要在浏览的机器上配置好hosts。至此本节关于Hadoop应用中Hadoop安装内容介绍完毕。
