CentOS 6.5上安装配置Hadoop

一般地,学习资源通常会使用老旧的版本,一方面,老旧版本比较稳定,另一方面,老旧版本功能略少,结构清晰,便于理解。但以下教程是根据回忆默写出来的,不保证正确性,只为装装逼玩玩而已,要求不要太高了。

1. 下载资源

2. 配置环境

2.1 JDK

2.1.1 安装

我们下载的是rpm包,所以这里直接安装:

rpm -ivh jdk1.8.0_92.rpm

2.1.2 环境变量配置

修改/etc/profile文件,也可以修改其他影响环境变量的文件

export JAVA_HOME=/usr/java/jdk1.8.0_92
export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

2.2 下载安装Hadoop

将下载的hadoop安装包放到/opt目录下,解压出来:

tar xvzf hadoop-2.7.2.tar.gz ; rm -f hadoop-2.7.2.tar.gz 

配置环境变量,修改/etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.2
# 修改以下行
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin

3. 配置Hadoop

3.1 修改以下四个配置文件:

修改etc/hadoop/hadoop-env.sh

# 明确指定JDK路径
export JAVA_HOME=/usr/java/jdk1.8.0_92

修改etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://centos:9000</value>
    </property>
</configuration>

注: 其中centos是我本机的hostname,需要在/etc/hosts中明确指定127.0.0.1::1映射到这个hostname

修改etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/data</value>
    </property>
</configuration>

修改etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>centos:9001</value>
    </property>
</configuration>

3.2 初始化

执行命令对Hadoop进行格式化

hadoop namenode -format

3.3 启动Hadoop

sbin/start-all.sh

完毕!