hadoop2.6.3安装

2019-02-27 17:37:04 5307

Ubuntu 14.04 LTS 64位版本上安装hadoop 2.6.3过程记录


安装JDK

安装并设置ssh免密码登录

安装hadoop2.6.3

安装jdk并设置好JDK环境变量

jdk的具体安装和设置这里不赘述,网上一大堆参考文章。


安装并设置ssh免密码登录

ssh不是hadoop的依赖环境,但是如果你要登录管理成百上千台hadoop主机,ssh的免密码登录必不可少。 shell命令如下

sudo apt-get update
sudo apt-get install ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_rsa
cat .ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行 ssh localhost 

如果显示如下信息,说明ssh免密码登录已经配置好了,第一次登录时会询问是否继续,输入yes即可。


The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is ec:67:f0:9f:51:ac:5b:2d:6a:d3:61:3c:2e:93:1d:81.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 14.04.3 LTS (GNU/Linux 3.13.0-65-generic x86_64)
 * Documentation:  https://www.landui.com/
The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

安装hadoop-2.6.3

下载并解压hadoop-2.6.3.tar.gz

sudo mkdir -p /opt/hadoop
cd /opt/hadoop
wget http://www.landui.com/dyn/closer.cgi/hadoop/common/hadoop-2.6.3/hadoop-2.6.3.tar.gz
tar -zxvf hadoop-2.6.3.tar.gz


配置以下3个配置文件

etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>    
</configuration>

格式化hadoop的文件系统HDFS

./bin/hdfs namenode -format


启动hadoop所有进程

./sbin/start-dfs.sh
./sbin/start-yarn.sh


提示 localhost: Error: JAVA_HOME is not set and could not be found.


修改etc/hadoop/hadoop-env.sh文件中下面这一行:

export JAVA_HOME=${JAVA_HOME}


修改为使用绝对路径值

export JAVA_HOME=/linuxdata/apps/jdk1.8.0_45 # 绝对路径


重新执行上述启动命令,即可启动,提示如下:


Starting namenodes on [localhost]
localhost: starting namenode, logging to /linuxdata/apps/hadoop-2.6.3/logs/hadoop-root-namenode-kline-r400.out
localhost: starting datanode, logging to /linuxdata/apps/hadoop-2.6.3/logs/hadoop-root-datanode-kline-r400.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /linuxdata/apps/hadoop-2.6.3/logs/hadoop-root-secondarynamenode-kline-r400.out
starting yarn daemons
starting resourcemanager, logging to /linuxdata/apps/hadoop-2.6.3/logs/yarn-root-resourcemanager-kline-r400.out
localhost: starting nodemanager, logging to /linuxdata/apps/hadoop-2.6.3/logs/yarn-root-nodemanager-kline-r400.ou


提交成功!非常感谢您的反馈,我们会继续努力做到更好!

这条文档是否有帮助解决问题?

非常抱歉未能帮助到您。为了给您提供更好的服务,我们很需要您进一步的反馈信息:

在文档使用中是否遇到以下问题: