离线安装Hadoop最新发行版本hdp2.4

发布于 2016-04-10 03:55:37 | 349 次阅读 | 评论: 0 | 来源: 分享

这里有新鲜出炉的Hadoop教程，程序狗速度看过来！

Hadoop分布式系统

一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

hdp2.4是hortonworks最新推出的100%开源的hadoop发行版本，其中包含了最新的spark 1.6，冲着这点，使用离线方式安装最新的2.4版本。

1. 主要点

假设服务器无网络环境，或者其中只有一台能上外网，或者上外网速度慢到相当于无网络。
离线下载数据包，解压，放到其中一台机器，开启http支持，其它内网能访问。
配置ubuntu的源，指向内网的机器，安装Ambari-server服务。再通过Ambari-server服务来安装其它所有的hadoop组件。

无网络环境安装，主要是访问hortonworks的速度太慢了，而且中间各种不稳定，因此采用离线的方式，能保证安装成功。

2. 具体的操作步骤

2.1 下载三个大文件，备用

# down.sh
nohup wget -c http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari-2.2.1.0-ubuntu14.tar.gz &gt; 1.log 2&gt;&amp;1 &amp;

nohup wget -c http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0/HDP-2.4.0.0-ubuntu14-deb.tar.gz &gt; 1.log 2&gt;&amp;1 &amp;

nohup wget -c http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14/HDP-UTILS-1.1.0.20-ubuntu14.tar.gz &gt; 2.log 2&gt;&amp;1 &amp;

2.2 解压

解压三个文件到某个目录，最后，目录中有如下

$ ls
AMBARI-2.2.1.0
ambari-2.2.1.0-ubuntu14.tar.gz
down.sh
HDP
HDP-2.4.0.0-ubuntu14-deb.tar.gz
HDP-UTILS-1.1.0.20
HDP-UTILS-1.1.0.20-ubuntu14.tar.gz

2.3 开启http

在目录下运行http服务，不需要Apache，也不需要Nginx以及他们的各种配置，使用一个命令即可：

$ python -m SimpleHTTPServer

看提示，已经开启了8000端口，web的根目录就为当前目录。

2.4 在内网其它机器，添加官方源

wget -nv http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

2.5 修改官方源配置文件

#VERSION_NUMBER=2.2.1.0-161
#deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

deb http://1.2.3.4:8000/AMBARI-2.2.1.0/ubuntu14/2.2.1.0-161 Ambari main

其中地址：http://1.2.3.4:8000即是上面的那台开启http的内网机器。后面的目录，可以根据前面下载解压后的目录来修改。

2.5 更新源并安装程序：

apt-get update
apt-get install ambari-server

2.6 配置ambari服务

ambari-server setup

其中自定义jdk版本，填写JAVA_HOME的路径为，根据具体的jdk路径来设置，比如：/opt/jdk

2.7 启动服务

ambari-server start

2.8 访问web界面

http://ip:8080 使用默认的admin/admin登录。

2.9 在选择源的地方，填写路径

# http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0

http://1.2.3.4:8000/HDP/ubuntu14/2.x/updates/2.4.0.0

# http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu12

http://1.2.3.4:8000/HDP-UTILS-1.1.0.20/repos/ubuntu14

注释的部分为hdp2.4的默认官方源，用自己的内网源替换即可。

2.10 后续服务安装

配置各机器证书登录，选择安装服务等等后续步骤。

安装好后，关闭前面的http服务即可。

就是这么简单，就是这么方便。走过，路过，请不要跳过，在大数据圈混，迟早有一天用得到的。

最后，如果遇到问题，请留言。