发布于 2015-12-19 08:54:00 | 171 次阅读 | 评论: 0 | 来源: PHPERZ

这里有新鲜出炉的Hadoop教程，程序狗速度看过来！

Hadoop分布式系统

一个分布式系统基础架构，由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

---

刚刚安装好了hadoop的单机版，这里记录一下

其实hadoop是免安装的，直接下载包就可以使用

关键是单机版的配置

hadoop下载地址：http://hadoop.apache.org/releases.html
注意不要把源码下载下来，要下载binary包

下载好之后主要配置一下几个地方：

hadoop-env.sh：主要配置JAVA_HOME

core-site.xml：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/datapool/fengkai/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)
    </property>
</configuration>

mapred-site.xml:

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>
</configuration>

这样的配置是单机版的配置，如果是分布式的话还压迫配置slaves和masters，不过单机版就不用了
最后还要注意hadoop的存放目录要改成hadoop:hadoop的权限，之后就差不多了
首先：
hadoop namenode -format
start-all.sh
直接运行一下jps；

    jar
    NameNode
    DataNode
    SecondaryNameNode
    Jps