php通过shell调用Hadoop的方法

发布于 2014-10-29 08:49:55 | 253 次阅读 | 评论: 0 | 来源: 网友投递

Hadoop分布式系统

一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

本文为大家讲解的是 php通过shell调用Hadoop的方法 ,感兴趣的同学参考下。

Hadoop是一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

1.php代码(index.php)

<!DOCTYPE html>
<html>






<body>
<?php
header('Content-type: text/html; charset=UTF8');
#phpinfo();
$jiaoben = $_GET['jiaoben'];
echo "执行Hadoop的log信息：";
$ret= system("sh /home/work/$jiaoben", $status);
if($status != 0) {
echo ' failed, status=' . "$status\n";
} else {
    echo $ret;
        echo "<br><br>";
}

?>
</body>
</html>

2.shell代码（hadoop.sh）

#!/bin/bash
echo "wordCount test start"
rm -rf ~/file_20141024
mkdir ~/file_20141024
cd ~/file_20141024
echo "Hello World" > file1.txt
echo "Hello China Beijing" > file2.txt
cd /home/work/hadoop/bin
./hadoop dfs -rmr input_20141024
./hadoop dfs -rmr output_20141024
./hadoop fs -mkdir input_20141024
#hadoop fs -chomod -R 777 /input_20141024
./hadoop fs -put ~/file_20141024/file*.txt input_20141024
./hadoop jar /home/work/hadoop/hadoop-examples-1.1.2.jar wordcount input_20141024 output_20141024
./hadoop fs -ls output_20141024
./hadoop fs -cat output_20141024/part-r-00000
echo "wordCount test end"

3. 访问http://ip:8888/index.php?jiaoben=hadoop.sh

查询结果：

/user/work/output_20141024/part-r-00000 Beijing 1 China 1 Hello 2 World 1

最新网友评论 共有(0)条评论发布评论返回顶部

Hadoop分布式系统

后端技术

前端技术

数据库

热门框架

常用IDE

其他