发布于 2016-05-26 04:15:10 | 137 次阅读 | 评论: 0 | 来源: 网友投递
PHP开源脚本语言
PHP（外文名: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，入门门槛较低，易于学习，使用广泛，主要适用于Web开发领域。PHP的文件后缀名为php。
这篇文章主要介绍了PHP获取网页所有连接的方法,涉及PHP基于curl针对网页的操作技巧,并带附demo源码供读者下载参考,需要的朋友可以参考下
本文实例讲述了PHP获取网页所有连接的方法。分享给大家供大家参考，具体如下：
function getHtml($url, $charset='utf-8')
{
$curl = curl_init();
//curl_setopt($curl, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:192.168.168.1', 'CLIENT-IP:192.168.168.1'));//IP
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_REFERER, ""); //来路
$user_agent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31';
curl_setopt($curl, CURLOPT_USERAGENT, $user_agent);
// 只需返回HTTP header
// curl_setopt($curl, CURLOPT_HEADER, 1);
// 页面内容我们并不需要
// curl_setopt($curl, CURLOPT_NOBODY, 1);
// 返回结果，而不是输出它
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($curl);
//$info = curl_getinfo($curl);
//echo var_dump($info);
if ($html === false) {
//echo "cURL Error: " . curl_error($ch);
return '';
}
curl_close($curl);
if ($charset != 'utf-8')
{
$html = iconv($charset, "UTF-8", $html);
}
return $html;
}
header("Content-type: text/html; charset=utf-8");
include('simple_html_dom.php');
// 要打开 extension=php_mbstring.dll
//$url = 'http://www.baidu.com/s?wd=kaka';
$url = 'http://www.163.com/';
$str_html = getHtml($url, 'gbk');
$html = str_get_html($str_html);
$links = $html->find('a');
foreach($links as $link)
{
$txt = trim($link->plaintext);
echo $link->href . '[' . $txt . ']<br>';
}
$html = null;