PHP程序员站--PHP编程开发平台
 当前位置:主页 >> PHP高级编程 >> 高级应用 >> 

PHP采集之CURL函数库

PHP采集之CURL函数库

来源:互联网  作者:  发布时间:2010-02-02
目前为目最全的CURL中文说明了,学PHP的要好好掌握。有很多的参

目前为目最全的CURL中文说明了,学PHP的要好好掌握。有很多的参数。大部份都很有用。真正掌握了它和正则,一定就是个采集高手了。

先写一个简单的抓取页面函数

function GetSources($Url,$User_Agent='',$Referer_Url='') //抓取某个指定的页面
{
//$Url 需要抓取的页面地址
//$User_Agent 需要返回的user_agent信息 如“baiduspider”或“googlebot”
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $Url);
curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent);
curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$MySources = curl_exec ($ch);
curl_close($ch);
return $MySources;
}
 

参数取值:

$Url = "http://www.baidu.com";

$User_Agent = "baiduspider+(+http://www.baidu.com/search/spider.htm)";

$Referer_Url = 'http://www.chinaz.com/';

执行GetSources($Url,$User_Agent,$Referer_Url)后的结果为:
http://test.huangchao.org/curl/curl_test1.php
PHP中的CURL函数库(Client URL Library Function)

curl_close — 关闭一个curl会话;

curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数;

curl_errno — 返回一个包含当前会话错误信息的数字编号;

curl_error — 返回一个包含当前会话错误信息的字符串;

curl_exec — 执行一个curl会话;

curl_getinfo — 获取一个curl连接资源句柄的信息;

curl_init — 初始化一个curl会话;

curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源;

curl_multi_close — 关闭一个批处理句柄资源;

curl_multi_exec — 解析一个curl批处理句柄;

curl_multi_getcontent — 返回获取的输出的文本流;

curl_multi_info_read — 获取当前解析的curl的相关传输信息;

curl_multi_init — 初始化一个curl批处理句柄资源;

curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源;

curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected";

curl_setopt_array — 以数组的形式为一个curl设置会话参数;

curl_setopt — 为一个curl设置会话参数;

curl_version — 获取curl相关的版本信息;

curl_init()函数的作用初始化一个curl会话,curl_init()函数唯一的一个参数是可选的,表示一个url地址;

curl_exec()函数的作用是执行一个curl会话,唯一的参数是curl_init()函数返回的句柄;

curl_close()函数的作用是关闭一个curl会话,唯一的参数是curl_init()函数返回的句柄;

PHP代码
<?php   
$ch = curl_init("http://blog.huangchao.org/");   
curl_exec($ch);   
curl_close($ch);   
?>  
curl_version()函数的作用是获取curl相关的版本信息,curl_version()函数有一个参数,不清楚是做什么的;

PHP代码
<?php   
print_r(curl_version())   
?>  

curl_getinfo()函数的作用是获取一个curl连接资源句柄的信息,curl_getinfo()函数有两个参数,第一个参数是curl的资源句柄,第二个参数是下面一些常量:

PHP代码
<?php   
$ch = curl_init("http://blog.huangchao.org/");   
print_r(curl_getinfo($ch));   
?>  

可选的常量包括:

CURLINFO_EFFECTIVE_URL:最后一个有效的url地址;

CURLINFO_HTTP_CODE:最后一个收到的HTTP代码;

CURLINFO_FILETIME:远程获取文档的时间,如果无法获取,则返回值为“-1”;

CURLINFO_TOTAL_TIME:最后一次传输所消耗的时间;

CURLINFO_NAMELOOKUP_TIME:名称解析所消耗的时间;

CURLINFO_CONNECT_TIME:建立连接所消耗的时间;

CURLINFO_PRETRANSFER_TIME:从建立连接到准备传输所使用的时间;

CURLINFO_STARTTRANSFER_TIME:从建立连接到传输开始所使用的时间;

CURLINFO_REDIRECT_TIME:在事务传输开始前重定向所使用的时间;

CURLINFO_SIZE_UPLOAD:上传数据量的总值;

CURLINFO_SIZE_DOWNLOAD:下载数据量的总值;

CURLINFO_SPEED_DOWNLOAD:平均下载速度;

CURLINFO_SPEED_UPLOAD:平均上传速度;

CURLINFO_HEADER_SIZE:header部分的大小;

CURLINFO_HEADER_OUT:发送请求的字符串;

CURLINFO_REQUEST_SIZE:在HTTP请求中有问题的请求的大小;

CURLINFO_SSL_VERIFYRESULT:Result of SSL certification verification requested by setting CURLOPT_SSL_VERIFYPEER;

CURLINFO_CONTENT_LENGTH_DOWNLOAD:从Content-Length: field中读取的下载内容长度;

CURLINFO_CONTENT_LENGTH_UPLOAD:上传内容大小的说明;

CURLINFO_CONTENT_TYPE:下载内容的“Content-type”值,NULL表示服务器没有发送有效的“Content-Type: header”;

curl_setopt()函数的作用是为一个curl设置会话参数。curl_setopt_array()函数的作用是以数组的形式为一个curl设置会话参数;

PHP代码
<?php   
$ch = curl_init();   
$fp = fopen("example_homepage.txt", "w");   
curl_setopt($ch, CURLOPT_FILE, $fp);   
$options = array(   
CURLOPT_URL => 'http://www.baidu.com/',   
CURLOPT_HEADER => false   
);   
curl_setopt_array($ch, $options);   
curl_exec($ch);   
curl_close($ch);   
fclose($fp);   
?>  

可设置的参数有:

CURLOPT_AUTOREFERER:自动设置header中的referer信息;

CURLOPT_BINARYTRANSFER:在启用CURLOPT_RETURNTRANSFER时候将获取数据返回;

CURLOPT_COOKIESESSION:启用时curl会仅仅传递一个session cookie,忽略其他的cookie,默认状况下curl会将所有的cookie返回给服务端。session cookie是指那些用来判断服务器端的session是否有效而存在的cookie;

CURLOPT_CRLF:启用时将Unix的换行符转换成回车换行符;

CURLOPT_DNS_USE_GLOBAL_CACHE:启用时会启用一个全局的DNS缓存,此项为线程安全的,并且默认为true;

CURLOPT_FAILONERROR:显示HTTP状态码,默认行为是忽略编号小于等于400的HTTP信息;

CURLOPT_FILETIME:启用时会尝试修改远程文档中的信息。结果信息会通过curl_getinfo()函数的CURLINFO_FILETIME选项返回;

CURLOPT_FOLLOWLOCATION:启用时会将服务器服务器返回的“Location:”放在header中递归的返回给服务器,使用CURLOPT_MAXREDIRS可以限定递归返回的数量;

CURLOPT_FORBID_REUSE:在完成交互以后强迫断开连接,不能重用;

CURLOPT_FRESH_CONNECT:强制获取一个新的连接,替代缓存中的连接;

CURLOPT_FTP_USE_EPRT:TRUE to use EPRT (and LPRT) when doing active FTP downloads. Use FALSE to disable EPRT and LPRT and use PORT only;Added in PHP 5.0.0.

CURLOPT_FTP_USE_EPSV:TRUE to first try an EPSV command for FTP transfers before reverting back to PASV. Set to FALSE to disable EPSV;

CURLOPT_FTPAPPEND:TRUE to append to the remote file instead of overwriting it;

CURLOPT_FTPASCII:An alias of CURLOPT_TRANSFERTEXT. Use that instead;

CURLOPT_FTPLISTONLY:TRUE to only list the names of an FTP directory;

CURLOPT_HEADER:启用时会将头文件的信息作为数据流输出;

CURLOPT_HTTPGET:启用时会设置HTTP的method为GET,因为GET是默认是,所以只在被修改的情况下使用;

CURLOPT_HTTPPROXYTUNNEL:启用时会通过HTTP代理来传输;

CURLOPT_MUTE:讲curl函数中所有修改过的参数恢复默认值;

CURLOPT_NETRC:在连接建立以后,访问~/.netrc文件获取用户名和密码信息连接远程站点;

CURLOPT_NOBODY:启用时将不对HTML中的body部分进行输出;

CURLOPT_NOPROGRESS:启用时关闭curl传输的进度条,此项的默认设置为true;

CURLOPT_NOSIGNAL:启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认打开;

CURLOPT_POST:启用时会发送一个常规的POST请求,类型为:application/x-www-form-urlencoded,就像表单提交的一样;

CURLOPT_PUT:启用时允许HTTP发送文件,必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE

CURLOPT_RETURNTRANSFER:将curl_exec()获取的信息以文件流的形式返回,而不是直接输出;

CURLOPT_SSL_VERIFYPEER:FALSE to stop cURL from verifying the peer's certificate. Alternate certificates to verify against can be specified with the CURLOPT_CAINFO option or a certificate directory can be specified with the CURLOPT_CAPATH option. CURLOPT_SSL_VERIFYHOST may also need to be TRUE or FALSE if CURLOPT_SSL_VERIFYPEER is disabled (it defaults to 2). TRUE by default as of cURL 7.10. Default bundle installed as of cURL 7.10;

CURLOPT_TRANSFERTEXT:TRUE to use ASCII mode for FTP transfers. For LDAP, it retrieves data in plain text instead of HTML. On Windows systems, it will not set STDOUT to binary mode;


延伸阅读:
php curl函数参考
file_get_contents和curl函数用法
php的curl实现get和post
php中curl的简单示例
php中使用curl或fsockopen下载远程文件
如何配置php支持curl
基于PHP的cURL快速入门
关于php curl获取301或302转向的网址问题

Tags: php   curl   函数   采集   url   C   函数库   php采集    
最新文章
推荐阅读
月点击排行榜
PHP程序员站 Copyright © 2007-2010,PHPERZ.COM All Rights Reserved 粤ICP备07503606号