发布于 2014-10-09 11:37:15 | 132 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Python3 Cookbook中文版,程序狗速度看过来!

Python编程语言

Python 是一种面向对象、解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。


本文是一个python实现的网络爬虫,可以用来采集360搜索的联想词,感兴趣的同学参考下.

python爬虫_采集联想词代码


#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']

 

list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }

    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})

    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)

    for key in headers:
        req.add_header(key,headers[key])

    html = urllib2.urlopen(req).read()

    ss = re.findall(""(.*?)"",html)
    for item in ss:
        print item
    time.sleep(2)

 



相关阅读 :
python实现的网络爬虫采集联想词示例
Python实现的Google IP 可用性检测示例代码
Python实现的文本简单可逆加密算法示例
Python实现的下载网页源码功能示例
Python实现的单向循环链表功能示例
以Python的Pyspider为例剖析搜索引擎的网络爬虫实现方法
基于Python实现的百度贴吧网络爬虫实例
python实现的一个火车票转让信息采集器
Python实现的bt种子爬虫程序和种子解析
python实现的博客文章爬虫示例
python实现的爬虫下载漫画示例
python实现的一只从百度开始不断搜索的小爬虫
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务