Pholcus Go 爬虫软件
Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持 单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（Mysql/MongoDB /csv/excel等）、有大量Demo共享；同时她还支持横纵向两种抓取模式，支持模拟登录和任务暂停、取消等一系列高级功能。
框架特点
-
Pholcus（幽灵蛛）以高效率，高灵活性和人性化设计为开发的指导思想；
-
支持单机、服务端、客户端三种运行模式，即支持分布式布局，适用于各种业务需要；
-
支持Web、GUI、命令行三种操作界面，适用于各种运行环境；
-
支持mysql/mongodb/csv/excel等多种输出方式，且可以轻松添加更多输出方式；
-
采用surfer高并发下载器，支持 GET/POST/HEAD 方法及 HTTP/HTTPS 协议，同时支持固定UserAgent自动保存cookIE与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能；
-
对采集规则进行了精心设计，规则灵活简单、高度封装，用于通用方法集与大量Demo，让你轻松添加规则；
-
支持横纵向两种抓取模式，并且支持任务暂停、取消等操作。
- Pholcus 1.2 发布，高并发、分布式爬虫软件
-
Pholcus爬虫软件发布1.2版本，CPU使用率与内存占用均有大幅降低，运行更加稳定流畅。同时新增kafka输出方式，加快任务终止速度（秒级延时）。Pholcus v1.2 具体更新细节如下：一、输出功能升级添加kafka数据库输出基本重新了mysql输出模块，提升输出稳定性与输出效率增加输出文件目录的配置项大量优化结果收
发布于 2016-09-25 23:59:06 | 208 次阅读
- Pholcus（幽灵蛛）爬虫软件 v1.0 稳定版正式发布
-
自2015年5月 Pholcus 发布第一个版本起历经一年的版本迭代，今日 v1.0 稳定版本终于正式发布了。在此感谢所有关注过Pholcus、反馈过开发建议以及运行bug的朋友们。v1.0 版本是一个经过诸多用户使用与项目验证过的稳定版本，大家可以放心下载使用。同时需要说明的是，此前某些用户提出的部分开发建议并未加入v1.0中，但将会
发布于 2016-06-16 07:17:33 | 192 次阅读
- 高并发、分布式爬虫 Pholcus 0.8.5 发布
-
Pholcus 0.8.5 发布，此版本优化多项功能（如新增cmd版服务端、客户端，细化历史记录粒度等）、修复多个bug，并减少诸多依赖包，为发布1.0稳定版做准备。Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批
发布于 2016-03-23 03:52:41 | 188 次阅读
- Pholcus 爬虫 v0.8.2，性能提升 20% 以上
-
Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo共享；同时她还支持横纵向两种抓取模式，支持模拟登录和任务暂停、取消等一系列高级
发布于 2016-03-03 13:29:29 | 240 次阅读
- Pholcus 爬虫 v0.8.0，支持 HTML 风格动态规则
-
近日，Pholcus 升级 v0.8.0 版本了，最大的亮点就是：终于突破规则需要静态编译的局制，增加支持HTML风格的动态规则。以后交流分享规则变得更加方便，随之而来将会是愈加完善的生态圈。
以下是具体更新内容：
一、初步支持HTML风格的动态规则
二、添加配置文件，便于修改数据库配置等信息三、重新规划软件依赖文件目录
发布于 2016-01-20 03:56:32 | 258 次阅读
- Pholcus 0.7.5 发布，Go 爬虫软件
-
Pholcus 0.7.5 发布，更新如下：大量功能优化：一、规则模块更新：1. 封装Spider与Response为上下文Context，大大简化规则语法；2. 支持从Context获取上一次Request，并可在修改后作为新请求加入队列，从而节约内存（如有依赖Request的Temp值的Output操作，则应先Output再修改Request）；3. 自动为每条未设置Referer的请求
发布于 2015-12-03 00:31:19 | 185 次阅读
- Pholcus 0.7.4 发布，Go 爬虫软件
-
Pholcus 0.7.4 发布，更新如下：Spider中添加Namespace func(*Spider) string与SubNamespace func(self
*Spider, dataCell map[string]interface{}) string两个字段，实现自定义数据库、表单及文件的名称简化数据库配置信息mongodb输出中，将采集结果字段直接作为数据存储字段，便于检索更新计时器等spider中公用方法可通
发布于 2015-11-11 00:30:18 | 188 次阅读
- Pholcus 0.7.3 发布，Go 爬虫软件
-
Pholcus 0.7.3 发布，更新内容如下：全面升级一、界面升级：1. Windows下编译时自动添加图标2. web及cmd版的命令行窗口添加软件名称二、下载器相关升级：1. 初步增加PhantomJS下载器，实现双下载引擎，可在请求中指定2. 下载控制转移至Request中，从而下载更灵活3. Request增加重定向跳转次数控制功能4. Request可以支持无
发布于 2015-10-21 01:02:36 | 175 次阅读
- Pholcus 0.6.1 发布，Go 爬虫软件
-
Pholcus 0.6.1 发布，更新内容如下：调整spider结构体，规范命名，精简方法；拓展Teleport Socket API；新增大量采集规则实例；解放规则库，用户可以自由指定规则库；不再直接提供main包，用户可以创建自己的项目。更多信息及下载页面请点这里。Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅
发布于 2015-08-20 02:21:07 | 171 次阅读
- Pholcus 0.6.0 发布，Go 爬虫软件
-
Pholcus 0.6.0 发布，更新内容如下：新增web操作界面（已支持web/gui/command三种界面）；支持运行模式热切换。下载器支持固定UserAgent，自动保存cookie模式；下载器支持随机大量常用UserAgent，禁用cookie模式；下载器添加url自动转码功能；优化app等模块，接口对接更加灵活简单。更多内容请查看软件主页。下载：Source c
发布于 2015-08-12 00:47:55 | 171 次阅读
- Pholcus 0.5.2 发布，Go 爬虫软件
-
Pholcus 0.5.2 发布，更新内容如下：spider模块更加灵活，支持动态Rule及动态OutFeild；优化mysql输出；优化下载模块；优化百度及淘宝搜索规则；优化去重功能。更多内容请查看软件主页。下载：Source code (zip) Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意
发布于 2015-08-07 01:00:23 | 160 次阅读
- Pholcus 0.5.1 发布，Go 爬虫软件
-
Pholcus 0.5.1 发布，更新内容如下：添加mysql输出；简化添加输出方式的步骤；优化json字符串输出；改进调度器，提升纵向抓取效率；修复因第三方包walk的更新导致单机模式无法启动的问题；添加简单的单机模式命令行操作
发布于 2015-07-29 00:28:02 | 159 次阅读
- Pholcus 0.5.0 发布，Go 爬虫软件
-
Pholcus 0.5.0 发布，新增支持图片、视频等文件下载功能。更多内容请查看软件主页。下载地址请点这里。Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分
发布于 2015-07-17 00:51:15 | 161 次阅读
- Pholcus 0.4.8 发布，Go 爬虫软件
-
Pholcus 0.4.8 发布，这个版本添加页码下载成功数与失败数监控。更多内容请查看软件主页。下载地址请点这里。Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了
发布于 2015-07-15 01:00:21 | 140 次阅读
- Pholcus 0.3.2 发布，Go 爬虫软件
-
Pholcus 0.3.2 发布，这是个预览版本，解决分布式模式下，socket粘包问题，以及其他一些优化。更多内容请查看软件主页。下载请点：Source code (zip)Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬
发布于 2015-06-25 00:22:12 | 139 次阅读