gcrawler:一个基于gevent的简单爬虫框架

引子

以前用scrapy写过一些简单的爬虫程序。但是我的需求实在太简单了,用scrapy有点大材小用,而且过于强大的缺点就是用起来太复杂,加上我也不太喜欢twisted——用各种回调实现的异步框架用起来还是不太自然。

前一阵接触了一下gevent(不知道为什么这样一个纯技术网站会在墙外),且不说据说它性能很好,关键是用patch的方式隐含提供异步支持的实现用起来真是太爽了。于是自己写了一个简单的爬虫框架,主要思路是模仿scrapy的。

关于Scrapy

首先来看Scrapy的架构(源于scrapy文档):

用户编写的爬虫主要是需要实现Spider和Item Pipeline两部分,Scheduler和Downloader部分是由Scrapy提供,并且整个程序由Scrapy Engine所驱动。

工 作流程是:程序启动后Scrapy Engine从Scheduler取得网址,然后通过Downloader去下载页面交给Spider处理,Spider分析页面后根据情况决定是继续抓 下一级锭接的页面(返回一个Scrapy Request)还是返回数据(返回一个Item List),Spider返回的数据(Item List)将被汇总交给Item Pipeline处理,比如存成文件或存入数据库什么的。

之所以要重复一下Scrapy的工作流程,是因为gcrawler也是模仿这个流程来做的。

Scrapy的局限及gcrawler的特点

不 过在说gcrawler之前,还是先谈一下我的需求中用Scrapy实现不太方便的地方。最主要的是我的应用中虽然也是用HTTP协议去抓取内容,但是有 很多额外的要求,比如有时需要POST,有时需要BasicAuth,有时还需要处理一些特定的HTTP Header字段,这些虽然有Download Middleware也可以实现,但很不自然——一个简单的HTTP请求操作被分割得支离破碎,对于代码的日后维护会造成很大的麻烦。

比 如要用feedparser读RSS,因为feedparser是下载解析一体的实现,这时Scrapy就不太方便,虽然也可以拆开实现:用Scrapy 下载再在Spider里用feedparser,但显然这种麻烦不是必要的。再比如说需要用OAuth进行REST API调用的话,用Scrapy的 Download Middleware我还真不知道要怎么做才好。

因此,gcrawler与scrapy最大的不同就是 Downloader的功能也将由用户实现(放在类似Scrapy的Spider中),用户可以自由控制下载操作的种种细节。乍一看似乎这样会增加用户的 工作量,但实际上是简化了开发。比如前面说的feedparser或是OAuth调用,都可以直接实现,不用考虑分拆到不同的地方去做。那么由用户来实现 下载工作会不会影响性能呢?Scrapy的一大优势就在于利用Twisted这个异步网络框架提供了网络访问的高性能。答案是不会,因为gevent提供 了更为简单和高效的实现方式。二者的差异在于:

因为Scrapy是基于Twisted,而它是一个基于回调的异步框架,这就意味着用它来写 Downloader固然可以得到高性能(托异步的福),但同时带来额外的复杂性(拜回调所赐)。所以Scrapy内部实现了这个高性能的 Downloader,在提代高性能的同时屏蔽了这种复杂性,但代价就是前面所说的,用户自定义操作需要通过Middleware实现,结果还是增加了一 些复杂性,并且使程序结构变得不太清晰。

而如前面所说,gevent通过patch的方式提供了隐含的异步支持,这样用户编写Downloader就成了简单的貌似“同步阻塞操作”,于是结构清晰与高性能得以兼得。个人根据gevent与twisted的性能比较猜测,能有与scrapy相当甚至可能更好的性能(纯猜测,待求证)。这是gevent相对twisted的一个巨大的优点。

gcrawler的使用

gcrawler 的使用很简单:用户需要实现一个spider类,提供三个成员函数:scheduler, worker, pipeline。其中scheduler是一个生成器,用yield依次返回请求项(比如URL),worker相当于Scrapy里的 Downloader+Spider,用于下载页面内容并解析,pipeline与Scrapy的item pipeline类似,都是用于存储最终结果用。

scheduler和pipeline没什么好说的,重点在worker里。因为 gevent有隐含异步支持,所以这里不再需要像Scrapy里那样下载一个页面解析完后需要把请求重新发回Scheduler进行调度,而是可以直接 继续下载下一级链接的页面继续解析,整个流程会清晰很多,但又不会降低性能。当然要实现像Scrapy那样的方式也可以,只要在worker里把下一级页 面链接再传递给scheduler即可。如果worker没有什么结果需要保存(比如上述把链接交给scheduler作下一步处理的情况),只需要简单 返回一个None即可,pipeline会自动略过的。

一个简单的下载页面的例子如下:

from gcrawler import GCrawler
import urllib2
import traceback

urls=['http://www.163.com', 'http://www.qq.com', 'http://www.sina.com.cn', 'http://www.sohu.com', 'http://www.yahoo.com', 'http://www.baidu.com', 'http://www.google.com', 'http://www.microsoft.com']

class DummySpider: def scheduler(self): for u in urls: yield u

def worker(self, item):
    try:
        f = urllib2.urlopen(item)
        data = f.read()
        f.close()
        return (item, len(data))
    except:
        traceback.print_exc()
        return None

def pipeline(self, results):
    for r in results:
        print "Downloaded : %s(%s)" % r

spider = DummySpider() crawler = GCrawler(spider, workers_count = 3) crawler.start()

当然,为了方便实现类似Scrapy的应用,gcrawler提供了一个默认的Downloader,所以上面的例子可以简化如下,只需要提供urls,并实现pipeline保存结果即可:

from gcrawler import GCrawler, Downloader
import urllib2
import traceback

urls=['http://www.163.com', 'http://www.qq.com', 'http://www.sina.com.cn', 'http://www.sohu.com', 'http://www.yahoo.com', 'http://www.baidu.com', 'http://www.google.com', 'http://www.microsoft.com']

class DummyDownloader(Downloader): def pipeline(self, results): for r in results: r['datasize'] = len(r['data']) print "Data fetched : %(url)s(%(datasize)s)" % r

spider = DummyDownloader(urls) crawler = GCrawler(spider, workers_count = 3) crawler.start()

另外还提供了一个retryOnURLError的decorator,用于自动重试,用法参见源码。

gcrawler的源码

代码在这里下载:1.5KB(好 吧,我的个人技术网站在春节前也可耻滴被墙外了,大家自己想办法去下载吧不要问我。要是连这都不会,还是不要在中国搞技术了,因为太多的先进技术被墙 外)。License还没想好用什么,先标一个copyright,反正在中国标什么License结果都一样的。等稳定一段时间发google code上去再确定用什么License吧。

附录:gevent的安装

在使用这个框架之前首先需要安装gevent,而 gevent又依赖libevent和greenlet。本来这事不复杂,gevent的文档里都有说,但可耻滴如前面所说,它的官网在中国大陆是“被不 存在的”,所以我还是在这里说一下具体安装方法,并向有关部门坚决竖中指,你们是中国技术创新进步的最大阻力!

Ubuntu 10.04:

apt-get install python-dev libevent-1.4-2 libevent-dev
easy_install greenlet
easy_install gevent

Debian 5:

#先在sources.list里增加一个sid源,比如:
#deb http://mirrors.163.com/debian/ sid main
apt-get install python-gevent
#如果还缺什么则参考ubuntu

FreeBSD 8:

cd /usr/ports/devel/py-gevent
make install clean

Mac OS X 10.6.x:

#当然需要安装XCode和HomeBrew(或其它方式安装libevent)
brew install libevent
easy_install greenlet
easy_install gevent

Windows……这个自己Google去吧,友情建议还是不要在windows下浪费生命为好。

推送到[go4pro.org]


何不把你的爬虫放到Google Code上面托管或者GitHub?

newblue at 2011-03-14T00:25:00+08:00

我说了啊,等代码再稳定一点我会放到GCode上去的。

猛禽 at 2011-03-22T15:20:00+08:00