教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

Pyspider和Scrapy有什么区别?

更新时间:2020年09月29日11时13分 来源:传智播客 浏览次数:

说到Python中的开源爬虫框架,Scrapy是最先被大家提及的,这是一个相对成熟的框架,有着丰富的文档和开放的社区交流空间。相对于Scrapy来说,PySpider算是一个新秀,但是不容小觑。下面说一下PySpider的具体特性:

1)Python脚本控制,可以用任何你喜欢的html解析包(内置pyquery)。

2)Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出。

3)支持MySQL、MongoDB、Redis、SQLite等数据库。

4)支持抓取JavaScript的页面。

5)组件可替换,支持单机/分布式部署,支持Docker部署。

6)强大的调度控制。

7)支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。

Pyspider和Scrapy有什么区别?

从内容上来说,两者具有的功能差不多,但还是有一些不同:

·原生的Scrapy并不支持js渲染,需要单独下载scrapy-splash进行配置,而PySpider则支持phantomjs第三方渲染。 ·PySpider内置pyquery选择器,Scrapy有XPath和CSS选择器。

·Scrapy全部采用命令行操作,PySpider有较好的WebUI,更加直观。

·PySpider易于调试,Scrapy调试方式稍显复杂,并不直观。

·Scrapy扩展性更强,可以自定义功能,PySpider这方面稍显不足。

以上两种框架各有各的风格,总体来说PySpider使用更加简单,可以快速上手,适合工程化生产爬虫,而Scrapy适合用来进行二次开发,根据项目需求进行自定义拓展。


猜你喜欢:

Python爬虫入门教程 百度云盘下载

python爬虫可以用来做什么?

Python中爬虫框架或模块的区别 

Python高级软件工程培训课程

0 分享到:
和我们在线交谈!