搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 研发云 > 初探异步爬虫框架 Scrapy 及其衍生产物

初探异步爬虫框架 Scrapy 及其衍生产物

研发云 2018-02-28

对于一些规模小、爬取数据量小、

且对爬取速度不敏感的爬虫程序来说

使用 Python 的爬虫利器 requests

就能轻松对其进行管控

但如果希望爬虫能具备

爬取失败可复盘、爬取速度较高等功能

就需要 Scrapy 来帮忙了

初探异步爬虫框架 Scrapy 及其衍生产物

Scrapy

Scrapy 是一套用 Python 所编写的非常完善的异步爬虫框架,它基于 Twisted 实现,能运行于 Linux/Windows/MacOS 等多种环境,并对爬虫进行管理、部署和监控,且具有速度快、扩展性强、使用简便等特点。Scrapy 所能实现的功能包括内存检测、对象引用查看、命令行、shell 终端,还有各种中间件和扩展等。


Scrapy 各架构组件的作用

Scheduler:调度器。负责接受 Engine 发送过来的 requests 请求,并将其队列化;


Item Pipeline:Item Pipeline负责处理被 Spider 提取出来的 item,如清理 HTML 数据、验证爬取的数据(检查 item 包含哪些字段)、查重(并丢弃)、爬取数据持久化(存入数据库、写入文件等);


Scrapy Engine:引擎是 Scrapy 的中枢。它负责控制数据流在系统所有组件中流动,并在相应动作发生时触发事件;


Downloader Middlewares:下载中间件是 Engine 和下载器的枢纽。负责处理下载器传递给 Engine 的 responses,它支持自定义扩展;


Downloader:下载器。负责下载 Engine 发送的所有 requests 请求,并将其获取到的 responses 回传给 Scrapy Engine;


Spider middlewares:Spider 中间件是 Engine 和 Spider 的连接桥梁;它支持自定义扩展来处理 Spider 的输入(responses)以及输出 item 和 requests 给 Engine ;


Spiders:负责解析 responses 并提取 Item 字段需要的数据,再将需要跟进的 URL 提交给引擎,再次进入调度器。

初探异步爬虫框架 Scrapy 及其衍生产物

Scrapy 可以在本地运行,也能部署到云端

以实现真正的生产级数据采集系统

Scrapyd 就是个部署和运行 Scrapy 的应用程序

它运行在服务器端

可以非常方便地运用 JSON API来

部署爬虫、控制爬虫以及查看运行日志

Scrapyd 会以守护进程的方式存在系统中

监听爬虫地运行与请求

然后启动进程来执行爬虫程序

初探异步爬虫框架 Scrapy 及其衍生产物

原生 Scrapy 的一个缺点是不支持分布式

为了克服这一局限性

它需要增加一些以 redis 为基础的组件

从而成为具备分布式爬取能力的 Scrapy_redis

初探异步爬虫框架 Scrapy 及其衍生产物


Scrapy_redis 的工作原理

1、Spider 解析下载器下载下来的 response 并返回相应的 item 或 links;


2、item 或 links 经过 spider middleware 传递给 Engine;


3、Engine 将 item 交给 Item Pipeline,将 links 交给 Scrapy-redis 的专用 Scheduler;


4、在 Scrapy-redis 的专用 Scheduler 中,先将 request 对象利用 scrapy 内置的指纹函数,生成一个指纹对象;


5、如果 request 对象中的 dont_filter 参数被设置为 False,并且该 request 对象的指纹不在信息指纹的队列中,那么就把该 request 对象放到优先级的队列中,在这里Scrapy-redis 使用了 redis 数据库来存放队列。


6、从优先级队列中获取 request 对象,交给 Engine;


7、Engine 将 request 对象交给下载器下载;


8、下载器完成下载,获得 response 对象,将该对象交给 Engine;


9、Engine 将获得的 response 对象交给 Spider 进行解析。

初探异步爬虫框架 Scrapy 及其衍生产物

重复循环上述步骤

就实现了 Scrapy-redis 的整体框架流程

与 Scrapy 不同的地方在于

 Scrapy-redis 使用了 redis 数据库

替换 Scrapy 原本使用的队列结构(deque)

因此改变了 Scrapy 的爬虫调度部分

使其让可以实现分布式运作

Scheduler 以及 Scrapy 的内置去重队列

和待抓取的 request 队列

都被换成了 redis 的集合

初探异步爬虫框架 Scrapy 及其衍生产物

长|按|二|维|码|关|注

获取更多产品介绍及业界动态

初探异步爬虫框架 Scrapy 及其衍生产物研发云微信公众号
移动Labs公众号

 研·发·云


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《初探异步爬虫框架 Scrapy 及其衍生产物》的版权归原作者「研发云」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注研发云微信公众号

研发云微信公众号:cmcc_yfy

研发云

手机扫描上方二维码即可关注研发云微信公众号

研发云最新文章

精品公众号随机推荐