搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 36大数据 > 【技术】你懂Scrapy吗?Scrapy大型爬虫框架讲解【一】

【技术】你懂Scrapy吗?Scrapy大型爬虫框架讲解【一】

36大数据 2017-11-28

这是Scrapy爬虫框架的第一篇,本系列专题将包含以下内容:

  1. 介绍Scrapy框架的主体以及各个组件的意义;

  2. 举实例讲解其具体应用。

开始第一节: 介绍Scrapy框架的主体以及各个组件的意义。

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

安装Scrapy需要一些依赖:

  • Python

  • Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装setuptools 。

  • lxml. 大多数Linux发行版自带了lxml。如果缺失,请查看 

  • OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

当安装好这些依赖之后,只需要运行pip install Scrapy,即可安装完Scrapy。

然后运行:

scrapy startproject tutorial

即可自动创建官方标准的代码目录。

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

其中:

  • tutorial/: 该项目的python总模块。

  • tutorial/items.py: 项目中的item文件,编写爬取的字段名称等;

  • tutorial/pipelines.py: 项目中的pipelines文件;

  • tutorial/settings.py: 项目的设置文件,较为重要;

  • tutorial/spiders/: 放置spider代码的主目录;

Scrapy整体架构神图:

Scrapy中的数据流由执行引擎控制,其过程如下:

  1. 引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

  3. 引擎向调度器请求下一个要爬取的URL。

  4. 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。

  5. 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。

  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。

  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。

  9. (从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。

以上是老生常谈,下面谈一些经验:

  1. 如果需要大批量分布式爬取,建议采用Redis数据库存储,可安装scrapy-redis,使用redis数据库来替换scrapy原本使用的队列结构(deque),并配合其它数据库存储,例如MySQL或者MongoDB,爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重,使用redis的set数据结构,通过settings文件正确设置后,即便停止scrapy爬虫,当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。

  2. 当涉及到代理IP,Headers头中间请求信息处理的时候,可以通过中间件Middleware来实现。Spider中间件是介入到Scrapy的spider处理机制的钩子框架,可以添加代码来处理发送给 Spiders的response及spider产生的item和request。

  3. 合理设置settings文件,需要熟练掌握 settings 的各种设置。

  4. 可以重新定义def start_requests(self)函数来加载cookie信息,form信息的提交用scrapy.FormRequest以及scrapy.FormRequest.from_response这两个函数,scrapy.FormRequest.from_response能实现自动提交form数据。

  5. 采用Scrapy+phantomJS,。 downloadMiddleware 对从 scheduler 送来的 Request 对象在请求之前进行预处理,可以实现添加 headers, user_agent,还有 cookie 等功能 。但也可以通过中间件直接返回 HtmlResponse 对象,略过请求的模块,直接扔给 response 的回调函数处理。

class CustomMetaMiddleware(object):
    def process_request(self,request,spider):
        dcap = dict(DesiredCapabilities.PHANTOMJS)     
        dcap["phantomjs.page.settings.loadImages"] = False  
        dcap["phantomjs.page.settings.resourceTimeout"] = 10
        driver = webdriver.PhantomJS("D:xx\xx",desired_capabilities=dcap)
        driver.get(request.url)
        body = driver.page_source.encode('utf8')
        url = driver.current_url
        driver.quit()        return HtmlResponse(request.url,body=body)

综上,是对Scrapy的各个组件一些个人的经验总结。

via:知乎

 End 


你投稿,我送书

为了让大家能有更多的好文章可以阅读,36大数据联合华章图书共同推出「祈文奖励计划」,该计划将奖励每个月对大数据行业贡献(翻译or投稿)最多的用户中选出最前面的10名小伙伴,统一送出华章图书邮递最新计算机图书一本。投稿邮箱:dashuju36@qq.com


阅读排行榜/精华推荐
1
入门学习

 

2
进阶修炼

3
数据源爬取/收集

4
干货教程

              

 


讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用,以中立、客观、专业、可信赖的态度,多层次、多维度地影响着最广泛的大数据人群

36大数据



搜索「36大数据」或输入36dsj.com查看更多内容。


投稿/商务/合作:dashuju36@qq.com



点击下方 “阅读原文”查看更多

↓↓↓

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《【技术】你懂Scrapy吗?Scrapy大型爬虫框架讲解【一】》的版权归原作者「36大数据」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注36大数据微信公众号

36大数据微信公众号:dashuju36

36大数据

手机扫描上方二维码即可关注36大数据微信公众号

36大数据最新文章

精品公众号随机推荐