vlambda博客
学习文章列表

一、Scrapy 简介

1.1 Scrapy 框架

• ENGIINE：整个框架的控制中心， 控制整个爬虫的流程。根据不同的条件添加不同的事件（就是用的 Twisted）
• SCHEDULER：事件调度器
• DOWNLOADER：接收爬虫请求，从网上下载数据
• SPIDERS：发起爬虫请求，并解析  DOWNLOADER  返回的网页内容，同时和数据持久化进行交互, 需要开发者编写
• ITEM PIPELINES：接收  SPIDERS  解析的结构化的字段，进行持久化等操作， 需要开发者编写
• MIDDLEWARES： ENGIINE  和  SPIDERS、 ENGIINE  和  DOWNLOADER  之间一些额外的操作，hook 的方式提供给开发者

1.2 Scrapy 数据流

1、 SPIDERS  发爬虫请求给  ENGIINE ， 告诉它任务来了
2、 ENGIINE  将请求添加到  SCHEDULER  调度队列里，说任务就交给你了，给我安排好
3、 SCHEDULER  看看手里的爬取请求很多，挑一个给  ENGIINE ， 说大哥帮忙转发给下载  DOWNLOADER
4、 ENGIINE ：好的， DOWNLOADER  你的任务来了
5、 DOWNLOADER ：开始下载了，下载好了。任务结果交给  ENGIINE

6、 ENGIINE  将结果给  SPIDERS， 你的一个请求下载好了，快去解析吧

7、 SPIDERS ：好的，解析产生了结果字段。又给  SPIDERS  转发给  ITEM PIPELINES

8、 ITEM PIPELINES： 接收到字段内容，保存起来。

• SCHEDULER  的作用：任务调度， 控制任务的并发，防止机器处理不过来
• ENGIINE ：就是基于  Twisted  框架, 当事件来（比如转发请求）的时候，通过回调的方式来执行对应的事件。 ENGIINE  让所有操作变的统一，都是按照事件的方式来组织其他组件， 其他组件以低耦合的方式运作；对于一种框架来说，无疑是必备的。

二、基础：XPath

2.1 HTML 节点和属性

2.2 解析语法

• a / b：‘/’ 在  xpath 里表示层级关系，左边的 a 是父节点，右边的 b 是子节点
• a // b：表示 a 下所有 b，直接或者间接的
• [@]：选择具有某个属性的节点
• //div[@classs], //a[@x]：选择具有 class 属性的 div 节点、选择具有 x属性的 a 节点
• //div[@class="container"]：选择具有 class 属性的值为 container 的  div 节点
• //a[contains(@id, "abc")]：选择 id 属性里有 abc 的 a 标签

 
   
   
 

  
    
    
  response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').get_all()
# 获取所有class属性（css）为taglist的div， 下一个层ul下的所有li下所有a下所有img标签下data-original属性

# data-original这里放的是图片的url地址
 
   
   
 

三、安装部署

• lxml：一个高效的 XML 和 HTML 解析器
• parsel：一个写在 lxml 上面的 html/xml 数据提取库
• w3lib：用于处理 URL 和网页编码的多用途帮助程序
• twisted：异步网络框架
• cryptography 和 pyOpenSSL：处理各种网络级安全需求

 
   
   
 

  
    
    
  # 安装
pip install scrapy

 
   
   
 

四、创建爬虫项目

 
   
   
 

  
    
    
  scrapy startproject sexy

# 创建一个后的项目目录
# sexy
# │  scrapy.cfg
# │
# └─sexy
#     │  items.py
#     │  middlewares.py
#     │  pipelines.py
#     │  settings.py
#     │  __init__.py
#     │
#     ├─spiders
#     │  │  __init__.py
#     │  │
#     │  └─__pycache__
#     └─__pycache__

# 执行 需要到scrapy.cfg同级别的目录执行
scrapy crawl sexy

 
   
   
 

五、开始 Scrapy 爬虫

5.1 简单而强大的 spider

• 类要继承 scrapy.Spider
• 取一个唯一的 name
• 爬取的网站 url 加到 start_urls 列表里
• 重写  parse  利用 xpath 解析 reponse 的内容

 
   
   
 

  
    
    
  # 目录结果为：spiders/sexy_spider.py
import scrapy
import os
import requests
import time


def download_from_url(url):
    response = requests.get(url, stream=True)
    if response.status_code == requests.codes.ok:
        return response.content
    else:
        print('%s-%s' % (url, response.status_code))
        return None


class SexySpider(scrapy.Spider):
   # 如果有多个spider， name要唯一
    name = 'sexy'
    allowed_domains = ['uumdfdfnt.94demo.com']
    allowed_urls = ['http://uumdfdfnt.94demo.com/']

    # 需要爬取的网站url加到start_urls list里
    start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']
    save_path = '/home/sexy/dingziku'

    def parse(self, response):
        # 解析网站，获取图片列表
        img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()
        time.sleep(1)

        # 处理图片， 具体业务操作， 可交给items， 见5.2 items例子
        for img_url in img_list:
            file_name = img_url.split('/')[-1]
            content = download_from_url(img_url)
            if content is not None:
                with open(os.path.join(self.save_path, file_name), 'wb') as fw:
                    fw.write(content)

        # 自动下一页（见5.3 自动下一页）
        next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)

 
   
   
 

5.2 items 和 pipline 例子

• items：提供一个字段存储， spider 会将数据存在这里
• pipline：会从 items 取数据，进行业务操作，比如 5.1 中的保存图片；又比如存储到数据库中等

• items.py 其实就是定义字段  scrapy.Field()

 
   
   
 

  
    
    
  import scrapy
class SexyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    img_url = scrapy.Field()

 
   
   
 

• spiders/sexy_spider.py

 
   
   
 

  
    
    
  import scrapy
import os
# 导入item
from ..items import SexyItem

class SexySpider(scrapy.Spider):
   # 如果有多个spider， name要唯一
    name = 'sexy'
    allowed_domains = ['uumdfdfnt.94demo.com']
    allowed_urls = ['http://uumdfdfnt.94demo.com/']

    # 需要爬取的网站url加到start_urls list里
    start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']
    save_path = '/home/sexy/dingziku'

    def parse(self, response):
        # 解析网站，获取图片列表
        img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()
        time.sleep(1)

        # 处理图片， 具体业务操作， 可交给yield items
        for img_url in img_list:
            items = SexyItem()
            items['img_url'] = img_url
            yield items

 
   
   
 

• pipelines.py

 
   
   
 

  
    
    
  import os
import requests


def download_from_url(url):
    response = requests.get(url, stream=True)
    if response.status_code == requests.codes.ok:
        return response.content
    else:
        print('%s-%s' % (url, response.status_code))
        return None


class SexyPipeline(object):

    def __init__(self):
        self.save_path = '/tmp'

    def process_item(self, item, spider):
        if spider.name == 'sexy':
            # 取出item里内容
            img_url = item['img_url']
            
            # 业务处理
            file_name = img_url.split('/')[-1]
            content = download_from_url(img_url)
            if content is not None:
                with open(os.path.join(self.save_path, file_name), 'wb') as fw:
                    fw.write(content)
        return item

 
   
   
 

• 重要的配置要开启在  settings.py  中开启 piplines 类，数值表示优先级

 
   
   
 

  
    
    
  ITEM_PIPELINES = {
   'sexy.pipelines.SexyPipeline': 300,
}

 
   
   
 

5.3 自动下一页

• 先在页面解析下下一页的url
• scrapy.Request(next_page, callback=self.parse)  发起一个请求，并调用 parse 来解析，当然你可以用其他的解析

 
   
   
 

  
    
    
  next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()
if next_page is not None:
   next_page = response.urljoin(next_page)
   yield scrapy.Request(next_page, callback=self.parse)

 
   
   
 

5.4 中间件

• 下载中间件 中间件的作用是提供一些常用的钩子 Hook 来增加额外的操作。中间件的操作是在  middlewares.py 。可以看到主要是处理请求  process_request ，响应  process_response  和异常  process_exceptio n 三个钩子函数。
• 处理请求  process_request : 传给  DOWNLOADER  之前做的操作
• 响应  process_response ： DOWNLOADER  给  ENGIINE  响应之前的操作

 
   
   
 

  
    
    
  from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
import random
agents = ['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
              'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
              'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
              'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
              'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)']

class RandomUserAgent(UserAgentMiddleware):
    def process_request(self, request, spider):
        ua = random.choice(agents)
        request.headers.setdefault('User-agent',ua,)

 
   
   
 

 
   
   
 

  
    
    
  DOWNLOADER_MIDDLEWARES = {
    'sexy.middlewares.customUserAgent.RandomUserAgent': 20,
}

 
   
   
 

5.5 可用配置 settings.py

• 爬虫机器人规则：ROBOTSTXT_OBEY = False， 如果要爬取的网站有设置 robots.txt，最好设置为 False
• CONCURRENT_REQUESTS：并发请求
• DOWNLOAD_DELAY：下载延迟，可以适当配置，避免把网站也爬挂了。

https://doc.scrapy.org/en/latest/topics/settings.html

六、总结

• scrapy 是基于事件驱动Twisted框架的爬虫框架。 ENGIINE  是核心，负责串起其他组件
• 开发只要编写 spider 和 item pipline 和中间件、download 和 schedule 交给框架
• scrapy crawl 你的爬虫 name，name 要唯一
• 爬取的 url 放在 start_urls，spider 会自动 Request 的，parse 来解析
• pipline 和中间件要记得在 settings 中开启
• 关注下 settings 的常用配置，需要时看下文档