vlambda博客
学习文章列表

Request对象用来描述一个 HTTP 请求，下面是其构造器方法的参数列表，

class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback])

下面依次介绍这些参数：

• url (string) (必选)

• callback (callable) 

  页面解析函数，Callable 类型，Request 对象请求的页面下载完成后，由该参数指定的页面解析函数被调用。如果未传递该参数，默认调用 Spider 的 parse 方法。

• method (string)

  HTTP请求的方法，默认为‘GET’。

• headers (dict) 

  HTTP 请求的头部字典，dict类型，例如: {'Accept': 'text/html', 'User-Agent': 'Mozilla/5.0'}。

• body (str or unicode)

  HTTP请求的正文。

• cookies (dict or list) 

  Cookie 信息字典，dict 类型，例如：{'currency': 'USD', 'country': 'UY'}。

• meta (dict) 

  Request 的元数据字典，dict 类型，用于给框架中其他组件传递信息，比如中间件 Item Pipeline。其他组件可以使用 Request 对象的 meta 属性访问该元数据字典（request.meta），也用于给响应处理函数传递信息，详见 Response 的 meta 属性。

• encoding (string) 

  url 和 body 参数的编码默认为 ‘utf-8’。如果传入的 url 或 body 参数是 str 类型，就使用该甘薯进行编码。

• priority(int) 

  请求的优先级默认值为0，优先级高的请求优先下载。

• dont_filter (boolean)  

• errback (callable) 

  请求出现异常或者出现 HTTP 错误时（如 404页面不存在 ）的回调函数。

虽然参数很多，但除了 url 参数外，其他都带有默认值。在构造 Request 对象时，通常我们只需传递一个 url 参数或再加一个 callback 参数，其他使用默认值即可。

如：

request = scrapy.Request('http://books.toscrape.com/')request2 = scrapy.Request('http://quotes.toscrape.com/',callback=self.parseItem)

带参数的方式，如 demo1 中最下方的：

在实际应用中，我们几乎只调用 Request 的构造器创建对象，但也可以根据要求访问 Request 对象的属性，常用的有以下几个：

• url

• method

• headers

• body

• meta

这些属性和构造器参数相对应，这里不再重复解释。