vlambda博客
学习文章列表

一个进程中可以包含若干个线程，它们可以利用进程所拥有的资源，在引入线程的操作系统中，通常都是把进程作为分配资源的基本单位，而把线程作为独立运行和独立调度的基本单位。

由于线程比进程更小，基本上不拥有系统资源，故对它的调度所付出的开销就会小得多，能更高效地提高系统内多个程序间并发执行的程度，从而显著提高系统资源的利用率和吞吐量。

爬虫中线程与进程的关系如下图所示：

那什么场景下需要使用多进程、多线程呢？

1.采集的网站数据量很多

当要采集的网站数据量很大时，可使用多线程采集，成倍提高采集速度。

2.采集多个网站数据

想快速同时采集多个网站时，可使用多线程、多进程进行采集，既能降低服务器的压力，又能提高采集效率。

ForeSpider数据采集分析引擎，采用全C++编写的自研内核，可以实现高性能高效率快速采集。用户可自行设置采集线程数和进程数，既可开多个线程进行采集，也可同时打开多个进程进行采集，实现快速采集海量网站数据，大大提高采集速度。

在ForeSpider爬虫软件中，线程数目越大，采集速度越大。一个爬虫客户端运行的时候，占用的操作系统资源，线程设置的越高，采集越快，但CPU和内存占用率越高，使用者可根据自身机器配置适当设置。

ForeSpider爬虫服务器版本最多可开16个进程，多进程同时采集可智能并行分配采集任务。

ForeSpider采集速度如下所示：

①笔记本电脑400万条/天

注：此速度为理论情况下的客观数据，是指对方网站的带宽正常，下载爬虫的电脑带宽正常，采集的网站不防爬的情况下

②服务器4000万条/天

注：服务器分为单机多进程和多机多进程，次数据指的是单机多进程，2G内存对应一个进程，现规定每台服务器最多开16个进程。

③台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲美。

l 前嗅简介

前嗅大数据，国内领先的研发型大数据专家，多年来致力于为大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！

更多爬虫实战教程：