爬虫是什么？

如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，

沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；

从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；

基本环境配置

版本：Python3

系统：Windows

IDE：Pycharm

爬虫所需工具：

请求库：requests,selenium（可以驱动浏览器解析渲染CSS和JS，但有性能劣势（有用没用的网页都会加载）；）

解析库：正则，beautifulsoup，pyquery

存储库：文件，MySQL，Mongodb，Redis

Python爬虫基本流程

基础版：

函数封装版

并发版

（如果一共需要爬30个视频，开30个线程去做，花的时间就是 其中最慢那份的耗时时间）

明白了Python爬虫的基本流程，然后对照代码是不是觉得爬虫特别的简单呢？

*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权事宜。

   
     
     
   

    
      
      
    
   
     
     
   
零基础学 Python，来这里

 只需7天时间，跨进Python编程大门，已有3800+加入
【基础】0基础入门python，24小时有人快速解答问题；
【提高】40多个项目实战，老手可以从真实场景中学习python；
【直播】不定期直播项目案例讲解，手把手教你如何分析项目；
【分享】优质python学习资料分享，让你在最短时间获得有价值的学习资源；圈友优质资料或学习分享，会不时给予赞赏支持，希望每个优质圈友既能赚回加入费用，也能快速成长，并享受分享与帮助他人的乐趣。
【人脉】收获一群志同道合的朋友，并且都是python从业者
【价格】本着布道思想，只需 69元 加入一个能保证学习效果的良心圈子。
【赠予】后续圈主将开发python，0基础入门在线课程，免费送给圈友们，供巩固和系统化复习
（三重福利）最近入圈送大礼包：
1、2.7G、308份最新数据分析报告
2、40G 人工智能算法  视频课
3、Python爬虫课，共14课

   
     
     
   

    
      
      
    
 
     
 
      
 
       
 
        
 
         
 
          
 
           
 
            
 
             
 
              
 
               
 
                
 
                 
 
                  
 
                   
 
                    
 
                     
 
                      
 
                     
 
                    
 
                   
 
                  
 
                 
 
                
 
               
 
              
 
             
 
            
 
            
转载 / 投稿请联系：data_circle_yoni
 
           
 
          
 
         
 
        
 
       
 
      
 
     
 
    
   
     
     
   

觉得不错，点个“在看”然后转发出去