搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 大数据挖掘DT数据分析 > 利用pthon爬虫和数据分析在618抢购Macbook pro

利用pthon爬虫和数据分析在618抢购Macbook pro

大数据挖掘DT数据分析 2017-11-30




好久没玩点有意思的了,这次借618这个购物节,自己也要搞台mbp,顺便搞一波大新闻.


对某宝的其中四家店,再加上某东一家店,对比同一款机型,对价格进行监控,至于监控时间,大概是不间断的监控吧,还有邮件提醒哦~

利用pthon爬虫和数据分析在618抢购Macbook pro

涉及面

  • 爬虫中阶知识,因为涉及到动态页面抓取,一个页面对不同型号进行点击操作,之后再获取元素,使用了phantomjs包

  • python字符串处理中阶知识,涉及到数据清洗,重构,还有缺失值的填充,这次没用pandas进行处理,直接用的是字符串处理技巧

  • 因为需要进行数据分析展示,故需要初级的JavaScript知识以及echarts的了解,这次构图使用的是echarts,比较简单

开搞

因为涉及到商家利益,具体的代码细节将不再展开,如果有学术想研究的,可以私信我,或者留言,这个我考虑一下,清洗一下再发吧,虽然是比较简单的。

流程和以前的动态页面抓取一致,选择需要的url之后进行元素点击操作,目的是为了选中需要比较价格的机型,这都么有问题,我以前写过很多关于phantomjs和selenium的动态页面处理的博客,大家如果只是想参考代码,可以移步这里参考,

主要将一些注意点

  1. A:元素加载过程中出现can’t find element问题 
    Q: 首先确定自己的元素位置是否写对,建议使用xpath的方法定位元素,再chrom上直接可用copy xpath,其余都对的情况可以加上wait等待时间,参考这里  http://blog.csdn.net/mrlevo520/article/details/52397305



  2. A:如果ip被封了,connection refused 
    Q: 请参考Python爬虫防封杀方法集合




  3. Q:动态页面加载过程中,商家交换了商品的次序,导致获取到的div位置不正确,怎么办? 
    A: 解决方法,额,我是每天看一下log,看看有没有不正常的,不正常就kill任务然后修改位置,再接着跑,一般来说,商家不会闲着无聊去修改位置的,另一个解法是对之后的结果手动清洗,如果价格与之前的价格差值大过一定范围,则直接认为是噪声数据,毕竟,怎么可能价格涨跌超过1000的呢,还有一个解法是,确定点击元素的值代表是什么型号,然后点击的价格就是什么型号的了,这个我懒得做了。。。。

  4. Q:我想要及时知道哪家店价格已经到我的接受阈值了,怎么通知我? 
    A:写监控邮件,当价格低于某个阈值,直接触发邮件功能。


数据处理

这代码没啥,就是处理一些细节注意,数据抓取的形式也给出,可以套用理解。我最后的目的是获取价格变动的时间戳,不管哪家变动,都获取,然后把值都给选出来,这里有一些问题的是脏数据的处理,还有就是阈值的设定,毕竟某东的优惠券是800这个幅度的,,,,


利用pthon爬虫和数据分析在618抢购Macbook pro

利用pthon爬虫和数据分析在618抢购Macbook pro

利用pthon爬虫和数据分析在618抢购Macbook pro

利用pthon爬虫和数据分析在618抢购Macbook pro


注意:处理方式,因为只有几万条数据,我就直接采用读文件流的形式来了,数据量大的可以采用pandas和Spark,这也是完全可行的


数据分析

这里就用到了前端的一点点知识了,你可以不用理解这是搞的什么,替换数据会不会?可以参考我写的一点小白教程echarts小白入门实在自己懒得写的话,我写好了,你不会懒得下载吧echarts演示价格趋势


利用pthon爬虫和数据分析在618抢购Macbook pro

这是总体的一张图,额,我们可以,额,清楚的看到,某东的价格变动次数,相比较于某宝,额,动态调价调的起飞啊

接下来看比较细致的几张图

利用pthon爬虫和数据分析在618抢购Macbook pro

这一幅图可以看出,的确在618那一天,某东到到价格最低,但非第一次到达,我们可以看在16好16点多就又一次达到过这个价格,而相比较于某宝,商家的定价规则在15号之后就没有产生过变动,这点就有点意思了,采集的四家店的三家在13号之后都不变化,一家店最后修改价格的时间15号,嗯哼


利用pthon爬虫和数据分析在618抢购Macbook pro


因为抖动太平凡,所以只有用柱状图来表现了

利用pthon爬虫和数据分析在618抢购Macbook pro


三家店的动态调价,当然趋势是向下的,而且他们的店家貌似也非常关注同行价格,会进行及时调价

利用pthon爬虫和数据分析在618抢购Macbook pro


当然也有不关心价格,然后一看同行,我曹,都调价了啊,不行不行,我得赶紧的,–所以,A这家店,调价的幅度是其他三家最大的,如果大家也关注这家店,你也知道原因的,科科。

利用pthon爬虫和数据分析在618抢购Macbook pro

利用pthon爬虫和数据分析在618抢购Macbook pro


建议

  • 对于节日主办方,的确可以选择那天下手,不过考虑下那天下手的代价就是快递炒鸡慢


  • 对于非主场的凑热闹商家,其实商品会和主场错开峰,就像苹果开发布会,三星不也得缓缓,不能直接怼啊对不对,哈哈,所以差不多提前两三天买应该是没有问题的,当别人还在抢购的时候,你已经收到货啦。

  • 土豪随意


其他


人工智能AI与大数据技术实战




数据挖掘入门与实战


教你机器学习,教你数据挖掘



版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《利用pthon爬虫和数据分析在618抢购Macbook pro》的版权归原作者「大数据挖掘DT数据分析」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注大数据挖掘DT数据分析微信公众号

大数据挖掘DT数据分析微信公众号:datadw

大数据挖掘DT数据分析

手机扫描上方二维码即可关注大数据挖掘DT数据分析微信公众号

大数据挖掘DT数据分析最新文章

精品公众号随机推荐