搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 大数据挖掘DT数据分析 > pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)

pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)

大数据挖掘DT数据分析 2017-11-30





安装python相关模块:

命令行运行下面的代码需要安装以下内容:

pip install pyquery
pip install requests
pip install selenium  
pip install pyExcelerator
pip install json


同时需要下载 phantomjs-2.1.1-windows


点击  http://phantomjs.org/

http://download.csdn.NET/detail/qiqiyingse/9785222



下载完成之后,解压,将整个解压文件夹复制一份到 Python27\Scripts 这个目录下,这样程序能找到它。


然后呢,我们需要在代码中加入phantomjs.exe的路径(注意修改为你电脑上的路径):

browser = webdriver.PhantomJS(executable_path=r'C:\Anaconda2\Scripts\phantomjs-2.1.1-windows\bin\phantomjs.exe')

接下来可以运行爬虫了。

整体代码可以通过回复本公众号关键字"公众号"可获取。

爬取界面

pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)

爬取下载的数据:

pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)

pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)


人工智能大数据与深度学习




大数据挖掘DT数据分析


教你机器学习,教你数据挖掘



版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《pythons爬虫:抓取微信公众号 历史文章(selenium+phantomjs)》的版权归原作者「大数据挖掘DT数据分析」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注大数据挖掘DT数据分析微信公众号

大数据挖掘DT数据分析微信公众号:datadw

大数据挖掘DT数据分析

手机扫描上方二维码即可关注大数据挖掘DT数据分析微信公众号

大数据挖掘DT数据分析最新文章

精品公众号随机推荐