搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > Python爱好者社区 > 爬取京东iphone8的异步加载评论看看为啥这么多人买

爬取京东iphone8的异步加载评论看看为啥这么多人买

Python爱好者社区 2017-11-30

Python爱好者社区唯一小编

博客:https://ask.hellobi.com/blog/wangdawei


前言


好久没写爬虫类的文章了,时间长了,生疏了

本想搞个大新闻

然后忙了一天没怎么有空坐在电脑前

就放弃了

不过!

还是可以搞个小新闻的

看过我文章的人都知道

我写文章很浅显易懂

喜欢从零开始一步步玩

虽然技术不如各种大V

虽然我名字透露着我可能是个隐藏的大V

不过尽量让不懂的人看懂文章并且能实现


以前尝试爬取京东商品信息

那个时候

我还是个小白

抱歉

现在还是


不过

今天我尝试着发现了京东商品评论信息的爬取方式

并且一步步实践出来了...


每次Iphone出新的机型,总能在网上引起轩然巨浪

所以,我就拿前段时间火热的Iphone8下手了


划重点:今天我不加表情包,一鼓作气写完!!!


运行环境


Python 3.X


寻找评论信息地址


我们打开京东商城,搜索iphone8


爬取京东iphone8的异步加载评论看看为啥这么多人买


爬取京东iphone8的异步加载评论看看为啥这么多人买


iphone8虽然买不起,但是看看也欢迎


我们点击进去查看详情


往下翻,找到商品评价,点击


爬取京东iphone8的异步加载评论看看为啥这么多人买

爬取京东iphone8的异步加载评论看看为啥这么多人买


不仅有评论,而且还有追评,一般追评比较可信(毕竟好不好,用过了才知道!)


我们翻到最后,注意一下网址(url)


爬取京东iphone8的异步加载评论看看为啥这么多人买


然后我们点击第二页


爬取京东iphone8的异步加载评论看看为啥这么多人买


再点击第三页


爬取京东iphone8的异步加载评论看看为啥这么多人买


发现第二页和第三页的网址是一样的,我们可以推测,访问第一页评论的网址也可以和2,3一样

我们再次点击第一页


爬取京东iphone8的异步加载评论看看为啥这么多人买


发现确实如此


对于这种网站要爬取信息是比较难的(评论翻页,但是网址不变)

可能评论信息是异步加载,需要抓包找到位置


我们先查看源代码

复制一段评论信息

在源代码中查找


爬取京东iphone8的异步加载评论看看为啥这么多人买


爬取京东iphone8的异步加载评论看看为啥这么多人买


我们可以查找到本页的评论


我们翻到第二页,查看源代码,发现评论信息还是第一页的信息


想想,网址没变,所以内容不变很正常,但是评论信息明明改变了啊


我们按下F12,进入浏览器的开发者模式(我用的是谷歌浏览器)


我们点击刷新网页,然后如下图红框所示将保存日志信息勾选上


爬取京东iphone8的异步加载评论看看为啥这么多人买


可以看到左下角加载了很多内容


爬取京东iphone8的异步加载评论看看为啥这么多人买


有图片,js,html


根据我今天的经验


我们将All切换到JS,之后点击禁止符号,意思是clear清除原有信息


爬取京东iphone8的异步加载评论看看为啥这么多人买


此时,下面便是一片空白


我们点击评论第二页


爬取京东iphone8的异步加载评论看看为啥这么多人买

发现JS中出现了一个内容


我们点击第三页


发现又多出现一个内容


爬取京东iphone8的异步加载评论看看为啥这么多人买

我们点开第一个出现的


在Preview中发现了评论的内容


爬取京东iphone8的异步加载评论看看为啥这么多人买


那怎么找到这个JS文件的网址呢?


很简单,我们从Preview切换到Headers


爬取京东iphone8的异步加载评论看看为啥这么多人买


将这里的请求网址复制,在浏览器打开


此时,我们可以看到评论信息


爬取京东iphone8的异步加载评论看看为啥这么多人买


我们将之前出现的两个JS文件的Headers里的url都复制到word中


爬取京东iphone8的异步加载评论看看为啥这么多人买


通过对比发现,他们几乎一样,除了page的参数

此时我们一大难题已经解决

找到了异步加载评论的url

并且找到了网址变化规律


先爬取一页试试水


做事情不要急功近利

慢慢来

男人不能快


我们复制第一页的url打开


爬取京东iphone8的异步加载评论看看为啥这么多人买


爬取京东iphone8的异步加载评论看看为啥这么多人买


这应该是个json文件,可以用其特殊方法提取信息

不过,作为爬虫小白

我还是喜欢正则表达式

简单粗暴


我们查找发现,每条评论前面都是  "content":"

而评论信息以  ","creationTime" 结尾   或者更简单    以  ","  结尾也是ok


我们开始写爬虫


导入必要的模块

import re
import pandas as pd
import requests

使用requests请求访问网址

response = requests.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv4962&productId=5089225&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&rid=0&fold=1")
response = response.text
print(response)

我们看到以下信息:


爬取京东iphone8的异步加载评论看看为啥这么多人买


我们使用正则将所有信息提取出来,并且打印

pat = '"content":"(.*?)","'
res = re.findall(pat,response)

for i in res:
    print(i)

爬取京东iphone8的异步加载评论看看为啥这么多人买


其实,以上评论每条都是重复一次的,追评只有一个,至于原因,时间太短没法考究


我们继续,查看一下res的类型

type(res)

显示结果是个list

res

在查看res内容时候,发现有  \\n


爬取京东iphone8的异步加载评论看看为啥这么多人买


作为一个爬虫小白&数据分析小白,也是懂得要简单的数据清洗


我们将 \\n 去除

for i in res:
    i = i.replace('\\n','')
    print(i)

注意:对列表不能直接使用replace()方法,而是通过循环对其每个元素(字符串)使用


此时每条评论信息就好看多了


爬取京东iphone8的异步加载评论看看为啥这么多人买


爬取多页评论


会爬取一页评论 + 找到了多页规律 = 会爬取多页评论

f = open('f:/comment_iphone8.txt','a')
for i in range(0,720):#720
    response = requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv4962&productId=5089225&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&rid=0&fold=1')
    response = response.text
    #print(response)
    pat = '"content":"(.*?)","'
    res = re.findall(pat,response)
    for i in res:
        i = i.replace('\\n','')
        #print(i)
        f.write(i)
        f.write('\n')
f.close()

以上代码解释:以追加方式打开(新创建)一个txt文件用于存放评论信息

爬取720页评论信息(这么多页是我试出来的总评论大概页码)

通过page = 的不同,构造url

之后的爬取过程和之前一样

注意在写入一条评论之后,写入一个回车换行

最后关闭txt


在爬取过程中,出现了问题


爬取京东iphone8的异步加载评论看看为啥这么多人买


这种主要是网站发现了爬虫,屏蔽了


可以采用代理ip,模拟浏览器解决


这里都不涉及,我们加一个异常处理

当出现问题,打印出现问题的页码,并且开始下一次循环

f = open('f:/comment_iphone8_.txt','a')
for i in range(0,720):#720
    try:
        response = requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv4962&productId=5089225&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&rid=0&fold=1')
        response = response.text
        #print(response)
        pat = '"content":"(.*?)","'
        res = re.findall(pat,response)
        for i in res:
            i = i.replace('\\n','')
            #print(i)
            f.write(i)
            f.write('\n')
    except:
        print('爬取第'+str(i)+'页出现问题')
        continue
f.close()

结果显示,只有其中两页出了问题

爬取京东iphone8的异步加载评论看看为啥这么多人买


整个爬取过程大概几分钟

因为有双重循环

所以代码的时间复杂度是n^2


打开本地的txt文档


爬取京东iphone8的异步加载评论看看为啥这么多人买


已经可以看到评论保存在本地了


制作评论词云图


导入必要模块

from os import path
from scipy.misc import imread
import matplotlib.pyplot as plt
import jieba
from wordcloud import WordCloud

注意,如果没安装 jieba 和 wordcloud 模块请自行安装

我们以苹果的logo作为背景轮廓(保证白色部分不会出现词云)


爬取京东iphone8的异步加载评论看看为啥这么多人买


图名为iphone8_.jpg,图片要放在默认运行文件夹

f = open('f:/comment_iphone8_.txt','r')
text = f.read()

cut_text = ' '.join(jieba.lcut(text))
print(cut_text)
color_mask = imread("iphone8_.jpg")
cloud = WordCloud(
    font_path='FZMWFont.ttf',  # 字体最好放在与脚本相同的目录下,而且必须设置
    background_color='white',
    mask=color_mask,
    max_words=200,
    max_font_size=5000
)
word_cloud = cloud.generate(cut_text)
plt.imshow(word_cloud)
plt.axis('off')
plt.show()

下载方正喵呜体字体

字体可以网上下载,也要放在默认运行文件夹

将以上参数调好


运行,生成了词云图


爬取京东iphone8的异步加载评论看看为啥这么多人买


从词云图可以看出,从 手机不错、好看、喜欢、手感等有实际意义的词 可以看出iphone8还是很受欢迎的(不受欢迎怎么会有这么多评论,汗)


爬取京东iphone8的异步加载评论看看为啥这么多人买



结语


你看懂了么~


写完本文,我只想说一句发自内心的话



这是真情实感不是表情包

阿喂,谁扔的鸡蛋!!!


文章如有不妥指出,望各位大佬留言评论指出。


看小编的Python爬虫文章不够系统?想零基础系统学习Python网络爬虫?

你的机会来啦~小编Python网络爬虫上海站线下班正式开启啦!

扫码上方图片或点击阅读原文图了解课程详情

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《爬取京东iphone8的异步加载评论看看为啥这么多人买》的版权归原作者「Python爱好者社区」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注Python爱好者社区微信公众号

Python爱好者社区微信公众号:python_shequ

Python爱好者社区

手机扫描上方二维码即可关注Python爱好者社区微信公众号

Python爱好者社区最新文章

精品公众号随机推荐