本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于Python干货铺子 ，作者：不正经的kimol君

需要做个统计分析，有没有办法搜集一下淘宝的商品信息呀？

在搜索栏里填好关键词：“显卡”，小手轻快敲击着回车键（小样~看我地）。

心情愉悦的我满怀期待地等待着，等待着那满屏的商品信息，然而苦苦的等待换来的却是302，于是我意外地来到了登陆界面：

情况基本就是这么个情况了...

随后我查了一下，随着淘宝反爬手段的不断加强，很多小伙伴应该已经发现，淘宝搜索功能是需要用户登陆的！

关于淘宝模拟登陆，有大大已经利用requests成功模拟登陆。然而，这个方法得先分析淘宝登陆的各种请求，并模拟生成相应的参数，相对来说有一定的难度。于是我决定换一种思路，通过selenium+二维码的方式：

#%20打开图片
def%20Openimg(img_location):
%20%20%20%20img=Image.open(img_location)
%20%20%20%20img.show()

#%20登陆获取cookies
def%20Login():%20%20
%20%20%20%20driver%20=%20webdriver.PhantomJS()%20
%20%20%20%20driver.get("/d/file/p/20221107/error.html%20style="color:%20rgba(128,%200,%200,%201)">")
%20%20%20%20try:
%20%20%20%20%20%20%20%20driver.find_element_by_xpath("//*[@id="login"]/div[1]/i").click()
%20%20%20%20except:
%20%20%20%20%20%20%20%20pass
%20%20%20%20time.sleep(3)
%20%20%20%20#%20执行JS获得canvas的二维码
%20%20%20%20JS%20=%20"return%20document.getElementsByTagName("canvas")[0].toDataURL("image/png");"
%20%20%20%20im_info%20=%20driver.execute_script(JS)%20#%20执行JS获取图片信息
%20%20%20%20im_base64%20=%20im_info.split(",")[1]%20%20#拿到base64编码的图片信息
%20%20%20%20im_bytes%20=%20base64.b64decode(im_base64)%20%20#转为bytes类型
%20%20%20%20time.sleep(2)
%20%20%20%20with%20open("./login.png","wb") as f:
        f.write(im_bytes)
        f.close()
    t = threading.Thread(target=Openimg,args=("./login.png",))
    t.start()
    print("Logining...Please sweep the code!
")
    while(True):
        c = driver.get_cookies()
        if len(c) > 20:   #登陆成功获取到cookies
            cookies = {}
            for i in range(len(c)):
                cookies[c[i]["name"]] = c[i]["value"]
            driver.close()
            print("Login in successfully!
")
            return cookies
        time.sleep(1)

通过webdriver打开淘宝登陆界面，把二维码下载到本地并打开等待用户扫码（相应的元素大家通过浏览器的F12元素分析很容易就能找出）。待扫码成功后，将webdriver里的cookies转为DICT形式，并返回。

这里是为了后续requests爬取信息的时候使用

二、爬取商品信息

当我拿到cookies之后，爬取商品信息便是信手拈来。（小样，我来啦~）

1. 定义相关参数

定义相应的请求地址，请求头等等：

# 定义参数
headers = {"Host":"s.taobao.com",
           "User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0",
           "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
           "Accept-Language":"zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
           "Accept-Encoding":"gzip, deflate, br",
           "Connection":"keep-alive"}
list_url = "/d/file/p/20221107/login.jhtml style="color: rgba(128, 0, 0, 1)">"

2. 分析并定义正则

当请求得到HTML页面后，想要得到我们想要的数据就必须得对其进行提取，这里我选择了正则的方式。通过查看页面源码：

偷懒的我上面只标志了两个数据，不过其他也是类似的，于是得到以下正则：

#%20正则模式
p_title%20=%20""raw_title":"(.*?)""%20%20%20%20%20%20%20#标题
p_location%20=%20""item_loc":"(.*?)""%20%20%20%20#销售地
p_sale%20=%20""view_sales":"(.*?)人付款""%20#销售量
p_comment%20=%20""comment_count":"(.*?)""#评论数
p_price%20=%20""view_price":"(.*?)""%20%20%20%20%20#销售价格
p_nid%20=%20""nid":"(.*?)""%20%20%20%20%20%20%20%20%20%20%20%20%20%20#商品唯一ID
p_img%20=%20""pic_url":"(.*?)""%20%20%20%20%20%20%20%20%20%20#图片URL

（ps.聪明的小伙伴应该已经发现了，其实商品信息是被保存在了g_page_config变量里面，所以我们也可以先提取这个变量（一个字典），然后再读取数据，亦可！）

万事俱备，只欠东风。于是，东风踏着它轻快的脚步来了：

#%20数据爬取
key%20=%20input("请输入关键字:")%20#%20商品的关键词
N%20=%2020%20#%20爬取的页数%20
data%20=%20[]
cookies%20=%20Login()
for%20i%20in%20range(N):
%20%20%20%20try:
%20%20%20%20%20%20%20%20page%20=%20i*44
%20%20%20%20%20%20%20%20url%20=%20list_url%{"key":key,"page":page}
%20%20%20%20%20%20%20%20res%20=%20requests.get(url,headers=headers,cookies=cookies)
%20%20%20%20%20%20%20%20html%20=%20res.text
%20%20%20%20%20%20%20%20title%20=%20re.findall(p_title,html)
%20%20%20%20%20%20%20%20location%20=%20re.findall(p_location,html)
%20%20%20%20%20%20%20%20sale%20=%20re.findall(p_sale,html)
%20%20%20%20%20%20%20%20comment%20=%20re.findall(p_comment,html)
%20%20%20%20%20%20%20%20price%20=%20re.findall(p_price,html)
%20%20%20%20%20%20%20%20nid%20=%20re.findall(p_nid,html)
%20%20%20%20%20%20%20%20img%20=%20re.findall(p_img,html)
%20%20%20%20%20%20%20%20for%20j%20in%20range(len(title)):
%20%20%20%20%20%20%20%20%20%20%20%20data.append([title[j],location[j],sale[j],comment[j],price[j],nid[j],img[j]])
%20%20%20%20%20%20%20%20print("-------Page%s%20complete!--------

"%(i+1))
%20%20%20%20%20%20%20%20time.sleep(3)
%20%20%20%20except:
%20%20%20%20%20%20%20%20pass
data%20=%20pd.DataFrame(data,columns=["title","location","sale","comment","price","nid","img"])
data.to_csv("%s.csv"%key,encoding="utf-8",index=False)

上面代码爬取了20页商品信息，并将其保存在本地的csv文件中，效果是这样的：

有了数据，放着岂不是浪费，我可是社会主义好青年，怎能做这种事？那么，就让我们来简简单单分析一下这些数据：

（当然，数据量小，仅供娱乐参考）

#%20导入相关库
import%20jieba
import%20operator
import%20pandas%20as%20pd
from%20wordcloud%20import%20WordCloud
from%20matplotlib%20import%20pyplot%20as%20plt

相应库的安装方法(其实基本都能通过pip解决)：

• jieba
• pandas
• wordcloud
• matplotlib

#%20matplotlib中文显示
plt.rcParams["font.family"]%20=%20["sans-serif"]
plt.rcParams["font.sans-serif"]%20=%20["SimHei"]

不设置可能出现中文乱码等闹心的情况哦~

#%20读取数据
key%20=%20"显卡"
data%20=%20pd.read_csv("%s.csv"%key,encoding="utf-8",engine="python")

#%20价格分布
plt.figure(figsize=(16,9))
plt.hist(data["price"],bins=20,alpha=0.6)
plt.title("价格频率分布直方图")
plt.xlabel("价格")
plt.ylabel("频数")
plt.savefig("价格分布.png")

价格频率分布直方图：

#%20销售地分布
group_data%20=%20list(data.groupby("location"))
loc_num%20=%20{}
for%20i%20in%20range(len(group_data)):
%20%20%20%20loc_num[group_data[i][0]]%20=%20len(group_data[i][1])
plt.figure(figsize=(19,9))
plt.title("销售地")
plt.scatter(list(loc_num.keys())[:20],list(loc_num.values())[:20],color="r")
plt.plot(list(loc_num.keys())[:20],list(loc_num.values())[:20])
plt.savefig("销售地.png")
sorted_loc_num = sorted(loc_num.items(), key=operator.itemgetter(1),reverse=True)#排序
loc_num_10 = sorted_loc_num[:10]  #取前10
loc_10 = []
num_10 = []
for i in range(10):
    loc_10.append(loc_num_10[i][0])
    num_10.append(loc_num_10[i][1])
plt.figure(figsize=(16,9))
plt.title("销售地TOP10")
plt.bar(loc_10,num_10,facecolor = "lightskyblue",edgecolor = "white")
plt.savefig("销售地TOP10.png")

销售地分布：

销售地TOP10：

#%20制作词云
content%20=%20""
for%20i%20in%20range(len(data)):
%20%20%20%20content%20+=%20data["title"][i]
wl%20=%20jieba.cut(content,cut_all=True)
wl_space_split%20=%20"%20".join(wl)
wc%20=%20WordCloud("simhei.ttf",
%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background_color="white",%20#%20背景颜色
%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width=1000,
%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height=600,).generate(wl_space_split)
wc.to_file("%s.png"%key)

淘宝商品”显卡“的词云：