Python爬虫练习：爬取美元历史汇率

内容摘要

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。以上文章来源于小鹏友的数据分析之路，作者小鹏

文章正文

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以上文章来源于小鹏友的数据分析之路，作者小鹏友

界面：

可以看出，网站上有2006至今的历史汇率数据。点击进“2020-9-30”入下个界面：

进入新的网页后，可以看到本人需要的爬取的数据：人民币兑美元汇率（其它汇率留给大家自主爬取）。

对比两个时间（2020-9-30和2020-9-29）的网页url，发现只有id不同，而且只差1，说明可以根据id号递增来循环爬取不同日期的汇率。

接下来，解析人民币兑美元汇率（中间价）的源码：

第一，在chrome打开该网址，选择一个日期点击进入，然后按F12，鼠标点击右上角的箭头，再把箭头移动到需要爬取的汇率上，观察右边的源码，鼠标再次移动到对应的源码上，右键->edit as HTML，就可以看到具体的源码了。

第二，可以用re库，正则匹配出需要的内容：

上述代码匹配到的内容如下（以2020-9-30为例）。可以看出，美元汇率存放在list[0]中（其它部分汇率也可以匹配得到）。

用以下代码可以进一步匹配到2020-9-30的美元汇率6.8101

最后，就是实实在在地敲代码去爬了。如果爬取2016年至今每天的汇率数据，时间会有点久，所以本文就只爬取了2019年5月6日（即id=5001）至今的汇率数据，效果如下：

全部代码：

import pandas as pd
import numpy as np
import requests
import re
import time
import datetime

def CHNtime2strtime(CHNtime):
    """
        功能：中文时间转字符串时间
        传入：一个中文时间，如“2020年9月30号”
        返回：字符串时间，如“2020-9-30”
    
    """
    CHNtime_list = re.findall(r"[u4e00-u9fa5]+",CHNtime)
    for i in CHNtime_list:
        if i != "日":
            CHNtime = CHNtime.replace(str(i),"-")
        else:
            CHNtime = CHNtime.replace(str(i),"")

    return CHNtime

def diff_days(str_time):   
    """
        功能：计算过去某天时间与今天的天数差，比如“2020-9-29”距离今天（2020-9-30）相差1天
        传入：一字符串时间，如“2020-9-30”
        返回：天数差（数值型）
    
    """
    date_time = datetime.datetime.strptime(str_time,"%Y-%m-%d")
    now_time = datetime.datetime.now()
    diff_time = now_time - date_time
    days = diff_time.days
    
    return days


t = [] # 时间
dollar = [] # 美元

i = 5000 # 本文从id=5001（即2019-5-6）开始爬取

while True:  # 设置死循环
    
    i += 1    # 循环一次，id+1
    
    # 请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; 
        Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
    }

    # 网址
    url = "https://chl.cn/?id={}".format(str(i))

    # 请求响应
    r = requests.get(url,headers=headers)

    r.encoding = "utf-8"

    s = r.text

    try:  #设置抛出异常，因为有些id，如id=7001，网页就不存在

        rate_list = re.findall(r"<td><a href=".*?">(.*?)</a>/人民币</td><td>(.*?)</td>",s)
        
        tt = re.findall(r"<h1>(.*?)汇率</h1>",s)[0] #日期
        strtime = CHNtime2strtime(tt) #中文时间转字符串时间
        
        t.append(datetime.datetime.strptime(strtime,"%Y-%m-%d"))

        dollar.append(rate_list[0][1]) #美元
        
        days = diff_days(strtime) # 计算天数差
        
        print(tt,"爬取成功！")
        print("当天距离现在相差：",days,"天")
        
        if days == 0: #死循环终止条件：天数差为0时，即代表爬取到今天
            break

    except:
        # 如果爬取的url不存在，那么时间与汇率就用控制代替
        t.append(np.nan)
        dollar.append(np.nan)
        
        print("id = ",i," ",np.nan)

    time.sleep(0.2) #为了防止爬取的速度过快，设置睡眠时间为0.2s
    
    
df = pd.DataFrame() # 生产一个DataFrame用来存放数据
df["time"] = t
df["人民币兑美元汇率"] = dollar
df.dropna(inplace=True) # 将缺失值删去
df.to_excel("历史人民币兑美元汇率.xlsx",index=False) #在目前文件夹上生成excel文件
print("历史人民币兑美元汇率.xlsx 文件生成成功！")

代码注释

[!--zhushi--]

上一篇一道算法题，引出collections.Counter的特殊用法下一篇来梳理一些沙雕又有趣的GitHub开源程序[Python基础]

作者：喵哥笔记

学的不仅是技术，更是梦想！