Python3爬取某页面音频文件

目的？

这是一个python练习，通过这个练习，我们可以了解：

使用python发起http请求
python的文件操作
python的数据库操作

一、分析列表页面

首先分析一下某网站的专辑页面要素，想办法获取页面红色列表信息数据。理论上，每个音频大致包括：id、标题、音频地址、更新时间等等

在浏览器调试工具中，查看一下http请求。大致找一下，看看能不能找到相应的数据。看看是直接页面生成的，还是有额外的api获取数据

在network分析中，快速浏览一下所有的http请求，查看响应的结果，很快就能找到

在请求中，我们发现了一个请求/revision/album/v1/getTracksList?albumId=18521227&pageNum=1,对就它了

结合页面的情况，还有响应的结果，我们应该能猜到：albumId应该就是专辑ID，而pageNum应该就是页面了，我们验证一下

没有错，这个就是列表信息的请求url了。json响应结果中，我们找比较重要的信息：trackId-音频ID,title-音频标题,url-音频播放地址

列表信息来源应该搞清楚了，我们接着看音频播放的时候是否能找到音频来源？

二、分析音频播放页面

打开单个音频播放地址后，跟列表页面一样，我们找单个音频信息来源。
应该能找到/revision/play/v1/audio?id=247457234&ptype=1

这个请求响应结果里面的src就是音频地址了

三、编码实现

获取专辑列表方法

1、使用requests发起http请求
2、获取列表信息api返回的json结果，根据自己需要, 把列表信息保持到 list 中
3、方法返回track信息的list

# 获取专辑列表
# album_id 专辑ID
# page_num 页码
def get_track_list(album_id, page_num):
    url = "https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=" + str(album_id) + "&pageNum=" + str(
        page_num)
    
    track_list = []
    resp = requests.get(url, headers=header)
    result = resp.json()
    if result['ret'] == 200:
        tracks = result['data']['tracks']
        for tack in tracks:
            track_list.append(
                {'index': tack['index'], 'play_count': tack['playCount'], 'duration': tack['duration'], 'trackId': tack['trackId'], 'title': tack['title'],
                 'url': tack['url']})
            # 加入字典(暂时没有使用)
            track_map[tack['trackId']] = tack['title']
    return track_list

获取单个音频信息方法

1、传入音频的id
2、使用requests发起http请求，获取单个音频的json信息
3、方法返回音频实际的http源文件地址

# 获取音频地址
def get_track_url(track_id):
    url = "https://www.ximalaya.com/revision/play/v1/audio?id=" + str(track_id) + "&ptype=1"
    resp = requests.get(url, headers=header)
    result = resp.json()
    if result['ret'] == 200:
        track_audio_play = result['data']['src']
        if len(track_audio_play) > 0:
            return track_audio_play

保存http音频文件信息到本地

1、使用requests发起http请求，获取单个音频的流
2、保存到响应的本地路径

#下载音频文件
def download_track_audio(url, file):
    resp = requests.get(url, headers=header, stream=True)
    with open(file, "wb") as f:
        for data in resp.iter_content(chunk_size=1024):
            if data:
                f.write(data)

例子运行&保存信息到数据库

try:
    dir = "H:/Temp"
    # 连接 mysql 的方法：connect('ip','user','password','dbname')
    con = mdb.connect(host='127.0.0.1', user='root', passwd='123456', db='py_demo', use_unicode=True, charset="utf8")
    # 所有的查询，都在连接 con 的一个模块 cursor 上面运行的
    cur = con.cursor()
    # 执行一个查询
    # cur.execute("SELECT VERSION()")
    # 取得上个查询的结果，是单个结果
    # data = cur.fetchone()
    track_list = get_track_list(18521227, 1)
    sql = """insert into track_info_demo(id,trackId,title,play_count,duration,url,file_path) values(%s,%s,%s,%s,%s,%s,%s)"""
    for track_info in track_list:
        
        # 下载
        track_url = get_track_url(track_info.get('trackId'))
        file_path = ""
        if track_url:
            # 扩展名
            file_name = track_url[track_url.rindex('/'):]
            # 文件名路径
            file_path = dir + file_name
            # 下载
            download_track_audio(track_url, file_path)
        
        # values.append(track_info.get('index'))
        # values.append(track_info.get('trackId'))
        values = [track_info.get('index'), track_info.get('trackId'), track_info.get('title'), track_info.get('playCount'), track_info.get('duration'),
                  track_info.get('url'), file_path]
        cur.execute(sql, values)
    
    con.commit()
finally:
    if con:
        # 无论如何，连接记得关闭
        con.close()

结果

数据库保存信息

文件信息

附：

源码附件