目录
项目需求：抓取专辑所有音频文件。
超详细讲解，按需查看，文末附源代码。关注我们，只涨知识，不掉发。
1. 项目截图
2. 找数据
搜索郭德纲相声，选择第一个专辑，点击进入。
找到我们需要下载的音频文件，一共49个。
这里以谷歌浏览器来演示使用开发者工具（F12）来找数据，找数据小技巧：直接先找xhr分类，如没有数据，再找all里第一个html，一般情况下，批量采集的数据是以json数据格式获取的。
喜马拉雅的音频数据藏在点击播放后的url里。截图中的url正是音频列表的数据了。
接着点开右侧 Preview预览的文件，trackId就是区分每个文件的id。要找到下载数据的地方，就必须找到唯一的关键词。
顺着左侧的url查看，发现下面这个url对应的右侧数据，有我们需要的.m4a音频文件数据。
找数据就搞定了，49个音频文件列表数据和对应的音频文件地址数据。
3. 项目难点讲解
经过url的观察，发现请求头里，都会有个xm-sign的数据。没有这个数据，则抓取不到我们要的数据。
那我们就生成xm-sign数据，规则是 md5(himalaya-服务器时间戳)(100以内随机数)服务器时间戳(100以内随机数)现在时间戳。（每次抓取数据的时候，都需要调用该方法，现在时间戳和服务器时间戳相差大到一定值，则获取不到数据）
def getServerTime(self):
"""
获取喜马拉雅服务器的时间戳
:return:
"""
# 这个地址就是返回服务器时间戳的接口
serverTimeUrl = "https://www.ximalaya.com/revision/time"
response = requests.get(serverTimeUrl,headers = self.headers)
return response.text
def getSign(self,serverTime):
"""
生成 xm-sign
规则是 md5(himalaya-服务器时间戳)(100以内随机数)服务器时间戳(100以内随机数)现在时间戳
:param serverTime:
:return:
"""
nowTime = str(round(time.time()*1000))
sign = str(hashlib.md5("himalaya-{}".format(serverTime).encode()).hexdigest()) + "({})".format(str(round(random.random()*100))) + serverTime + "({})".format(str(round(random.random()*100))) + nowTime
# 将xm-sign添加到请求头中
self.headers["xm-sign"] = sign
return sign这里提供一个获取音频文件分页页码的方法。原理是获取分页数字所在的html结构，循环该结构，依次加1得到页码。（方法有很多，可以参考这个思路）
"""
获取课程下分页的页码（名称，图片，简介，）
"""
def getPageCount(self,url):
page_count = 0
# 分页数据测试
res = requests.get(url,headers=self.headers)
try:
# print(res.text)
soup = bs4.BeautifulSoup(res.text,'html.parser')
# print(soup)
data_list = soup.find('ul',class_='pagination-page _Xo').find_all('li') # 页码所在的html结构
# lesson_title = soup.find('h1',class_='title lO_').text # 名称
# lesson_img = soup.find('img',class_='img lO_')['src'] # 图片
# lesson_abstract = soup.find('article',class_='intro aB_') # 简介
for data in data_list:
if(data.text.isdigit()): # 如果是数字，代表是分页的
page_count+=1
except:
print('='*30 + '不存在分页' + '='*30)
if(page_count == 0):
page_count = 1 # 分页从1开始，为第一页
return page_count
# return lesson_title,lesson_img,lesson_abstract,page_count这里再引申一下：插入数据到数据库（sql server），其他数据库大同小异。
'''
连接sql server数据库，增删改查，语句可以在数据库写好，复制进来，因为这里是字符串，不容易发现错误
'''
def insertData(self,lesson):
connect = pymssql.connect('192.168.0.248','***','***','***') # 服务器名,账户,密码,数据库名
if connect:
print('连接成功！')
cursor = connect.cursor() # 创建一个游标对象,python里的sql语句都要通过cursor来执行
sql = "insert into Lesson(parentId,lessonType,lessonImg,lessonName,abstract,lessonFileUrl) values('{}','{}','{}','{}','{}','{}')".format(self.parentId,self.lessonType,self.lessonImg,self.lessonName,self.abstract,self.lessonFileUrl)
cursor.execute(sql) # 执行sql语句
connect.commit() # 提交
cursor.close()
connect.close()4. 源代码
注意看注释喔~ 有问题随时微信联系我们吧。下载的音频文件路径需更改。
import requests,bs4,time
import time
import hashlib
import random
import pymssql
'''
插入数据库的数据对象，封装对象，方便调用
'''
class lesson(object):
def __init__(self,parentId,lessonType,lessonImg,lessonName,abstract,lessonFileUrl):
self.parentId = parentId
self.lessonType = lessonType
self.lessonImg = lessonImg
self.lessonName = lessonName
self.abstract = abstract
self.lessonFileUrl = lessonFileUrl
class ximalaya(lesson):
def __init__(self):
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36"
}
def getServerTime(self):
"""
获取喜马拉雅服务器的时间戳
:return:
"""
# 这个地址就是返回服务器时间戳的接口
serverTimeUrl = "https://www.ximalaya.com/revision/time"
response = requests.get(serverTimeUrl,headers = self.headers)
return response.text
def getSign(self,serverTime):
"""
生成 xm-sign
规则是 md5(himalaya-服务器时间戳)(100以内随机数)服务器时间戳(100以内随机数)现在时间戳
:param serverTime:
:return:
"""
nowTime = str(round(time.time()*1000))
sign = str(hashlib.md5("himalaya-{}".format(serverTime).encode()).hexdigest()) + "({})".format(str(round(random.random()*100))) + serverTime + "({})".format(str(round(random.random()*100))) + nowTime
# 将xm-sign添加到请求头中
self.headers["xm-sign"] = sign
return sign
'''
下载音频文件，路径需要设置
'''
def downVoice(self,url,fileName):
serverTime = self.getServerTime() # 每次执行下载都需要发出请求，xm-sign的现在时间戳和服务器时间戳需要不断更新，才能通过验证
self.getSign(serverTime) # 将xm-sign添加到请求头中, 不然无法获取到数据
try:
res = requests.get(url,headers=self.headers)
down_file_url = res.json()['data']['src'] # json解析报错
# print(down_file_url)
down_file_content = requests.get(down_file_url,headers=self.headers)
with open('D:\\you-get\\喜马拉雅\\'+fileName+'.mp3', 'wb') as file: #保存到本地的文件名, 文件名一样会被替换（这里是特殊情况，可根据需要区分文件名）
print('正在下载...:'+fileName)
file.write(down_file_content.content)
file.flush()
print('下载完成!!!:'+fileName)
print('=' * 30)
except Exception as e:
print('=====报错的url为：'+url)
print(e)
'''
获取课程下的所有课件列表
'''
def getAllLesson(self,url):
res = requests.get(url,headers=self.headers)
list_data = res.json()['data']['tracksAudioPlay']
for data in list_data:
voice_data_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(data['trackId'])
trackName = data['trackName']
# lesson.lessonName = trackName # 装载数据到lesson对象
# ximalaya.insertData(self,lesson) # 传入lesson对象
self.downVoice(voice_data_url,trackName)
time.sleep(3)
"""
获取课程下分页的页码（名称，图片，简介，）
"""
def getPageCount(self,url):
page_count = 0
# 分页数据测试
res = requests.get(url,headers=self.headers)
try:
# print(res.text)
soup = bs4.BeautifulSoup(res.text,'html.parser')
# print(soup)
data_list = soup.find('ul',class_='pagination-page _Xo').find_all('li') # 页码所在的html结构
# lesson_title = soup.find('h1',class_='title lO_').text # 名称
# lesson_img = soup.find('img',class_='img lO_')['src'] # 图片
# lesson_abstract = soup.find('article',class_='intro aB_') # 简介
for data in data_list:
if(data.text.isdigit()): # 如果是数字，代表是分页的
page_count+=1
except:
print('='*30 + '不存在分页' + '='*30)
if(page_count == 0):
page_count = 1 # 分页从1开始，为第一页
return page_count
# return lesson_title,lesson_img,lesson_abstract,page_count
'''
连接sql server数据库，增删改查，语句可以在数据库写好，复制进来，因为这里是字符串，不容易发现错误
'''
def insertData(self,lesson):
connect = pymssql.connect('***','***','***','***') # 服务器名,账户,密码,数据库名
if connect:
print('连接成功！')
cursor = connect.cursor() # 创建一个游标对象,python里的sql语句都要通过cursor来执行
sql = "insert into Lesson(parentId,lessonType,lessonImg,lessonName,abstract,lessonFileUrl) values('{}','{}','{}','{}','{}','{}')".format(self.parentId,self.lessonType,self.lessonImg,self.lessonName,self.abstract,self.lessonFileUrl)
cursor.execute(sql) # 执行sql语句
connect.commit() # 提交
cursor.close()
connect.close()
'''
程序入口
'''
if __name__ == '__main__':
# https://www.ximalaya.com/ertong/38839711/
# 获取课程的所有课件列表数据
# lesson_id = '38839711'
# lesson_id = '31966031'
lesson_id = '238474' # Url地址栏中的一串数字
# 课程详情url,包含课程下所有的章节数据页面
# lesson_url = 'https://www.ximalaya.com/ertong/{}/'.format(lesson_id)
# lesson_url = 'https://www.ximalaya.com/youshengshu/{}/'.format(lesson_id)
lesson_url = 'https://www.ximalaya.com/xiangsheng/{}/'.format(lesson_id)
ximalaya = ximalaya()
page_count = ximalaya.getPageCount(lesson_url)
for count in range(1,page_count+1):
# json数据Url
json_url = 'https://www.ximalaya.com/revision/play/v1/show?id={}&num={}&sort=1&size=30&ptype=0'.format(lesson_id,count)
ximalaya.getAllLesson(json_url)
联系我们，一起学Python吧
分享Python实战代码，入门资料，进阶资料，基础语法，爬虫，数据分析，web网站，机器学习，深度学习等等。
关注公众号「Python家庭」领取1024G整套教材、交流群学习、商务合作