闲的无聊,爬取了某视频网的所有搞笑视频,并且整理了每个视频的名字和地址放在了一个txt文本中,因为只是娱乐的操作,考虑到对方服务器的负荷,就只爬取了10页的内容,这样如果喜欢做视频的下伙伴就有素材了
网页是动态的,所以获取的是json数据,然后再细处理
话不多说,代码如下;
import requests import pprint import os if not os.path.exists('视频文件夹'): os.makedirs('视频文件夹') url = 'https://www.ku6.com/video/feed?' def get_params(page): params = { 'pageNo': page, 'pageSize': '40', 'subjectId': '76' } return params for i in range(0, 10): params = get_params(i) print('--------第{}页正在下载'.format(i)) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36' } response = requests.get(url, headers=headers, params=params).json() # pprint.pprint(response) list_data = response['data'] # print(list_data) for data in list_data: # pprint.pprint(data) data_mp4 = data['playUrl'] data_name = data['desc'] cc = '视频名字:', data_name, '视频地址:', data_mp4 print('视频名字:', data_name, '视频地址:', data_mp4) with open('视频文件夹//'+'视频数据.txt', mode='a', encoding='utf-8')as f: f.write(str(cc))