一 分析请求
1 Chrome浏览器打开开发工具,然后访问https://m.weibo.cn/u/2830678474
2 一直滑动页面以加载新的微博内容。可以看到,会不断有Ajax请求发出。
3 选定其中一个请求,分析它的参数信息。点击该请求,进入详情页面,如下图:
4 可以发现,这是一个GET类型的请求,请求链接为[https://m.weibo.cn/api/container/getIndex?type=uid&value=2830678474&containerid=1076032830678474&page=2)。请求的参数有4个:type、value、containerid和page。
5 随后再看看其他请求,可以发现,它们的type、value和containerid始终如一。type始终为uid,value的值就是页面链接中的数字,其实这就是用户的id。另外,还有containerid。可以发现,它就是107603加上用户id。改变的值就是page,很明显这个参数是用来控制分页的,page=1代表第一页,page=2代表第二页,以此类推。
二 分析响应
1 响应数据如下:
这个内容是JSON格式的,浏览器开发者工具自动做了解析以方便我们查看。可以看到,最关键的两部分信息就是cardlistInfo和cards:前者包含一个比较重要的信息total,观察后可以发现,它其实是微博的总数量,我们可以根据这个数字来估算分页数;后者则是一个列表,它包含10个元素,展开其中一个看一下。
2 单条微博数据
可以发现,这个元素有一个比较重要的字段mblog。展开它,可以发现它包含的正是微博的一些信息,比如attitudes_count(赞数目)、comments_count(评论数目)、reposts_count(转发数目)、created_at(发布时间)、text(微博正文)等,而且它们都是一些格式化的内容。
这样我们请求一个接口,就可以得到10条微博,而且请求时只需要改变page参数即可。
这样的话,我们只需要简单做一个循环,就可以获取所有微博了。
三 爬取代码
import requests
from urllib.parse import urlencode
from pyquery import PyQuery as pq
from pymongo import MongoClient
# 表示请求的URL的前半部分
base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
'Host': 'm.weibo.cn',
'Referer': 'https://m.weibo.cn/u/2830678474',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
}
client = MongoClient()
db = client['weibo']
collection = db['weibo']
max_page = 10
# 定义一个方法来获取每次请求的结果。在请求时,page是一个可变参数,所以我们将它作为方法的参数传递进来
def get_page(page):
# 构造参数字典,其中type、value和containerid是固定参数,page是可变参数
params = {
'type': 'uid',
'value': '2830678474',
'containerid': '1076032830678474',
'page': page
}
# 调用urlencode()方法将参数转化为URL的GET请求参数,
# 即类似于type=uid&value=2830678474&containerid=1076032830678474&page=2这样的形式
# base_url与参数拼合形成一个新的URL。
url = base_url + urlencode(params)
try:
# 我们用requests请求这个链接,加入headers参数
response = requests.get(url, headers=headers)
# 然后判断响应的状态码,如果是200,则直接调用json()方法将内容解析为JSON返回,否则不返回任何信息。
if response.status_code == 200:
return response.json(), page
# 如果出现异常,则捕获并输出其异常信息。
except requests.ConnectionError as e:
print('Error', e.args)
# 定义一个解析方法,用来从结果中提取想要的信息
def parse_page(json, page: int):
if json:
items = json.get('data').get('cards')
# 想保存微博的id、正文、赞数、评论数和转发数这几个内容,那么可以先遍历cards,
# 然后获取mblog中的各个信息,赋值为一个新的字典返回
for index, item in enumerate(items):
if page == 1 and index == 1:
continue
else:
item = item.get('mblog', {})
weibo = {}
weibo['id'] = item.get('id')
# 借助pyquery将正文中的HTML标签去掉。
weibo['text'] = pq(item.get('text')).text()
weibo['attitudes'] = item.get('attitudes_count')
weibo['comments'] = item.get('comments_count')
weibo['reposts'] = item.get('reposts_count')
yield weibo
# 加一个方法将结果保存到MongoDB数据库
def save_to_mongo(result):
if collection.insert(result):
print('Saved to Mongo')
# 用程序模拟Ajax请求,将前10页微博全部爬取下来
if __name__ == '__main__':
# 遍历一下page,一共10页,将提取到的结果打印输出即可
for page in range(1, max_page + 1):
json = get_page(page)
results = parse_page(*json)
for result in results:
# 打印结果
print(result)
# 保存到mongoDB
save_to_mongo(result)
四 结果
1 打印
2 数据库