工具:云采爬虫
目标:抓取某个博主的全部微博
分析网页结构:
我们抓取的思路是模拟浏览器自动访问页面抓取。
我们来看一下页面结构,首先每个微博列表,必须进行三四次的下拉加载,如果底部有个翻页的按钮,那么判断本页加载完成。
登录的问题
抓取需要登录账号,如何登录呢?
登录是不需要验证码的,如果你输入错了,才会叫你输入验证码,所以登录是没什么技术难度的。
我们可以创建一个【登录模块】,先用浏览器登录,往后所有的页面都基于这个浏览器共享的cookie去抓取。
流程图设计:
我们不需要微博的详情页。所以整个爬虫的流程是没有详情页的,数据都从列表里面提取。
爬取结果:
总共花费了5分钟的时间,抓取了10个页面,总计四百条微博。因为我的微博发的不是很频繁。
数据如下:
做个简单的词云: