html5语义标签
| Element | Description |
|---|---|
| <section> | 定义文档中的一个章节。 |
| <nav> | 定义只包含导航链接的章节。 |
| <article> | 定义可以独立于内容其余部分的完整独立内容块。 |
| <aside> | 定义和页面内容关联度较低的内容——如果被删除，剩下的内容仍然很合理。 |
| <header> | 定义页面或章节的头部。它经常包含 logo、页面标题和导航性的目录。 |
| <footer> | 定义页面或章节的尾部。它经常包含版权信息、法律信息链接和反馈建议用的地址。 |
| <address> | 定义包含联系信息的一个章节。 |
| <main> | 定义文档中主要或重要的内容。 |
如图:
使用nodejs request库抓取网站数据
分析数据
查看请求 如图:
打开chrome开发者工具crtl+shift+i，打开network面板，选择XHR
找到需要数据的XHR请求
分析请求
箭头所示地方 发现 该数据是使用post请求并且传值形式如 "form: trendType=01"，请求的url也一目了然
伪造请求
那么接下来的事情就比较简单了，我们只需要根据找到的这个请求格式设置headers，再请求这个api的url即可
'accept': 'application/json, text/javascript, */*; q=0.01',
'origin': 'http://www.liangdawang.com',
'referer': 'http://www.liangdawang.com/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'下载数据
查看request文档再使用pipe方法将获取的数据下载到本地保存起来
request(options, callback).pipe(fs.createWriteStream(options.form.trendType + `.json`));