一、项目简介
1.1 项目博客地址
https://www.cnblogs.com/lmc7318/p/12050055.html
1.2 项目完成的功能与特色
爬虫爬取天气后报网站的厦门的历史天气,把爬取到的厦门历史天气保存到csv文件,然后提取csv文件中的最高气温和最低气温的数据,用最高气温和最低气温进行数据可视化分析,然后画出折线图和柱状图。
气温通过折线图和柱状图能使人更加直观的看到气温变化的幅度。
1.3 项目采用的技术栈
python
1.4 项目借鉴源代码的地址
https://blog.csdn.net/qq_29721419/article/details/71638912
https://blog.csdn.net/mei1092670355/article/details/79699846
https://www.cnblogs.com/djw12333/p/11627573.html
1.5 团队成员任务分配表
梁颖 |
爬取数据 |
梁颖 |
数据可视化分析 |
二、项目的需求分析
可以通过爬虫可以获取你想要的网站的数据信息,这些数据你可以保存到你的电脑中,然后提取你想要的数据进行数据可视化分析。数据可视化分析可以绘制出各种图形,通过这些图形可以直观的观察出这些数据的变化,还有各个不同的数据之间的比重等方面。这样可以大大减少你直观的看这些表格然后进行分析所花费的时间。
三、项目功能架构图、主要功能流程图
1.项目功能架构图
2.主要功能流程图
四、系统模块说明
4.1 系统模块列表
Requests, |
BeautifulSoup, |
matplotlib |
4.2 各模块详细描述(名称,功能,运行截图,关键源代码)
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Matplotlib是一个Python 2D绘图库,它可以在各种平台上以各种硬拷贝格式和交互式环境生成出具有出版品质的图形。 Matplotlib可用于Python脚本,Python和IPython shell,Jupyter笔记本,Web应用程序服务器和四个图形用户界面工具包
五、项目总结
5.1 特点
爬虫领域,涉及的知识点比较多,不仅要熟悉web开发,有时候还涉及机器学习等知识,不过在python里一切变的简单,有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块,最简单的功能就是能发送和处理请求,这次的项目主要是爬取历史天气,通过爬虫爬出厦门天气的数据进行数据可视化绘制出的各种图形,能够更好的观测这些气温的变化幅度。
5.2 不足之处
功能比较简单,绘制的图不够齐全。