物联网数据的采集与处理

一.物联网相关协议

1.http

优势:

  • 简单的工作模式,请求/响应
  • 完整的方法定义。
  • 合理的状态码设计
  • 友好的媒体类型支持。文本、图片、视频

缺点:

  • 单向传输,可以通过客户端轮询实现类似推送效果或者HTTP 2.0。
  • 安全性不高, HTTP是明文协议,可以使用HTTPS传输
  • HTTP是文本协议,冗长的协议头部,对于运算、存储、带宽资源受限的设备来说开销大。

2.MQTT

MQTT协议,支持一对多的基于消息主题(Topic)的消息订阅,也就是一个MQTT的客户端,发送一条特定主题的消息,

能同时支持多个订阅者同时订阅。

img

二.数据的采集与处理方案

1.传统的方案:

​ 假如我们手下现在有两个树莓派,其中一个树莓派上面有几个传感器,我们标记为slave,而另外一个树莓派充当服务器的角色,我们标记为master。然后我们通过在slave上收集传感器的数据,然后将数据通过http请求发送给master,master进行传感器的数据存储。这是传统的C/S架构。

2.现代的方案:

​ 同样是两个树莓派,我们从两个点进行来更新项目提高项目的效率:数据的采集,数据的处理。

数据的采集:我们通过MQ进行消息数据传送。

数据的处理:通过构造分布式数据库,进行数据存储。

如下图所示,采用的是一种方案,将数据/数据文件存储在云存储中,然后通过MQ来监听下载文件到分布式系统中(HDFS,spark,HBASE)

设备开始采集之后,然后以文件的方式保存,然后通过网络传送到云存储。 由于数据量大,这里通常要做系列化以及压缩处理。

img

三.总结

四.参考

物联网数据采集处理架构:https://blog.csdn.net/tom_fans/article/details/78667779

如何有效的处理物联网中的海量数据:http://m.elecfans.com/article/1062961.html

如何高效处理物联网中数据与消息:https://yq.aliyun.com/articles/111342

物联网协议MQTT浅谈:https://blog.csdn.net/u010648018/article/details/80963913

发布了76 篇原创文章 · 获赞 44 · 访问量 20万+

猜你喜欢

转载自blog.csdn.net/qq_38278799/article/details/100594647