一、特征
数据量大:任何时候的任何事都可以看作为数据,都可以以数据的形式存储或者处理。
数据多样性:数据类型多种多样,数据分为结构化数据和非结构化数据,结构化就是存储在数据库或者文本数据,非结构化数 据比如视频,音频,图片等数据
价值密度低:海量的数据中有价值的可用的数据比较少
高速:数据处理的速度快
二、开发流程
获取数据:从数据库中获取,网络爬虫
分析数据:又分为离线分析和实时处理。
离线分析:
概述:对数据的实时性要求不高,该数据可以一段时间处理一次,比如:今日景点总客流量
技术:Hadoop,Hive,SparkSQL,HBase
实时处理:
概述:对数据的实时性要求很高,需要一直监控数据源变化,数据源数据发生变化就处理一次。比如当前在景点游客数量
技术:Flume,kafka(redis),storm,sprakStreaming