什么是大数据,大数据有什么用,为什么凯文凯利说数据是必然,马云说数据是未来的一切的来源?
/ 01 /
什么是大数据
关于大数据的概念,有诸多版本,如同文化、精神这类词,没有统一定义。这里不是写论文,只引用两个版本:
1个来自维基百科:大数据是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。
1个来自百度百科:大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
维基百科说了大数据大、难处理,复杂、数据集,百度百科在此基础上强调它是一种信息资产。
两个概念共同昭示了大数据的主要特点:数量大、种类多、复杂、难处理、价值大。
那大数据是谁创造呢?
笼统说:是所有人的所有行为。
/ 02 /
大数据有何用
大数据有什么用,为什么马云说,数据不仅是能源,是血液,是未来所有的一切的创新和来源?
其实大数据本身是没有任何价值。就目前来看,企业会更直接从大数据中获利。
大数据的价值,可以笼统归为两点:
- 大数据为人服务,为企业和个人提供决策参考,让人少犯错,更聪明。这方面主要体现在精准营销、用户需求、市场拓展、趋势预测、资源配置、产品升级……
- 大数据为机器服务:大数据可以训练机器设备、人工智能,让机器更聪明。这方面主要体现在物联设备、人工智能训练、搜索引擎、信息分发平台的推送机制等,都是基于大数据之上的。
/ 03 /
大数据的分类
大数据大体可以分两类。
- 开放数据。开放数据即所有人可见的公开数据。包含但不局限以下:
网站数据;APP数据;大众媒介数据,如电视、报纸、电台、书等;
……
- 内部数据。内部数据即某些特定机构、企业拥有数据。包含但不局限以下:
政府数据,如征信、户籍、犯罪记录等;企业数据,如阿里巴巴的消费数据,腾讯的社交数据,滴滴的出行数据等;机构数据,如第三方咨询机构的调查数据。终端数据,如小米智能手环搜集你的健康数据。
……
/ 04 /
大数据如何获取
如果企业、机构或者个人想要获取大数据,该怎么获取呢?
1.购买。
购买分两种,一种是直接向数据拥有者购买。一些公司或个人拥有一些数据,他们会出售数据变现(相对少);
另一种方式是上数据交易平台购买数据,比如上发源地大数据交易平台,用户可以直接购买数据,也可以发布数据需求,定制数据,从开发者或数据供应商获取数据。
2.采集。
采集数据要看采集什么数据。如果要采集开放数据,方式也是两种,如果懂技术,可以自己写代码采;如果不懂技术,技术小白,可以用数据采集工具采,比如Finndy+云采集引擎。
而如果要采集内部数据的话,一般说来企业内部都有自己的数据采集软件和方式,比如工业设备会通过传感器记录数据,一些企业会人工记录采集数据。
3.自造。
比如阿里巴巴、腾讯、百度这些互联网巨头公司,从某种维度上来说,他们也是数据公司,并且拥有自造大数据的能力,如果你的企业能切中某个社会大需求,拥有海量用户和高使用频次,成为巨头,你也可以自造大数据。
/ 05 /
大数据如何应用
大数据怎么用?
这里只讲流程和逻辑,不切具体行业和场景。
不管你是用大数据去服务人,帮助你做决策,还是用大数据去训练你的机器,算法,一般都要四步骤:
- 1、数据采集。数据采集的方法上面已经说了,这里要说的是,数据采集是数据应用的基础,数据源非常重要,如果数据源错了,后面的所有结果都是错,采集来的数据是否全,是否清洗,是否合法,是否及时,都是数据可靠性和可用性的判断维度。
- 2、数据建模。数据采集上来了,需要对数据进行整理,按照一些规则和维度进行组织,让人和机器都能看懂。
- 3.数据分析。数据该如何分析,分析哪些维度,怎么从过去预测未来,这是个大学问,也是各家各说,无法一一展开,在此不赘述。
- 4、数据应用。分析完就是应用,验证分析结果。这是一个循环过程,通常需要A/B测试,反复验证优化。