当今社会是一个发展迅速、科学技术先进、信息流通、人与人之间交流更加密切、生活更加方便的社会。大数据就是这个高科技时代的产物。先来介绍一下什么是大数据时代,以及对大数据的理解。
大数据通常用来描述一家公司创建的大量非结构化和半结构化数据,下载到关系数据库中进行分析会花费太多的时间和金钱。大数据分析经常与云计算联系在一起,因为对大数据集的实时分析需要像MapReduce这样的框架来将工作分配给几十台、几百台甚至几千台计算机。
大数据的特征
数据量大,数据种类多,实时性要求强,数据价值大。各行各业都有大数据,但很多信息和咨询都很复杂,需要搜索、处理、分析、总结和归纳。
大数据的4V特性包括容量、速度、多样性和价值。
大数据时代的影响
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。比如,2012年3月22日,奥巴马政府宣布投资2亿美元推动大数据相关产业发展,将“大数据战略”提升到国家意志。2012年,联合国还发布了《大数据政务白皮书》,指出大数据是联合国和各国政府的历史性机遇。如今,人们可以利用极其丰富的数据资源对社会经济进行前所未有的实时分析,帮助政府更好地应对社会经济运行。
从技术上讲,大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不是单台计算机就能处理的,必须采用分布式计算架构。其特点在于挖掘海量数据,但必须依靠云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据和云计算
大数据是大量动态的、可持续的数据,可以利用新系统、新工具、新模型进行挖掘,从而获得洞察和新价值。在过去,面对海量的数据,我们可能是盲目的、看得见的,因此无法理解事物的本质,从而在科学工作中得出错误的推论。随着大数据时代的到来,所有的真相都会呈现给大家。