【犀思云高管夜话】大数据时代：数据是如何爆炸式增长的？

 

我们先来看看百度关于“大数据”（Big Data）的搜索指数，如下图所示。

 

图1-1 “大数据”搜索指数

 

   可以看出，“大数据”这个词是从2012年才引起关注的，之后搜索量便迅猛增长。为什么大数据这么受关注？看看下面的图就明白了。2004年，全球数据总量是30EB 。随后，2005年达到了50EB，2006年达到了161EB。到2015年，居然达到了惊人的7,900EB。到2020年，将达到35,000EB。这个规律，被称为新摩尔定律，即：人类有史以来的数据总量，每过18个月就会翻一番。

图1-2 全球数据总量

 

   为什么全球数据量增长如此之快？一方面是由于数据产生方式的改变。历史上，数据基本上是通过手工产生的。随着人类步入信息社会，数据产生越来越自动化了。比如在精细农业中，需要采集植物生长环境的温度、湿度、病虫害信息，来对植物的生长进行精细的控制。因此我们在植物的生长环境中安装各种各样的传感器，自动地收集我们需要的信息。对环境的感知，是一种抽样的手段，抽样密度越高，越逼近真实情形。如今，人类不再满足于得到部分信息，而是倾向于收集对象的全量的信息，即将我们周围的一切数据化。因为有些数据如果丢失了哪怕很小一部分，都有可能得出错误的结论，比如通过分析人的基因组判断某人可能患有某种疾病，即使丢失一小块基因片段，都有可能导致错误的结论。为了达到这个目的，传感器的使用量暴增。目前全球大约有30-50亿个传感器，到2020年将达到1000亿个之多。这些传感器24小时都在产生数据，这就导致了信息爆炸。

   另一方面，人类的活动越来越依赖数据。一是人类的日常生活已经与数据密不可分。全球已经有大约30亿人连入了互联网。在Web 2.0时代，每个人不仅是信息的接受者，同时也是信息的产生者，每个人都成为了数据源，每个人都在用智能终端拍照、拍录像、发微博、发微信等。全球每天会有2.88万小时的视频上传到Youtube，会有5千万条信息上传到Twitter，会在亚马逊产生630万笔订单…；二是科学研究进入到了“数据科学”时代。例如，在物理学领域，欧洲粒子物理研究所的大型强子对撞机，每秒产生的原始数据量高达40TB。在天文学领域，2000年斯隆数字巡天项目启动的时候，位于墨西哥州的望远镜在短短几周内收集到的数据比天文学历史上的总和还要多；三是各行各业也越来越依赖大数据手段来开展工作。例如，石油部门用地震勘探的方法来探测地质构造、寻找石油，使用了大量传感器来采集地震波形数据。高铁的运行要保障安全，需要在每一段铁轨周边大量部署传感器，从而感知异物、滑坡、水淹、变形、地震等异常。在智慧城市建设中，包括平安城市、智能交通、智慧环保和智能家居等，都会产生大量的数据。目前一个普通城市的摄像头往往就有几十万个之多，每分每秒都在产生极其海量的数据。 

   那么，何谓大数据？参考维基百科，本书给出的定义如下：海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。

   目前工业界普遍认为大数据具有4V+1C的特征：

   1）数据量大（Volume）：存储的数据量巨大，PB级别是常态，因而对其分析的计算量也大；

   2）多样（Variety）：数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容。而随着人类的活动的进一步拓宽，数据的来源更加多样；

   3）快速（Velocity）：数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值；

   4）价值密度低（Value）：需要对大量的数据处理挖掘其潜在的价值，因而，大数据对我们提出的明确要求是设计一种在成本可接受的条件下，通过快速采集、发现和分析从大量、多种类别的数据中提取价值的体系架构；

  5）复杂度（Complexity）：对数据的处理和分析和处理的难度大。

 

本栏目由犀思云计算(Syscloud)赞助冠名，犀思云为中国领先的云计算及IDC综合服务提供商，面向全国范围内的用户提供服务器托管与租用服务，云计算IaaS领域内网络，计算，存储，安全等服务，以及面向互联网及传统行业的混合云解决方案。