大数据，大社会

2013-10-25 13:11:30 唐加文双博士的博客　点击量：评论 (0)

预测未来最好方法就是去创造未来，大数据战略正是当下领航全球的新引擎。　　中国新闻网10月2日报道：9月30日中共中央政治局以实施创新驱动发展战略为题举行第九次集体学习，主题之一就是当前信息科学前沿

预测未来最好方法就是去创造未来，大数据战略正是当下领航全球的新引擎。
　　中国新闻网10月2日报道：9月30日中共中央政治局以实施创新驱动发展战略为题举行第九次集体学习，主题之一就是当前信息科学前沿——大数据的发展情况。
　　一、现在已经进入大数据时代。
　　全球所有信息数据中90%产生于过去两年，大数据在两个方面表现出最重要的价值，一是促进信息消费，加快经济转型升级；二是关注社会民生，带动社会管理创新。国家层面发展大数据，需要促进数据开放，扶持科研和培育人才。大数据是新的起跑线，不仅会带动我国信息产业在国际竞争中的超越，还会推动传统产业升级发展，大数据将成为驱动中国发展的重要战略资源。
　　大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据主要有4个特点：其一，数据体量巨大。从TB级别，跃升到EB级别乃至NB级别；其二，数据类型繁多。包括但不仅限于文字、图片、语音、视频、地理位置信息等等。其三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。其四，处理速度快。1秒定律（或称秒级定律，就是说对处理速度要求极高，一般必须在秒级时间范围内给出分析结果，时间太长就失去了意义和价值）。最后这一个特点也是大数据与传统数据挖掘技术有着本质不同的关键分界点。业界将其归纳为4个“V”，即Volume，Variety，Value，Velocity。实际上，大部分国家和地区都还在发展中探索，尽管一些发达国家有些已经取得了阶段突破，但是总体来说全球大数据还处在比较粗放的发展阶段。
　　二、大数据对我们的意义与价值。
　　比如，大数据可用于了解行为的技术会为方方面面带来双赢，让卖家了解买家，让买家喜欢买到的东西。因为我们生活在一个有更多的东西的社会中，人们比以往任何时候都与数据或信息交互。
　　再比如，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式……所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。
　　大数据，其实就是实时数据的处理和实时结果的导向，越来越多的数据挖掘前端化，或者说直接为消费者感知和直接提供消费者所需要的服务，通常形式是诞生了各种各样的个性化推荐的服务。人们耳熟能详的其中一个运用实例，我想就是大数据成功预测美国大选。
　　在美国总统大选结果出炉之前，很多专家、计算机模型和数据分析都在预测最终结果：奥巴马战胜挑战者罗姆尼获得连任的可能性比较大。这当然不是“必然的”，不过模型有时会说谎，但数据很少会，毕竟它根本不关心谁是下任总统，当时令人信服的成功预言，又一次展示了大数据独特的魅力和神奇的力量。
　　三、中国大数据发展面临的机遇及挑战。
　　中国的企业跟外企比较，有一个很重要的特性就是人口基数的区别，中国消费群体所产生的这种数据量，与国外相比不可同日而语。中国在数据量上、复杂度上应该有相对不同的地方，但是大数据在中国的商业价值已经逐渐显现出来了：手中握有数据的企业站在金矿上，基于数据交易即已经开始产生很好的效益；基于数据挖掘孵化了很多商业模式的诞生，只是定位角度不同，或侧重数据分析——比如帮企业做内部数据挖掘；或侧重优化——比如帮企业更精准找到用户、降低营销成本和提高企业销售业绩，从而显著增加利润。
由于技术、数据系统限制、用户隐私和商业模式不明确等问题，目前大数据运营只处在探索阶段。现存的四个挑战是：国内系统分散建设，难以实现资源共享；数据处理种类多，单一技术难以实现；如何避免隐私泄露问题未能解决，大数据运营有风险；尚未确立商业运营模式。因此，最易实施的大数据应用分