邬贺铨：大数据时代的发展趋势

2013-09-29 09:53:59 EP电力信息化网　点击量：评论 (0)

以从大数据中挖掘大价值为主题的第二届中国大数据应用论坛于2013年7月21日在北京大学英杰交流中心阳光大厅隆重举办。本次活动由北京大学信息化与信息管理研究中心和北京大学CIO班教务办公室主办，北达软

里等，那么产生的数据就更大了。飞机的汽轮机产生的数据是Twitter的七倍，例如波音787，它每一个飞行来回可产生TB级的数据，美国每个月收集360万次飞行记录;监视机队25000个引擎，每个引擎的数据一天产生588GB;空客380软件有10亿行，每30分钟产生10TB的数据;风力发电机装有测量风速、螺距、油温等多种传感器，每隔几毫秒测一次，用于检测叶片、变速箱、变频器等的磨损程度;一个具有500个风机的风场一年会产生2PB的数据。这些数据用于预防性维护，可使风机寿命延长3年即达到18年，每年每风机的成本将降低17%。根据上面监测的统计，今天所有企业的信息存储总量已达2.2ZB，未来几年将年增67%。

大数据的应用很多，比如淘宝，通过采集淘宝网上成交额比较高的390个类目的商品价格来搞出淘宝的CPI，比国家统计局公布的CPI更早的预测到经济状况。为什么?国家统计局统计的CPI主要根据是刚性的物品;比如食品，经济好、经济不好，人们都要吃饭，因此差别不大。可是淘宝上都是买化妆品、电子产品、服装，经济不好就会少买，因此淘宝CPI更能反映价格走势，一般来讲比我们国家统计局公布的CPI，能提前一个月到半个月预测到走势。中央首长到了淘宝看了以后就说“你们每天把淘宝的CPI送到中南海”。最近经济情况的下行压力很大，很多中小企业贷款很难，因为他们没用担保。阿里公司根据在淘宝网上中小公司遭遇的状况，筛选出财务健康、诚信企业，不要他们担保，阿里放贷300多亿元，坏账率仅0.3%。去年公布的四大商业银行坏账率是这个数字的13倍。商业银行是有担保的，而阿里没有担保。

Google把5000万美国人频繁的搜索跟美国疾控中心流感数据进行比较，一个地方发生流感肯定有很多人在网上搜索这些词汇，因此根据这些词汇出现频率可以判断这个地方出现流感，Google在2009年的甲型H1N1流感出现时，它比美国疾控中心提前几个月发布公告。Google前雇员创办了Climate公司，从美国气象局获得几十年的天气数据，并与各地的农业状况、土壤状况关联起来，尚有需求的农场主说“谁问我明天种什么能赚钱，我告诉你，如果我说错了，我的赔偿要比保险公司还要更高。”到现在为止，据说他们从来还没赔过，不像我们国家的农民只是根据简单的判断，今年猪肉贵了，明年大量养猪，明年猪肉就便宜了，然后年猪肉又贵了。所以农业上的大数据应用是很有帮助的。

第二，大带宽发展趋势。大数据必然驱动大带宽，这是全世界国际互联网干线的流量状况，根据美国的预测显示，2010年比2009年全世界的数据量增长了62%，按这个推断，10年国际互联网流量要增长1000倍，美国自身的互联网流量也是10年增长1000倍。这个曲线是全世界骨干网的流量，无论亚洲金融危机还是其他危机互联网，流量都不受影响，依旧保持高速增长。首先是光纤浏览，早年的是模拟的频分复用，90年代开启了光纤复用，当时叫数字的时分，TDM，当时一对光纤传2.5GB的三万电话电路;波分复用，一对光纤不仅仅可以传一个波长，可以同时传输多个波长，叫做波分复用。一对光纤在工程上已经传送1.6TB，相当于2000万电话电路。光纤通信虽然还可以采用更多的光纤技术，做到一对光纤传输16个TB，两亿电话电路。当然随着干线容量增加，我们希望系统更灵活，所以光互联网就出来了。总之，光纤传输能力十年扩大1000倍，目前来看还有很大发展空间，而且现在光纤光缆成本很低，中国生产世界一半的光纤光缆，同时也消耗了世界一半的光纤光缆，10年前中国的翻新光纤一公里卖到两千多人民币，去年报价是53元一公里光纤，现在光纤比面条便宜，极大地支撑了宽带化发展。可以看到，95年的时候数据总容量比较小，只有2.5G到10GB，波分数量也只有8到40个。到2010年可以看到，信道单波长已经做到100G，信道容量做到15个、50个波长。到2020年单波长要做到1T，总容量还会增大。右下角的图是中国联通169的网络，可以看到它每年都在扩容、增长。随着大数据时代来临，运营商还要大量的增加光纤容量。
另外，不单是干线容量增加，我们也希望用户节路带宽增加，所以新的运营商会推动“光纤到户”，实际上“光纤到户”是广义的，并不真正是’光纤到户”，而是光纤到大区