《电力大数据》走进大数据

2.1国内外厂商的技术和产品分析

2.1.2国内厂商在大数据领域的技术和产品

我国目前数据规模增长非常快，蕴含着巨大的数据价值。随着信息化建设在各行各业的持续深入，越来越多的国内数据厂商加入到了大数据的研发中来。目前国内进行大数据研发的厂商依旧分为两类：是现一类在已经可获取大数据能力的公司，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。如百度、阿里巴巴等互联网巨头，该类商家主要是以大数据应用技术、相关软件研究为主要切入点。另一类则是以华为、浪潮、中兴等以硬件突破为主的企业，涵盖了数据采集、数据存储、数据分析、数据可视化以及数据安全等领域。

2.1.2.1 百度公司

百度公司是全球最大的中文搜索引擎，2012年8月，百度云计算（阳泉）中心在山西省阳泉市奠基。建成后的云计算（阳泉）在数据存储规模、计算能力和环保节能三方面都将达到亚洲一流水准。 据规划建成后的百度云计算中心数据存储量超过4000PB，可存储的信息量相当中20多万个中国国家图书馆的藏书总量；同时由于使用了百度自主研发的高性能、低功耗服务器，数据中心CPU总量达70万颗、CPU内核总数超过300万个。西度“大数据引擎”包括开放云、数据工厂和百度大脑三个核心组件。百度将通过平台化和接口化的方式，对外开放其大数据存储、分析和智能化处理等核心能力，这也是全球首个开放大数据引擎的公司。通过开放自身的大数据分析平台，百度将获得各行各业的大数据资料及分析经验。例如，平安保险正在借助百度大数据加强消费者洞察，从过去的客户分群进化到按人定制、更进一步，大数据将在保险产品设计的计算、定价、弹性曲线等坏节发挥作用，既有利于改良现基于产品形态，也能实现险种创新。

2.1.2.2 阿里巴巴公司

阿里巴巴公司是一家由中国人创逮的闽际化的互联网公司，经营多元化的互联网业务，致力为全球所有人创造便捷的交易渠道。进入大数据时代以来，阿里巴巴陆续建立了领先的消费者电子商务、 网上支付、B2B网上交易市场及云计算业务，近几年更积极开柘无线应用、手机操作系统和互联网电视等领域。在阿里巴巴数据平台事业部的服务器上，攒下了超过100PB已处理过的数据，利用云计算技术进行数据挖掘，使阿里巴巴能够轻而易举地为其用户建立一 个细致的个人档案并进行精准的行为预测。如何挖掘、分析和运用阿里巴巴全系产品的数据，并和全社会分享，是阿里巴巴大数据战略的核心所在。更为关键的是，在大数据时代，掌握了数据，意味着掌握了整个社会的脉搏，试想一下. 当巨量的用户需求以数据形式被捕捉，快速反映在生产、供应链、库存、物流等环节时，电子商务将不仅仅是网上购物的代名词，它甚至会替代传统商务，成为主流的交易模式。届时，阿里巴巴将可能控制整个商业社会相当大比例的数据和脉搏。阿里巴巴大数据战略战术的核心是阿里云计算技术、在2009年，阿里巴巴即成立了专业的云计算服务公司，定位于提供公共服务的云计算。大规模电子商务服务的实践实际上就是为云计算提供技术储备的过程，是为综合配置和优化计算，存储资源、积累经验的过程。当服务的规模足够大，云计算就水到渠成了。它解决商务问题的过程，很大一部分其实是解决技术问题的过程。例如，阿里巴巴交易量节节攀升的双11购物狂欢节，成为阿里巴巴在云计算和大数据领域一年一度的技术大考。继2014年双11购物狂欢节公布571亿元的交易额后，阿里巴巴集团披露了双11背后的一系列技术指标：订单创建能力最高达到每秒钟8万笔，支付宝的支付峰值突破了每分钟285万笔，创下新的纪录。

2.1.2.3华为公司

华为技术有限公司是一家生产、销售通信设备的民营科技公司。 华为的产品主要涉及通信网络中的交换网络、传输网络、无线及有线固定接入网络和数据通信网络及无线终端产品，华为公司为世界各地通信运营商及专业网络拥有者提供硬件设备、软件、服务和解决方案。华为公司的大数据战略主要围绕其云计算数据中心解决方案展开。自2010年以来，华为公司联手英特尔、SAP等大数据领域巨头，积极推动全球云计算战略。至2013年8月，华为公司在全球成功部署330多个数据中心，其中70多个为云数据中心，与全球260多个云计算客户发掘云的商业价值.并交付全球规模最大、应用场景最复杂的华为10万并发规模的桌面云项目。围绕该数据战略，华为的大数据技术体系以软件为核心，基于开放的硬件，实现逻辑集中和物理分布。其软件包括FusionSphere云操作系统、Fusionlnsight大数据分析平台，ManagdeOn数据中心管理系统；硬件主要为FusionServer中高端服务器、OceanStor融合存储、CloudEngine数据中心网络。这一系列产品建立在华为的两个大数据关键技术上，即三位一体和全分布式技术。“三位一体" 就是将存储系统与存储分析，数据挖掘分析、计算系统整合为一套产品，不再是多个产品的集合，从而实现存储、分析、归档三个方面的自动化，免除了三者之间的装载与迁移麻烦，同时实现全生命周期的数据处理，用户可以选择部分活跃数据归档。根据计算需要自动实现数据的调度。在软件平台方面，华为的Fusion Insight是其核心大数据平台产品，Fusionlnsight以双引擎的处理为核心.包括海量数据引擎 Fusionlnsight Hadoop 和实时数据处理引擎 Fusionlnsight Streaming,并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造可靠、安全、易使用的OM系统和建模中间件，这种双引擎配置。实现了海量数据存取和实时性数据处理的双重功能。而华为的 ManagcOne技术则是实现多源异构平台数据管理的一款管理系统， ManageOne数据中心统一管理方案可做到真正意义上的融合，即统一管理传统数据中心和云数据中心，统一管理分布式数据中心，统一管理数据中心应用系统、基础架构和基础设施，统一管理异构虚拟化平台。运营商的IT联动形成了一个整体的资源池，统一管理为多业务模式的创建提供了便利，可降低运营商服务供给的成本，减少内耗，让服务更贴近最终用户。RisionSpherc是华为自主知识产权的云操作系统，集虚拟化平台和云管理特性于一身，华为云操作系统专门为云设计和优化，提供强大的虚拟化功能和资源池管理、 丰富的云基础服务组件和工具、开放的API接口等。在硬件基础方面，FusionSever产品是华为公司推出的一款将计算、存储、网络等架构实现解耦，并将不同资源高度整合成共享资源池，实现资源按需配置的服务器产品。这种理念就是华为公司新提出的基于业务驱动的基础架构SDI,该架构由SDS（Software-Defincd Storage,软件定义存储）、SDN（Software-Defined Networking.软件定义网络）软件模块和SDI硬件模块组成。传统服务器、存储、网络资源依赖CPU控制，而在SDI模式中，存储和网络资源由SDI硬件统一控制，并以计算服务面向用户的服务器形成统一资源池，最终形成数据中心的基础架构。也就是将需要稳定、可靠、高性能运行的基础设施层与客户应用在逻辑上进行解耦，基础设施层则采用软件定义的方式先于应用系统运行起来。相比传统数据中心架构，华为SDI能够降低78%的总体拥有成本（TCO）,通过SDI控制器可能业务调度将CPU利用率捉升1倍，同时性能也获得进一步提升。而OccanStor是业内首个融合存储、分析和归档的存储产品，是华为公司三位一体理念衍生出的产品。它的特点在于免除了跨设备数据装载、迀移，真正实现了而向大数据全生命周期管理的“三位一体"处理。其采用的Scakxm集群架构，系统支持3 节点至288节点弹性无缝扩展，单一文件系统可扩容至40PB,整个扩容过程业务允中断。CloudEngine （以下简称CE）系列是华为公司面向下一代数据中心和高端园区推出的“云”级高性能交换机， CloudEngine系列在速度上是业界一流厂商的2倍，容量3倍。零丢包的CLOS无阻塞交换架构，配合动态分布式大缓存.应对云计算应用引发的突发流量。

2.1.2.4 浪潮公司

浪潮是中国最早的IT品牌之一。浪潮公司是中国领先的计算平台与IT应用解决方案供应商。同时，也是中国领先的服务器制造商和服务器解决方案提供商。目前已形成服务器和ERP两大主导产业. 具基于计算机、软件、移动通信、智能终端、半导体等产业群组。浪潮公司的大数据战略主要是对以硬件层而出发为基础的浪潮云海大数据一体机的开发。云海大数据一体机是面向大数据存储、处理、展现全环节、软硬一体化的方案型产品，目的是突破原有架构的扩展瓶颈和新技术条件下的客户应用门槛。浪潮云海大数据一体机集成了计算单元、存储单元、通信单元、管理单元等核心模块， 能够覆盖数据的存储、处理、展现等所有技术环节。云海大数据一体机经过全局性的优化，性能、可用性、效率等关键技术指标方面有了大幅提升。浪潮公司采用硬件加速技术，设计了专门的FPGA模块固化特定算法，并集成多级缓存,数据排序性能提高了 50%以上。另外，系统任务调度策略是影响系统响应及时性的重要技术，浪潮公司开发了动态调整任务执行模块，有效减少了慢任务数量。任务执行时间平均缩短16%。同时，副本数量和存储效率是难以凋和的矛盾，浪潮引入Reed-Solomon算法，优化分布式散列数据布局，在满足文件高并发和高带宽双重需求的同时平衡数据冗余度.所设计的两副本加编码的方式相对三副本最大可实现30%空间节省。

书名：电力大数据：能源互联网时代的电力企业转型与价值创造

ISBN：978-7-111-51693-4

作者：赖征田

出版日期：2016-01

出版社：机械工业出版社