解析：大数据时代电力信息技术思考与探索

    2001年，高德纳(Gartner)公司的一份研究报告首次出现“大数据(Big Data)”概念的提法。时至今日，虽然对“大数据”一词的定义说法不一，但越来越多的研究机构和网络媒体开始关注它。大数据正成为继云计算(Cloud Computing)之后新的热词。同云计算一样，大数据虽然也看不见摸不到，却与今日的信息技术发展如影随形，并潜行于当前的信息生产、加工、交换过程之中。这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但随着自然语言处理、模式识别和机器学习等人工智能技术的发展，这些庞大的数据“宝藏”将成为未来世界的新“石油”。

    如同高德纳公司的报告里提到的那样，业界普遍认同所谓“大数据”具有明显的“3V特征”：量级(Volume)，速度(Velocity)和多样性(Variety)。大数据普遍具有量级大，要求处理速度快，数据本身具有丰富的多样性。在甲骨文公司和中国移动研究院的相关研究文档里，都追加了第四个V——Value，价值，而IBM在其相关文档中给出的第四个“V”则是真实性(Veracity) 。基于此，大数据可以被定义为：以新数据处理技术为手段，在海量、结构复杂、内容多样的数据集中，以较快速度解析出规律性或根本性的判断、趋势或预见。更为简单地说，是数据集太大以至于传统数据库软件无法处理，所以称为“大数据技术”。
    大数据的提出是为了解决现有数据技术无法满足快速增多、日益复杂化的数据集合，因此基于大数据的技术涉及层面较广，至少包括如下一些现有技术的综合运用。关联规则学习、分类、分组分析、众包技术、数据异构与同构、机器学习、自然语言处理、神经网络、模式识别、预测模型、情态分析、信号处理、时序分析和可视化处理等。
    大数据的具体化、实例化的应用离不开Apache Hadoop项目，一种开源、可扩展、分布式的应用计算架构。它包括Common、DistributedFile System、MapReduce三个组件部分。Hadoop的 Map/Reduce 框架是一种主/从架构，机群中有单一的主服务器以及若干个从服务器，在每个节点都有一个从服务器，这些分布式的节点协同工作，共同完成一个整体的大数据处理任务。
    大数据风暴带来种种利好，著名市场研究机构IDC 数据预测：大数据市场规模将从2010 年的32 亿美元成长到2015 年的169 亿美元，2020 年新增的数字信息成长幅度将是2009 年的近45 倍。其中，传统的标准化、结构化数据只占15%左右，85%的数据来源于企业内各种信息活动、电子商务、物联网或外界社交网络等领域中的半结构化与非结构化数据。在现代服务业科技发展“十二五”专项规划上，把信息处理技术作为4 项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相关。

    1 大数据与电力信息化的关系

    电力工业作为国家基础性能源设施，与社会发展和人民生活息息相关，是国民经济社会健康稳定持续发展的重要条件。积极应用大数据技术，推动中国电力电力信息化大数据事业发展，对实现中国电力工业科学发展具有极大的现实意义。中国电机工程学会电力信息化专委会拟编制发布《中国电力大数据发展白皮书(2013)》，这将是我国首次就电力大数据问题发布白皮书。白皮书第一次提出了电力大数据的定义，并同时指出重塑电力核心价值和转变电力发展方式是中国电力大数据的两条核心主线。白皮书还第一次提出了电力大数据的特征即3V、3E，“3V”是指体量大(Volume)、类型多(Variety)和速度快(Velocity)，“3E”指数据即能量(Energy)、数据即交互(Exchange)、数据即共情(Empathy)。
    电力企业是不是符合大数据应用的企业?随着电力工业与信息化的深度融合，电力信息化对电力企业的决策、运营、销售的价值不断增强，这种价值的跃升将使电力企业具有大数据的时代特征。电力信息化将突破传统运维，产生更多的增值服务，甚至催生新的管理模式创新。数据中心将被赋予更多的职能，比如强大的数据挖掘、数据分析和决策能力。电力企业业务数据主要来自生产数据和运营管理数据。电力企业生产数据既包括发电量、电压稳定性等实时采集的数据，也包括物联网、云计算、新能源并网等技术带来的新数据业务。电力企业运营管理数据，则包括ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电力生产、使用等实际数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电厂生产安全检测与控制，电力企业决策分析与管理流程控制，电力企业精细化运营管理等，实现更科学的电力需求侧管理。
    电力行业应当在大力推广信息化建设的同时，认识到数据背后的价值，搞好数据治理，并积极投入到数据挖掘与分析运用工作中，实践大数据战略，挖掘数据价值，为电力行业发、输、配、变、用电各环节建设，以及电力营销等业务发展提供科学指导，及有效解决方案，重视提升电力行业信息化系统辅助决策能力。

    2 电力信息建设在大数据时代的思考与探索

    大数据不仅仅是一门技术，同时也是一种全新的商业模式，它与云计算共同构成了下一代经济的生态系统，大数据对于电力信息化建设的影响已经发生并将继续深入。对应现在已经建立健全的信息系统，电力企业应该在技术上做好哪些准备工作?越来越多的大数据出现在电力企业面前时，电力信息化建设应如何应对?电力信息化建设将做哪些工作提高大数据时代的信息安全性?电力信息化建设将如何将大数据变成利润增长点?这些问题都是大数据时代带个电力信息建设的思考和探索。
   建设如果接受大数据变革，要建立合适的数据规则，中国的发电企业多以集团化运营，分子公司遍布全国甚至海外，发电形式多样。要实现集团内大数据处理首先要通过详尽调研、研讨后根据不同类型电厂制定统一的、标准化的数据结构。每一个电力企业根据自身发展、管理、运营的需要信息化建设在决策层发挥的作用与实现的方式都存在而且应该存在差异。而从电厂生产设备、管理运营方式、集团管理制度的方向出发，同一发电集团公司内的同种类型电厂信息化系统可利用数据结构相同度要远大于差异度，甚至不可能在同一个数量级中。在梳理数据结构整个过程包括涵盖业务的梳理与理解、数据构成的理解、数据结构的准备、建立相对应的数据挖掘模型、评估和部署六个步骤。
    在做这项工作前，应该对发电企业的业务有详尽的了解，根据业务需求明确需要进行梳理的数据结构的意义、要求和最终目的。再明确业务需求后则可对原始数据进行可利用评估，从发电集团公司到电厂根据实际决策需要确定各层级需要的数据，并对原始数据进行汇总、清理、集成、变换、分析等一系列收集和预处理工作;在搞好数据准备工作后可通过建设手段针对不同单位的业务需要各自研发或集中研发适合的信息系统和数字化产品;利用统一的数据结构利用不同技术将企业需要的数据可视化的呈现出来。
    电力企业所要做的就是切实利用和推广好信息系统，以便在相对统一的数据收集框架下开展数据收集工作和需求调研工作。在结合实际工作中，要深入认识各数据产生企业的差异性，存在的数据冗余、缺失、错误、更新不及时等不同问题，针对发现的问题不断合理优化数据取舍与收集标准，并利用数据预处理技术提高和确保数据质量。因为高质量、规范化、格式统一的数据结构是进行数据挖掘工作的基础。
    在成功进行数据结构规范工作后，生产数据的企业在研发信息系统时只需要按照规范数据结构进行开发。上级管理单位在实施集中开发时只需要关注新研发系统对不同数据来源的容错能力和优化能力，而不再关注数据是如何产生的、一个数据字段到底代表了什么含义等繁琐、错误率高的工作。统一的数据标准在不改变生产数据企业的工作量的同时有效降低上级企业信息系统开发的难度。
    提升大数据的使用能力。存在牢固和一致的数据基础，便要考虑如何利用好大数据。当前电力企业信息系统存在业务单一、类型多样，基本都局限在处理单一业务层需求，仅实现单一需求报表和业务图标的功能。企业管理与决策者仅能通过一个系统获得有限的静态业务信息，往往利用信息决策要访问多个信息系统，且信息系统之间相互独立，缺乏关联，孤岛现象一直存在与电力信息系统中，导致系统使用者要自己判断数据的准确性和指导性。面对庞大的企业组织架构和复杂的业务体系，以及不断变化的资源与经济形势，仅将大量数据静态呈现是远不能满足企业决策需要的。因此，在电力信息建设践行大数据战略过程中，首先要利用云计算技术或数据挖掘相关技术建立数据孤岛之间的联系，放弃探寻数据间的因果关系，注重数据的关联关系，探寻数据与人、生产、政策、利润间，数据与业务间的各种关联性，为企业决策提供全面的、准确的、更具实际意义的预测与辅助决策。

    3 大数据对电力信息化发展的应用和价值

    电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。
    电力大数据的应用一方面是与宏观经济、人民生活、社会保障信息融合，促进经济社会发展;另一方面，是电力行业或企业内部，跨专业、跨单位、跨部门的数据融合，提升行业、企业管理水平和经济效益。
    为打造“美丽中国”贡献力量，电力企业投产清洁能源项目越来越多，光伏发电、风力发电都对地形地貌、环境特征有很高的要求和条件。针对于清洁能源项目建设的要求可借助电力生产MIS系统与地理信息GIS系统中大量的数据，结合环境采集数据等，综合考量不同地域电力生产水平、地形优势与资源分布。利用大数据的数据挖掘技术提供给规划人员支撑电站建设布局的决策数据，实现项目建设的科学调配。也可通过综合分析影响风力发电、光伏发电机组运行的诸多环境因素，例如：温度、光照、湿度、风力等数据，预测气候模式，从而规划处最佳的机组运行方案。通过这种方式，可有效降低生产成本和提高产出效益。
    通过建立分布式数据中心，处理厂级监控系统sis系统数据，共享电力行业内的设备运行状况、生产数据和维护方式，通过数据中心服务器整合分析，机器自主学习生产出现问题时的相关数据状态，形成基于大数据的自动预警值，实现对潜在问题的评估预测，建立前瞻性的设备维护体系，建立可预测的设备维护方案。通过海量基础数据分析建立每个设备的“维护生命周期”，依数据为依据决定哪些设备、在什么时间进行维护，并通过多家电厂的共享大数据中提供相应设备的维护方案。
    通过建立各生产系统数据互通，依靠不同种类生产系统，对传统发电企业和清洁能源发电企业都会给与数据层面的决策性预测。在基础数据不断积累的前提下，分析电厂或发电设备周围环境变化和气候变化，掌握不同时期煤炭储备量和煤炭消耗量的关系。都可对于全国范围的季节性来水与机组负荷下降等因素影响的机组停备工作进行有效预测和数据支持。通过大数据分析决策能力，提供生产设备状态数据，开展机组停备检修工作，加强设备管理，强化员工培训。
    电力信息化建设利用大数据技术，在企业数据共享的平台下获取电力企业生产数据、管理数据、地形地貌数据、煤炭资源检测数据、水资源数据等有效数据中提炼准确的、有价值的数据都将成为管理效益、决策能力提升的有效臂膀，甚至可通过大数据的积累将数据打包销售或共享给金融机构、科研院所、政府机构等，成为新的经济效益与社会效益增长点。

    4 重视大数据时代的信息安全体系建设

    信息安全在任何信息发展阶段都占有不可忽视的重要地位，在对大数据发展规划的同时，应该加大对大数据安全形势的宣传力度，明确其为重点的保障对象，加强对敏感和要害数据的监管，制定设备特别是移动设备安全使用规程，规范大数据的使用方法和流程。加快面向大数据的信息安全技术的研究，推动基于大数据的安全技术研发，研究基于大数据的网络攻击追踪方法，抢占发展基于大数据的安全技术的先机。培养大数据安全的专业人才，建立完善大数据信息安全体系。

    5 结语

    大数据技术是未来信息社会发展的一个大方向，它为人类全面、深刻地认识世界、认识自身提供了新的方式、新视角，这在此前的时代是无法办到的，大数据是未来技术发展的一片蓝海。大量的数据处理无疑给现在的信息技术提出了新的挑战，而这一问题在信息化程度不断提高的电力企业中同样正在凸显出来。随着信息技术的推进和发展，电力企业的数据也会成爆炸式增长。大数据不是洪水猛兽，而是可供利用的信息资产。如何使用好大数据，充分活化企业数据资产，更好地服务电力事业发展和广大电力客户将成为摆在电力企业面前值得思考的课题。