浅谈电网企业的大数据应用

随着全球进入“大数据时代”，大数据的价值已经受到广泛关注，部分国家甚至将大数据提升到了国家战略层面。近几年，电网企业信息化建设得到大规模的发展，IT技术在电网企业中的得到广泛应用，随着电力行业数据总量的持续增长和急速膨胀，电网企业的大数据时代已经来临。对于电网企业来说，大数据应用建设的必要性主要体现在以下几点：

1)      宏观政策层面的要求

2014年5月16日国家发改委与中科院正在启动“基础研究大数据服务平台应用示范项目”，意在大数据上做顶层设计；为推动云计算和大数据等战略性新兴产业在云南的布局，提升云计算和大数据服务、运营、管理创新能力，云南省工业和信息化委员会发布《云南省促进云计算和大数据产业发展的若干政策》，鼓励和支持大数据的研究探索。

2)      电力行业发展所带来的必然性

电力大数据将贯穿未来电力工业生产及管理等各个环节，起到独特而巨大的作用，是中国电力工业在打造下一代电力工业系统过程中有效应对资源有限、环境压力等问题，实现厚积厚发、绿色可持续性发展的关键。

3)      电网企业经营决策快速响应用电需求的需要

为了缓解目前电力供需矛盾的问题，使电网企业快速响应用电需求，合理安排经营计划，减少供电成本，避免不合理的投资建设，提高供电质量，提升企业经营效益和客户服务水平，需要对传统的决策分析技术进行改进，为营销管理能力和客户服务满意度的提升提供更加准确、实时的决策数据。

4)      电网企业数据有效管理的需要

随着电网企业越来越多信息系统投入运行，企业所有日常业务都在信息系统中进行处理，业务数据实时性越来越高、增长越来越快，数据规模向PB级发展，由于这些业务数据结构多样、关系复杂，如果对这些数据进行统一有效的管理，来保障数据的标准性、准确性、可访问性和安全性，将可用于企业发现新知识、创造新价值，否则历史数据将成为信息系统运行的“累赘”。

5)      电网企业数据存储技术改进的需要

目前，在电网企业大型信息系统建设中，数据存储主要基于小型机搭建，存在成本高、伸缩性差的问题，关系型数据库一般仅支持到TB级，且数据仓库不支持实时计算，传统的数据存储模式难以管理多种复杂的数据格式。

6)      电网企业数据应用的需要

目前存在大量与电网企业相关的非结构化数据，这些非结构化数据基本没有得到分析和挖掘，专项分析功能也分散在不同的系统中，数据交互成网状结构，投资重复，且以传统的因果分析为主，不同结构的数据之间缺少关联。

 

目前，在电网企业，大数据技术的应用和探索还处于起步阶段，它的应用价值虽然已经得到了普遍的认可，但如何建设适合电力行业的大数据应用仍然需要我们进一步的探讨。对此，首先要掌握现状，分析自身的优势和劣势；二是要提高认识，理解大数据技术与传统数据分析技术的区别和联系；三是要结合现状，规划适合电网企业的大数据应用架构。

下面以云南电网公司为例进行探讨。在10多年的信息化建设和探索过程中，云南电网公司一直保持着对新技术研究的热情，如在SOA、云计算、信息安全等领域的研究建设保持着国内领先水平，这些领域的建设将为大数据应用提供良好的基础。而在信息分类编码方面，由于信息化建设早于标准规范发布的现状，出现了部分系统间信息分类编码不一致的问题，使数据的归集和共享变得困难，这将是云南电网公司在未来建设大数据应用的一个劣势。在应用系统建设方面，云南电网公司还建设了营销管理系统、安全生产管理系统、调度管理系统等业务系统，以及计量自动化系统、调度自动化系统等专业系统，这些系统经过10来年的运行，已经产生了海量的业务数据，将为大数据应用提供丰富的数据资源。另外，云南电网公司还建设了一些决策分析系统，这些决策分析系统采用了传统的数据分析技术实现，与大数据技术的差别主要体现在：

传统的数据分析所使用的数据来源单一，如营销综合分析系统的数据仅来源于营销管理系统，而大数据应用所使用的数据将来自很多系统，甚至要获取跨企业的数据。

传统的数据分析预测使用的是逻辑模型，而大数据应用使用的是数据关联模型进行分析预测。

传统的数据分析技术，采用集中式的数据处理和存储方式，计算周期在几个小时到几天不等，而大数据应用的处理速度将达到秒级，极大的提高了数据分析处理的能力。

因此，云南电网公司大数据应用的建设可以依托于目前信息化建设的成果，通过SOA企业信息集成平台从各类业务系统、专业系统和企业外部系统采集数据，基于云计算平台搭建大数据分布式计算平台，并完善现有信息安全保障体系，构建深入挖掘企业数据价值的大数据应用。

基于上述认识，对云南电网公司大数据应用的整体架构进行了初步的规划，如下图所示：

         云南电网公司大数据应用按照五层结构进行规划，包括：数据源、数据存储、数据融合、数据计算、分析应用等。其中，数据源主要包括现有的应用系统、专业系统和外部跨企业系统等三大类，这些数据经过采集汇集后，存放在数据存储层，该层可以支持结构化数据、非结构化数据、准实时数据等多种类型的数据存储，然后通过数据融合层实现不同来源系统数据的归集和关联关系的建立，在数据计算层实现了不同种数据的处理，最后在分析应用层实现反窃电分析、用电预测、节能降损、用户行为分析和舆情分析等不同领域的主题分析。

         对电网企业来说，大数据是电网企业深化应用、提升应用层次、强化集团企业管控的有力技术手段。随着电网企业各类IT系统对业务流程的基本覆盖，采集到的数据量迅速增长。电网企业面临的问题不仅仅是收集和存储数据，而是围绕数据采用相应的定量和统计信息，挖掘更加有价值的信息。利用大数据可对业务进行分析，加工成有用的数据，进而全面掌控企业业务。