【深度】面向智能电网应用的电力大数据关键技术

　　电力大数据分析技术，从根本上讲，属于传统数据挖掘技术在海量数据挖掘下的新发展，但由于大数据海量、高速增长、多样性的特点，并且不仅包含结构化数据，还含半结构化和非机构化数据，因此传统的很多处理小数据的数据挖掘方法已经不再实用。

　　大数据环境下的数据挖掘与机器学习算法，可以从3个方面着手：1)从大数据的治理与抽样、特征选择的角度入手，将大数据小数据化；2)开展大数据下的聚类、分类算法研究，例如基于共轭度的最小二乘支持向量机(least squares support vector machine，LS-SVM)]，随机可扩展FuzzyC-Means (FCM)等；3)开展大数据的并行算法，将传统的数据挖掘方法通过并行化，应用到大数据的知识挖掘中，例如基于MapReduce的机器学习与知识挖掘。

　　3.3 电力大数据的数据处理技术

　　电力大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等。分布式计算技术是为了解决大规模数据的分布式存储与处理。内存计算技术是为了解决数据的高效读取和处理在线的实时计算。流处理技术则是为了处理实时到达的、速度和规模不受控制的数据。

　　分布式计算是一种新的计算方式，研究如何将一个需要强大计算能力才能解决的问题分解为许多小的部分，然后再将这些部分分给多个计算机处理，最后把结果综合起来得到最终结果。

　　分布式计算的一个典型代表是Google公司提出的MapReduce编程模型，该模型先将待处理的数据进行分块，交给不同的Map任务区处理，并按键值存储到本地硬盘，再用Reduce任务按照键值将结果汇总并输出最终结果。分布式技术适用于电力系统信息采集领域的大规模分散数据源。

　    内存计算技术是将数据全部放在内层中进行操作的计算技术，该技术克服了对磁盘读写操作时的大量时间消耗，计算速度得到几个数量级的大幅提升。内层计算技术伴随着大数据浪潮的来临和内存价格的下降得到快速的发展和广泛的应用，EMC、甲骨文、SAT都推出了内存计算的解决方案，将客户以前需要以天作为时间计算单位的业务降低为以秒作为时间计算单位，解决了大数据实时分析和知识挖掘的难题。

　　流处理的处理模型是将源源不断的数据组视为流，当新的数据到来时就立即处理并返回结果，其基本理念是数据的价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数据做出分析并给出结果，其应用场景主要有网页点击的实时统计、传感器网络、金融中的高频交易等[8]。

　　随着电力事业的发展，电力系统数据量不断增长，对实时性的要求也越来越高，将数据流技术应用于电力系统可以为决策者提供即时依据，满足实时在线分析需求。

　　3.4 电力大数据的数据展现技术

　　电力大数据的数据展现技术包括可视化技术、空间信息流展示技术、历史流展示技术等。可视化技术、空间信息流展示技术、历史流展示技术从3个不同的方面诠释了电力大数据展现技术的丰富内涵。借助电力大数据的数据展现技术可帮助管理人员更直观、准确地理解电力系统数据表达的意义，了解电力系统的运行状态。

　　可视化技术广泛应用于电网状态的实时监控，显着提高了电力系统的自动化水平。未来电力系统可视化还可结合复杂网络中的相关理论在电网自动分层分区、自动布点等方面展开深入研究，发掘电网更深层次的规律和联系。

　　空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上，包含变电站三维展示、虚拟现实等技术。将电力配电设备管理与地理信息系统紧密结合起来，有利于电网管理人员直观地了解设备情况，从而为其决策提供最新的地理信息。在变电站工程设计中用空间信息流展示技术可以节约时间、资源、成本，为电力企业带来巨大的效益。

　　历史流展示技术体现在对电网历史数据的管理与展示上。在电力系统中，深层次的应用分析往往以历史数据为基础。对生产现场的实时监测数据、电网的规划数据和负荷预测数据，通过历史流展示技术，可以绘制出数据的发展趋势并预测出未来的数据走势；通过历史流回放展示技术，可以模拟历史重大事件发生、演变，挖掘历史事件潜在的知识与规律。

　　4 大数据在智能电网中的应用

　　电力大数据的应用场合涵盖发、输、变、配、用、调等电力行业的各个环节，在风电场选址、降低网损、风电并网、电网安全监测、大灾难预警、电力企业精细化运营、电力设备状态监测等领域有非常强的可实现性。

　　5 结论与展望

　　本文探讨了大数据、云计算、智能电网三者之间的相互关系，并给出电力大数据的总体可执行框架，对电力企业大数据平台的搭建具有参考价值。

　　本文阐述了电力大数据平台中4个核心的关键技术，即集成管理技术、分析技术、处理技术、展现技术。大数据的集成管理技术应该考虑关系型和非关系型数据库技术的综合应用，并重点考虑NoSQL数据库技术；大数据的分析技术应从大数据的治理与抽样、大数据特征选择、大数据小数据化、大数据的分类算法、大数据挖掘并行化等方面开展研究；大数据的处理技术应根据具体的应用需求考虑分布式计算、内存计算、流处理等技术；电力大数据的数据展现技术可考虑可视化技术、空间信息流展示技术、历史流展示技术等。

　　大数据技术在商业领域已经获得较为广泛的应用并创造出巨大的商业价值，但是在电力系统中的应用才刚刚起步，因此结合大数据的技术优势和电力系统的应用需求，发挥电力大数据的价值，将为智能电网的建设带来新的发展契机。

　　电力企业应该牢牢抓住这个契机，从数据政策、人才培养、关键技术研发等层面，全面促成电力大数据技术的发展。