融合多源数据的智能配用电多时间尺度数据分析技术

摘要：随着分布式发电、储能和需求侧响应负荷的不断发展，传统的被动型用电网正在逐步演变为具有主动调节能力的主动配电网。为了充分发挥主动配电网的主动调节能力，需要在配用电网中安装智能电表、远程测控终端和配电网同步测量等数据采集装置，建设配电、用电、客服、营销等信息管理系统。这些数据采集装置和系统的建设，在配用电领域产生了大量的数据。文章在讨论智能配用电大数据来源、生命周期及数据特征的基础上，从数据集成平台、智能电网统一数据模型、多源数据在线、数据分析算法库、用户画像、机器学习算法等角度分析了智能配用电大数据分析的关键技术，然后提出了智能配用电大数据分析在电网运行、社会服务和用户服务方面的典型应用。

0、引言

随着分布式发电、储能和需求侧响应负荷在配用电网中接入比例的不断提高，传统的被动型用电网正在逐步演变为具有主动调节能力的主动配电网。为了充分发挥主动配电网的主动调节能力，需要在配用电网中安装智能电表、远程测控终端和配电网同步测量等数据采集装置，建设配电、用电、客服、营销等信息管理系统。这些数据采集装置和系统的大规模建设，使得电网公司首次获得了数以亿计电力用户多时间尺度的在线用电信息，以及数以万计的电网运行状态监控信息。这些信息使我们获得了前所未有的可以从时间和空间多个角度，对用户实际用电过程和与电网密切互动过程进行全方位分析的大数据。

近年来快速发展起来的大数据分析技术具有全数据分析、规律性分析、跨领域分析以及快速性分析的特点，为充分利用智能配用电系统中的多源数据，进行多时间尺度分析提供了强大的技术手段。

区别于单一功能的电网公司业务部门的信息化系统，智能配用电大数据分析系统的研究目标是将多个信息化信息系统中的数据进行融合，解决依赖单一信息化系统解决不了或者解决不好的问题。本文首先讨论智能配用电大数据分析系统的数据源和生命周期;然后分析智能配用电系统中的数据在时间和空间中的相互关系、以及基本特征，据此分析出融合智能配用电多源数据所必须解决的关键技术;从数据集成平台、智能电网统一数据模型、多源数据在线、数据分析算法库、用户画像、机器学习算法等角度分析了智能配用电大数据分析的关键技术，最后提出了智能配用电大数据分析在电网运行、社会服务和用户服务方面的典型应用。

1、智能配用电大数据分析的数据源与生命周期

1.1智能配用电大数据的来源

根据来源的不同，可以将智能配用电大数据分为电力企业内部数据和外部数据。电力企业内部数据产生于配电管理/配电SCADA系统、生产管理系统、用电信息采集系统、电力营销系统、客户服务信息系统等。这些数据包括静态数据、实时数据和历史数据，其中静态数据包括电网设备模型参数、线路拓扑结构、电力用户资料数据等，实时数据包括遥信、遥测数据，如设备运行状态、电量计量等。外部数据来源于地理信息系统、气象预报系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据也为电网运行、管理、服务等提供支持。

1.2智能配用电大数据的生命周期

数据的采样频率与生命周期也各不同，从微秒级、分钟级、小时级，一直到年度级。不同数据的数据源与生命周期见图1。配电PMU数据的数据采样频率为每10～20ms一次，可用于毫秒级的快速实时分析，主要应用于配电自动化系统的故障隔离、保护和控制;SCADA数据的采样频率为4～6s一次，可以首先存储在实时数据库中，进行秒级的实时分析，主要应用于配电管理系统的故障诊断、隔离和恢复、配电网状态估计及分布式电源优化和需求侧管理等;智能电表数据的采样频率为15min一次，可用于分钟级的在线分析，主要应用于在线大数据分析系统的数据质量、电能质量、网损的在线分析，以及多源数据融合状态估计，用电行为和负荷特性微增在线分析等，通过数据抽取、转换与载入为后续分析提供基础数据;智能电表数据与气象数据和其他数据融合可为从每日到多年的交互式大数据分析系统服务，提供用户、配变、变电站、系统多时间尺度数据分析等功能，以及系统用电行为分析，设备负载率分析，非常规用电行为分析和精准营销等功能。

图1 智能配用电分析数据源与生命周期

2、智能配用电大数据分析的关键技术

智能配用电大数据分析的关键技术共有4类，详见图2。第一类关键技术为数据集成平台与数据模型技术研究，主要用于集成不同数据源的数据，通过SPARK分布式内存架构并行完成数据清洗和数据转换等，并建立基于数据仓库的统一数据模型;第二类关键技术为智能配用电在线分析技术，基于SPARK的内存并行流处理技术处理新进入数据分析系统的数据，并且提供智能电表数据的数据质量和供电质量分析，以及用户的用电行为和静态负荷特性分析等功能，融合智能电表数据与配电SCADA和PUM数据来建立配电网状态估计算法;第三类关键技术为智能配用电交互式分析技术，主要基于K系列数据挖掘算法将时间序列的数据分类，并提供基于智能电表数据的日负荷形状和用电行为分析、配变负载率分析、大型电器用电行为分析、低压电网拓扑等分析，融合智能电表和SCADA数据的变电站网损分析，以及基于PMU数据的动态和静态负荷特性辨识;第四类关键技术为时空融合的配用电大数据分析应用，主要基于多时空、多时间尺度数据分析，进行变电站、配变数据等数据分析、负荷模型参数辨识等应用，基于用户智能电表的用户画像功能，和基于地理信息的用电行为分析、大型用电器行为分析、以及精准营销的应用。

图2 智能配用电大数据分析的关键技术

2.1数据集成管理平台架构与统一数据模型技术

智能配用电大数据的第一个关键技术是数据集成管理平台架构与统一数据模型技术。集成管理平台将若干分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合，即统一数据模型中，为后续分析存储一系列面向主题的、集成的、相对稳定的、反应历史变化的数据集合，从而为系统提供全面的数据共享，解决电力企业内部各系统间的数据冗余和信息孤岛的问题。

配用电数据集成与管理平台的数据源包括内部数据和外部数据。内部数据包括智能电表数据、配电自动化/SCADA数据、配电网线路信息、设备运行信息、用户信息、空间位置信息等;外部数据包括地理信息数据、气象数据、人口数据等。这些数据根据其特性可以存储在传统数据仓库中，也可以存储在NoSQL数据库中或是图数据库中。数据集成的核心任务是要将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。

配用电数据基础与管理平台根据智能电网统一数据模型SGDM，按照从上至下的设计理念，将来自多个数据源的数据按照资产信息、网络拓扑模型、用户信息和外部数据进行有机整合，覆盖网络运行、账户管理、资产管理、客户管理、停电管理、工作管理和天气模型等业务领域，结合包括KPI在内的智能电网大数据分析挖掘需求，针对支持电力公司的运营和发展、分析用户行为与服务优化、为政府与社会提供决策咨询与支持3类应用，设计8个业务域，49个主题域，定义包括实体及其关系在内的逻辑模型，并依据第三范式原则优化物理模型。

针对配用电数据的来源多重性、实时交互性、时间相关性和多尺度性，见图3，SPARK中的弹性分布式数据集(RDDs)运用高效的数据共享概念和类似于MapReduce的操作方式，集成地理信息等静态数据，并通过通过离散流将动态流数据集成，在一段时间周期上进行一系列确定性的批处理计算。在数据仓库中分层处理不同的数据，其中包含基础数据层、数据分析层和核心展示层。在基础数据层采用标准化的公共信息模型(common information model，CIM)，用于描述能量管理系统中主要数据对象，是面向电力生产交易全环节相关对象及其关系的面向对象建模方法。在数据分析层，采用包括规则引擎、报表工具、挖掘工具、可视化互动分析工具等软件，为大数据实验室未来的各类专题研究提供数据分析手段。在核心展示层安装地理信息，按照从配电系统到变电站到配变最后到每个用户逐级展示负荷特性、有功功率和无功功率、电能质量和负载等信息。

图3 数据集成管理平台架构与统一数据模型技术