向大数据要质效———吉林电力搭建全业务统一数据中心推进数据共享与业务融合

2018-04-09 10:45:08 中国电力新闻网　点击量：评论 (0)

4月2日，国网吉林省电力有限公司信通公司员工张凯打开输配电标准作业成本分析场景，吉林电力各地市公司作业成本、成本区间以及偏差率清晰可

4月2日，国网吉林省电力有限公司信通公司员工张凯打开输配电标准作业成本分析场景，吉林电力各地市公司作业成本、成本区间以及偏差率清晰可见，通过GIS地图可直观看到对应单位的设备缺陷、故障和检修数量，发现各单位之间成本差异原因和具体设备类别，为优化作业成本提供依据。

吉林电力是国家电网公司第二批全业务统一数据中心推广单位，2017年7月启动建设工作。目前，该公司已完成19套二级部署系统全量数据接入工作，历史数据全部从生产环境接入，其中主要系统涵盖5年以上历史数据，大数据平台量测类数据涵盖3年以上历史数据。

通过开展全业务统一数据中心建设，吉林电力进一步推进数据共享与业务融合，海量数据为该公司各类分析应用提供统一的运行环境、完备的数据资源、高效的分析计算能力，企业管理模式创新和精益化水平持续提升。

数仓模型匹配数据与业务对应无误

全业务统一数据中心建设，需要吉林电力将19套核心业务系统全量数据统一纳管，统一设计数仓模型，省公司端与之进行匹配，支撑业务场景建设和运营管理。

项目前期，吉林电力采用传统方式建立数据仓库，依据业务需求采用人工方式匹配对应的系统数据库表和属性字段。由于各业务系统是在不同时期建设的，经历过多年的版本更新和数据治理，系统表多、属性字段量大，造成系统间缺少统一的数据属性字段标准，系统间属性一致性较差。此外，各系统间的业务规则存在差异，同一属性数据在不同系统中对应的属性字段名称不同，难以给出全局统一的数据属性字段集合。采用人工核对方式工作量大，效率低下，无法保证匹配准确性，匹配工作面临巨大挑战。

为解决这一难题，吉林电力组织技术人员深入剖析业务本质，总结数仓匹配核心要点，即数据是业务体现，从业务系统的数据内容出发进行匹配，只要数据内容和业务一致，不管表和属性字段是否与数仓模型一致，都认为是一致的。确定解决思路后，针对时间效率问题，工作人员利用大数据平台并行内存计算技术开发数仓模型匹配工具，基于结构化业务数据进行数仓模型匹配，确保数据与业务对应无误。

清洗转换模型提高数据清洗质效

由于接入的各业务系统数据规范不统一，部分数据不符合场景分析要求，出现重复数据、空字段、格式不规范、数据缺项等现象，需要有针对性开展数据清洗转换工作。

吉林电力于2017年10月开展全业务统一数据中心19套核心业务系统全量数据清洗转换，在清洗转换工作中，工作人员根据收集、梳理业务数据质量规则，对于不符合规则的数据，开展数据清洗。

同时，根据该公司统一数据模型，分析源业务数据与目标数据模型的映射关系，梳理业务数据编码转换、字段拆分、字段合并、字段运算、行列转换的转换需求，开展业务数据转换。

为保证全系统数据清洗转换的进度，与国家电网公司企业数据模型SG—CIM保持一致，该公司决定创新研究数据清洗转换模型。该公司独立开发数仓模型匹配工具，并创新研究数据清洗转换模型，甄别有效数据与垃圾数据，并将有效数据进行类型转换，大幅提高了数据清洗转换的效率和质量。

张凯介绍说，在数据清洗转换过程中，工作人员使用文本挖掘算法进行业务识别和标签化，自动确定10个一级主题域业务主数据所在的表和属性字段。通过在数据库中属性字段拆分、合并、运算和行列转换，完善数据之间计算关系，工作人员同时还原数据流程，便于与实际业务进行比对。辅助相关人员则按业务、按主数据逐条开展进行数据清洗转换，大幅提高了数据清洗转换的质量和效率。

清洗转换成果有效提升工作质效

大数据是基础，场景模拟是过程，提升电网安全运行质量是目的。为挖掘电网运行规律，进一步解决准确定位问题，吉林电力基于全业务统一数据中心明细数据，将数据清洗转换成果应用于实际工作，成功开展了公配台区电压分析和输配电标准作业成本分析场景建设及应用，有效地提升了工作质效。

为精准定位电压台区异常原因，提升治理工作质效，吉林电力基于全业务统一数据中心明细数据，开展配电台区电压大数据挖掘工作。主要从公配台区电压异常监测和治理入手，关联负载、三相不平衡和功率因数等内容，通过进行数据分析，分析出各主要因素对异常电压的影响强度及关联关系，准确判定台区电压异常原因，并将结果直接呈现在GIS地图上，帮助业务人员直观定位电压异常台区和主要影响因素，有效解决台区异动数据量大、分类甄别时间紧的难题，减轻巡查人员现场工作量，节约台区运行维护的人力、物力和资金投入。据统计，该公司利用全业务数据中心，2017年监测发现651个电压异常台区，应用大数据分析技术得出异动形成原因，经抽查核实300个台区电压异常原因，其原因与计算分析得出的原因相符率达到89.77%。

合理的输配电成本是电网企业正常生产经营的重要保证，也是监管部门未来核定公司输配电价的重要基础。为进一步优化完善成本定额及输配电成本结构，更好地适应未来改革发展需要，吉林电力开展了基于全业务数据中心的输配电标准作业成本分析场景构建。该公司主要开发了变电、架空线路、电缆线路三类设备8个方面检修成本定额分析功能，实时反映作业成本，促进企业精益化管理，优化资源配置，最终通过输配电标准作业电压运行情况为战略管理及决策提供支撑。

全业务统一数据中心的建立，使吉林电力与国家电网公司各项数据实现了有效对接，实现了“用数据管理企业、用信息驱动业务”的目标，实现了由“搬数据”向“搬计算”的转变，推动业务创新，推进该公司信息化建设迈上新台阶，为全面建设具有卓越竞争力的世界一流能源互联网企业提供有力的数据支撑。

原标题:向大数据要质效———吉林电力搭建全业务统一数据中心推进数据共享与业务融合