PMS系统台账数据服务及数据质量检测系统

据库中台账数据标准规范表进行对比。先判断是否为空,如果为空则是必填数据,需存入错误信息数组;不为空则必填数据不用检测。完成一个台账数据的质量检测后,对下一个台账数据进行质量检测,最后将结果保存、统计、汇总,关键代码如下：

//把结果数组中的xml格式字符串转为SimpleXML对象

$result = simplexml_load_string($result[‘Get’.$type.’AccountListResult’]);

$element = $result->$type.’InfoList’->$type.’Account’;

$element = $this->formatSimpleXML($element); //规范格式方便质量检测

$scheme = M(“sy_scheme”);//将数据规范表实例化

……

//检测判断

if(empty($data[0])){//没有填数据,不再执行check_type

if($is_fill){

$array = $check->addErrorArray($type,$account_id, $label,

$scheme[$i][‘para_name’],$data,0,’为空',$array); //存入错误信息数组}}

elseif($check_type){//判断是否填写正确

settype($data,”string”);

$array = $check->checkType($check_type,$data,$type,$account_id,$scheme[$i],$array);}

else//不是必填项为空或填写正确

continue;

}

return $array;

}

在CheckController中用checkType函数判断是否填写正确,分为几种标准规范：无其他要求,有阈值,不能有中文,必须是中文,判断日期,不带单位,匹配标准格式,匹配生产厂家编码,匹配部门编码。

4.3 实验结果与分析

在台账数据质量检测功能界面（见图4）,设计了用户选择台账数据类型的选项卡,在Web服务地址输入框,点击“开始检测”按钮,对相应的台账数据进行检测,检测出的异常数据显示在表格中（为空的是白色,错误的是红色）;点击“缺失数据”按钮只显示错误类型为空的数据,点击“错误数据”按钮显示错误类型为填错的数据。

图4 台账数据质量检测界面Fig.4 Accountdata quality detection interface

点击“生成报表”,对异常数据进行统计,生成的台账数据检测报表如图5所示。

图5 台账数据检测报表Fig.5 Account data detection report

 5 数据质量提升对策

1）集中对PMS数据录入人员展开培训,重点关注PMS系统中对输入规范没有明确要求的相关属性,将培训考核结果与后续工作完成质量同时纳入日常工作考核范围,提升后续工作效率。

2）PMS系统根据各类数据的格式要求,明确数据填写规范,包括填写内容的格式、上下限、统一命名及编码规范等,同时还可设置数据过滤功能,在数据入库前进行多次问题反馈与整改。

3）根据不同类型数据的需求,在系统内添加部分数据修复与缺失数据填充的功能,例如字段要求为不可添加单位,则可以自动将错误值后缀字母部分去除;缺失字段若有填写正确的关联字段,可通过固定关联关系进行填补。需要注意的是,在数据修复与填补功能准确度不够高的情况下,需要生成报表进行人工确认后才可对实际数据进行操作。

 6 结语

随着国家电网公司台账数据量的日益增加,台账数据质量的检测耗时变得越来越长,本文设计开发了一套PMS台账数据服务及数据质量检测软件,用自动化的检测替代人工检查方式,提高供电企业数据质量检测工作的检测速度,解决台账数据质量检测难题,能够将缺失数据和错误数据成功并精确地检测出来。系统还需要进一步的完善,在提高检测性能的同时,补充对更多类型台账数据检测的功能,最终实现系统功能完备、操作便捷的目标。

(编辑:张钦芝)

参考文献

[1] 张玉环, 李德超, 赵辉. PMS系统设备台账数据准确性核查方法研究[J]. 现代工业经济和信息化, 2016, 6(22): 99-100.

ZHANG Yu-huan, LI De-chao, ZHAO Hui.Study on checking method for data veracity of PMS system’s equipment accounts[J]. Modern Industrial Economy and Informationization, 2016, 6(22): 99-100.

[2] 包阳, 齐璇, 李海龙. 大型软件系统数据质量问题研究[J]. 计算机工程与设计, 2011, 32(3): 963-967, 987.

BAO Yang, QI Xuan, LI Hai-long.Research on data quality of large-scale software system[J]. Computer Engineering and Design, 2011, 32(3): 963-967, 987.

[3] 孙鹏, 马素霞. 基于IEC 61970标准及Web服务的电能质量异常数据检测系统研究[J]. 电力信息与通信技术, 2015, 13(6): 87-91.

SUN Peng, MA Su-xia.Research on the power quality outlier data detection system based on IEC 61970 and web service[J]. Electric Power Information and Communication Technology, 2015, 13(6): 87-91.

[4] 赵秀平, 吴爽, 马素霞. 电能质量基础数据服务质量检测系统研究[J]. 电力信息与通信技术, 2016, 14(2): 113-118.

ZHAO Xiu-ping, WU Shuang, MA Su-xia.Research on power quality basic data service quality detection system[J]. Electric Power Information and Communication Technology, 2016, 14(2): 113-118.

[5] 赵晓锋, 周庆捷, 王志利, 等. PMS实用化分析评价体系和数据质量提升的研究[J]. 电力信息与通信技术, 2015, 13(7): 101-106.

ZHAO Xiao-feng, ZHOU Qing-jie, WANG Zhi-li, et al.Research on the PMS practical analysis and evaluation system and the improvement of data quality[J]. Electric Power Information and Communication Technology, 2015, 13(7): 101-106.

[6] 栾富君. 电能质量基础数据服务及检测系统研究[D]. 北京: 华北电力大学, 2014.

[7] 陈孟婕. 数据质量管理与数据清洗技术的研究与应用[D]. 北京: 北京邮电大学, 2013.

[8] 张亮. 电力调度数据中心数据质量问题研究[J]. 华东电力, 2009, 38(3): 403-406.

ZHANG Liang.Research on data quality for electric power dispatch data centers[J]. East China Electric Power, 2009, 38(3): 403-406.

[9] 王晶. 电力系统异常数据检测辨识方法综述[J]. 电力与能源, 2015, 36(6): 813-817.

WANG Jing.A survey on power system bad data detection and identification[J]. Power & Energy, 2015,36(6): 813-817.

[10] 杨冲. 电能质量数据服务检测系统研究[D]. 北京: 华北电力大学, 2015.

[11] 朱静然. 多系统GNSS实时数据质量分析及软件实现[D]. 南京: 东南大学, 2015.

[12] 凌云. 数据质量评估方法研究[D]. 成都: 四川师范大学, 2015.