时空飞越千万倍 内存计算奇惊天

SAP HANA 除了提供完善的数据库功能外，其内置的计算引擎可以将原本在应用层进行的运算转移到数据库层面进行处理，这在数据密集型运算的场景，能够优化应用层和数据库层之间的数据交互，从而从整体上提升系统的效率。传统上，数据密集型运算包括计划、预测、模拟等，在HANA中首先将计划（Planning）引擎植入计算引擎中，从而使得基于HANA的计划应用的性能得到极大提升。
        电力信息化用户参考：大数据处理技术在现有ERP系统情况下呈现出的数据还有哪些特点？
        潘明惠：内存计算技术可以与SAPERP紧密整合，实时提供的数据可视性更强。SAP HANA能够和SAP ERP紧密集成，将ERP中的数据利用SLT （SAP Landscape Transformation）技术实时的复制到HANA的内存中，并基于这些数据建立数据分析的应用，从而为业务带来几个主要的好处；一是充分利用HANA的内存计算技术，基于大数据量进行高效、高速的数据分析和处理；二是减少传统在ERP直接分析这些数据给ERP系统带来的额外性能压力；三是利用基于HANA上的BI工具可以进行灵活的数据分析；四是基于实时数据进行分析，带来实时的业务洞察力。五是利用触发机制将SAP ERP中的数据能够实时同步到HANA中。
        同时，HANA与BOBJ Data Service整合提升数据质量。SAP HANA和 BOBJ Data Service紧密整合，从第三方系统获取数据。Data Service中提供可视化的数据抽取、清洗、加载以及数据质量管理的功能，能够保证进入HANA的数据都是高质量的数据，从而确保基于HANA进行数据分析的准确性，为业务决策提供更好的支持。
 
        电力信息化用户参考：辽电内存计算技术验证项目的具体目标是什么？
        潘明惠：辽电内存计算技术验证项目的验证目标包括好几个方面。首先是实现全面覆盖场景。验证场景覆盖辽宁电力主要核心业务，包括营销、计划、项目、财务、物资、设备、生产、人力资源；覆盖主要的业务系统，包括ERP系统、营销系统、PMS系统、GIS系统、BW系统，以检验HANA的应用效果。
        其次是充分验证技术。充分验证各个场景下HANA在分析效率上的提升，即对比源系统场景与HANA系统场景在速度上的差距，了解HANA的应用效果，充分了解HANA在技术环境上的要求。验证HANA各技术特点在速度提升上的贡献的具体效果，包括多核硬件并行效果、行/列储存混合应用情况、数据压缩效果、数据分区情况、取消聚集表的真实性、实时数据同步效果，充分了解HANA产品的各项特性。
        同时我们也想在此过程中深入总结我们的信息化经验，详细记录验证过程中产生的问题，将问题进行分类，跟踪问题解决情况，问题解决后需要详细记录问题解决方案。通过对这些问题的总结，积累HANA实施经验，为HANA在辽宁电力的全面推广打下坚实基础。
        为确保用户在使用分析报表时能够看到真实的分析效果，我们还接入了各个源系统的真实数据，范围涉及生产、营销等公司核心业务，横跨营销管理系统、GIS、PMS、ERP等多个系统，共有人力资源、财务、物资、计划、项目、设备、营销、生产、营销、地理空间数据等10个业务主题。36个场景，具体包含ERP系统14个场景、BW系统8个场景、营销系统6个场景、地理空间数据库5个场景、生产管理系统3个场景。
 
        电力信息化用户参考：请简单介绍一下该验证项目的历程及规划？
        潘明惠：项目包括三个阶段。第一阶段从2011年5月到2011年10月，我们成立了SAP内存计算技术验证项目组，对HANA产品进行了详细的调研，会同SAP公司召开了多次研讨会，探讨HANA的技术特性和在辽宁电力的适用性，明确了HANA的技术特点和适用领域，同时也制定了计划，完成人员组织安排、办公环境准备等相关工作。
        在环境搭建过程中，我们选择HANA  10.0.14，并协调IBM公司获得SAP认证的X3850作为HANA服务器，安装HANA数据库系统，并将SAP Business Object BI 4.0安装在HANA服务器中，充分利用现有服务器，安装实时数据抽取工具（SLT）。
        基于需求进行了HANA数据建模，即根据确定的业务场景，在HANA中进行建模操作测试，确保HANA数据建模的成功，为全面开展验证打下基础。之后进行相关应用数据抽取，根据已确定的业务场景需求，抽取源系统数据至HANA，验证数据抽取服务的有效性，为全面开展验证打下基础。
        第二阶段从2011年10月至2011年12月结束，一共实现了ERP系统14个业务场景。以ERP系统作为数据源，选取计划、财务、项目、物资、设备、人资6大核心业务的典型分析场景，在HANA中实现分析展示，验证HANA性能和业务适应性。另外还实现了BW系统8个业务场景。以BW系统作为数据源，重点选取跨专业领域的分析场景，在HANA中实现分析展示，验证HANA性能和对跨专业分析主题的适应性。营销系统6个业务场景也全部完成，我们选取营销系统中性能问题最严重的两个分析主题，将相应数据抽取至HANA中进行分析展示，验证HANA对于营销系统场景效率的提升以及对营销业务的适应性。GIS系统5个业务场景也在项目目标之内，我们选取GIS系统中考核指标统计场景以及数据质量核查场景，将相应数据抽取至HANA中进行分析展示，验证HANA对于GIS系统场景效率的提升以及对GIS业务的适应性。
        在此期间，我们还实现了PMS系统3个业务场景。具体选取了PMS系统中性能要求最高的设备统计以及工单统计场景，将相应数据抽取至HANA中进行分析展示，验证HANA对于PMS系统场景效率的提升以及对PMS业务的适应性。
        第三阶段进入基于HANA的推广应用，2012年1月开始，预计2012年12 月完成。这一阶段的重要目标之一是实现高级应用BW，即采用SP3增强包，HANA1.0 SP3，直接作为数据抽取与分析工具，替代BW数据仓库作用，更加有效的提升数据分析性能，实现实时商务智能分析。其次是实现GIS专题应用。GIS相关的服务需要分析海量的数据，如基础地理空间数据、电网资源空间数据、基础地理矢量数据、遥感影像数据、导航等。总结出实时性要求高的场景，利用HANA实现实时分析，加速企业应用；根据GIS与HANA的产品特性，设计适用实用工具，充分发挥GIS与HANA的作用，全面提升业务处理效率。实现营销专题应用也是我们的目标之一。营销业务涉及的用户数据、用电情况等数据量巨大。对营销数据的分析运用，对于电网收入的及时性、电网负荷预测的有效性等有重要影响。利用HANA“实时”、“极速”的特点，设计有效的分析场景。财务专题应用也是不可或缺的一部分。利用HANA分析海量的财务数据,使财务数据进行更为全面、复杂的分析，做到对复杂业务的快速、实时分析。设计适用企业实际的财务主题分析应用，充分发挥HANA“实时”、“极速”的特点，提高财务监控能力，从而从根本上改善企业经营。
 
        电力信息化用户参考：一年以来，辽电在大数据处理领域取得了哪些主要成果？
        潘明惠：在辽宁电力SAP HANA技术验证,实现了10类业务36个场景的验证中，速度平均提升36倍，普遍提升20倍左右，最高可达到863倍。在同一场景下，数据量越大，提升效率越明显。在已知的零售业验证中，报表的查询与执行速度提升了1000倍；物资项目管理从15小时降低到4.8秒；订单到付款分析，从30天降低到28秒。在IT领域有了重要突破。例如在验证查询所有（36个）ERP上线单位的全部资产和设备(9.86G)条件下，使用HANA查询时间为9秒，使用ERP前台查询超时，通过后台作业查询时间为7,769秒（2.16小时）(ERP测试系统)，性能提升863倍 ,在ERP实时正式运行系统，查询时间5,574秒（1.58小时），性能提升619倍。 在营销系统中，在HANA系统中，各个单位可以随时、实时地查看数据；不仅节省了操作流程，而且查询的时候，只有初始刷新数据的实时需要等待5秒，随后更换查询条件的时候，一点击，报表立刻就运行出来，不需要等待时间，所以报表整体性能的提升远大于181倍。