时空飞越千万倍 内存计算奇惊天

        IDC发布《数字宇宙研究报告》称：2011年全球被创建和复制的数据总量将达到1.8ZB，与2010年同期相比，上涨超过1ZB。如果按照全球人口总数70亿换算，相当于人手一块容量为100GB的硬盘。报告预计到2015年，全球数据量将达8ZB。——这意味着人类自结绳记事以来数千年所产生的数据总量，仅需两到三年时间即可达到。大数据时代已然来临。
        快速膨胀的数据量，若缺乏很好的预先规划跟及时的应变对策，企业面临的风险势必更加严峻。正是认识到了这一点，辽宁电力有限公司率先了解各种大数据处理技术，尤其深入研究了SAP HANA内存计算技术原理及其主要特点,以及该内存计算技术验证项目实施工程方法,在分析海量历史和实时信息处理存在的问题的情况下，率先采用SAP HANA内存计算技术进行实际应用。为进一步了解该项目情况，本刊记者采访了辽宁电力有限公司（以下简称“辽电”）科技信息部副主任潘明惠先生。
 
        电力信息化用户参考：成功实施SGERP 以来，辽电的数据情况发生了哪些变化？
        潘明惠：随着国家电网公司SG186工程全面完成，SGERP全面推进，电网基础自动化设备的不断改进，智能电网应用软件及生产信息管理平台的快速发展，信息化基础设施和软硬件快速扩充，信息系统复杂度也大幅增加，信息量以几何级数的增长。然而随着系统运行与应用水平的不断提高，海量历史和实时信息处理也出现了不少问题。
   例如数据量过大,系统资源有限,效率低、速度慢、运行不出结果。较难支持大数据量的查询、系统需要较长时间处理查询与分析。需要较为明确的查询条件、较难一次性查询到需要的信息；四是取数逻辑复杂，造成运行无效率问题，以致无法及时提供支持紧急需要的决策信息。对于随着应用持续深化,信息量持续增长,造成增加硬盘也无法解决的问题。
 
       电力信息化用户参考：在这样的情形之下，辽电做了哪些工作？
       潘明惠：辽宁电力ERP项目历时3年,完成包括ERP计划、项目、设备、财务、物质、人力资源等六大模块在内的单轨运行、高级应用、全覆盖、流程管理、易用化及深化应用，与PMS、GIS、营销管理、协同办公、电子商务、经济法律等23个系统实现集成应用。2011年，辽宁电力开始着手SAP HANA内存计算技术的验证项目与应用研究, 验证场景涉及企业主营业务中紧耦合的10大类业务36个场景，验证数据达116338.42 万条，数据量达9.52TB 。每种验证方案至少设计2个以上场景，由不同的技术顾问进行多方验证，以便从不同角度发现各种潜在问题。经过一年多的摸索，辽电在计算技术应用、数据库技术应用和海量数据分析处理等方面取得了一些可喜成果。
 
        电力信息化用户参考：相较于其他大数据处理技术，内存计算技术基本原理是什么？
        潘明惠：在软件、硬件系统协同配置环境下，将数据库及数据仓库移到内存中进行的运算，突破I/O瓶径限制，采用高效并行处理技术，基于内存的高效数据读取和处理以及智能数据字典等高效的数据压缩机制，支持行存储和列存储的内存数据库，支持同时提供OLTP交易系统和OLAP分析系统。利用虚拟数据模型，实现内存数据仓库数据的高效率计算功能，减少冗余的数据，应用内置的计算引擎，将原来在应用层进行的运算转移到数据库层面处理，对数据密集型运算，优化应用层和数据库层之间的数据交互，从而从整体上提升系统的效率。
电力信息化用户参考：内存计算技术在数据读取和处理方面有哪些特点？


        潘明惠：内存计算技术是基于内存的高效数据读取和处理方式。从数据库中读取数据因为磁盘I/O的性能限制而成为瓶颈，原因是传统数据库实际上是将数据以文件的形式存储在磁盘上并为应用提供访问数据的接口，从数据库中读取数据的本质是从磁盘上读取文件。在过去几十年的硬件发展中，内存和CPU的性能始终在飞速的提升，只有磁盘I/O的性能提升并不明显。从磁盘上读取数据的速度是毫秒级。而从内存中读取数据的速度是纳秒级，基于内存的数据读取比基于磁盘的数据读取性能要快100万倍。所以当基于数据仓库进行报表分析时，