《电力大数据》走进大数据

2.2 电力大数据技术体系

2.2.5高性能计算技术

高性能计算是指通常使用很多处理器（作为单个机器的部分）或者某一集群组织中的几台计算机（作为单个计算资源操作）的计算系统和环境。高性能计算技术主要包括三个方面，即实时计算、批量计算和流式计算。

（1）实时计算
实时计算是指根据计算需求从海量数据中实时进行排重、排名、汇总等运算，并为用户提供实时响应，主要针对海量数据且无法预算的情况。
实时计算的技术优势主要体现在以下四个方面：
1）对海量数据进行分布式处理并为用户提供实时响应。
2）将计算过程推迟到应用阶段进行，减轻了系统的计算负担。
3）数据加载过程和数据计算过程分离，加载过程先于计算过程，提高了计算效率。
4）数据加载过程不需要实时，从某种程度上降低了对数据处理的难度。

（2）批量计算
批量计算是指对静态海量数据的批量处理，即当开始计算之前 数据已经准备到位，主要用于数据挖掘和验证业务模型。
批量计算的技术优势主要休现在以下四个方面：
1）可以对海量静态的数据进行大规模分析。
2）数据采用批量的方式进行处理，极大提升了大规模数据处理的吞吐量。
3）数据处理的方式可分为离线和在线两种方式， 对计算的实时性要求比较低。
4）在对计算结果进行查看之前数据已经处理完毕,提高了数据查询的速度。

（3）流式计算
流式计算是指对具有时效性的流式数据进行的计算，计算结果在数据出现之后立即得出，流式计算需要依赖上游数据传输的正确性和实时性以及下游存储系统的高吞吐率。
流式计算的技术优势主要体现在以下三个方面：
1）采用分布式计算方式处理流式数据，提高了对海量实时数据的处理能力。
2）数据一出现便立刻处理而不是缓存起来进行批量处理，提升了对数据处理的实时响应。
3）为海量的实时数据提供了一种快速分析和计算的能力。
 

书名：电力大数据：能源互联网时代的电力企业转型与价值创造

ISBN：978-7-111-51693-4

作者：赖征田

出版日期：2016-01

出版社：机械工业出版社