《电力大数据》走进大数据

2.2 电力大数据技术体系

2.2.4数据存储管理技术

数据存储管理是指将大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。数据存储管理技术包括分布式存储技术、NoSQL技术和内存存储技术。

（1）分布式存储技术
分布式存储通过网络使用每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，从而实现数据的分散存储。典型的如Hadoop平台中的分布式文件存储系统（HDFS）。
分布式存储的技术优势主要体现在以下四个方面：
1）支持任意超大文件存储，硬件节点可不断扩展，实现低成本存储。
2）对上层应用屏蔽分布式部署结构，并提供统一的文件系统访问接口。
3）允许硬件故障，数据在不同机器节点实现冗余备份，从而实现高容错性。
4）数据分散存储，并提供冗余备份机制，从而提高系统的稳定性和扩展性。

（2） NoSQL技术
NoSQL是非关系型数据存储的广义定义。NoSQL数据存储不需要固定的表结构，通常也不存在连接操作，在大数据存取上具备关系型数据库无法比拟的性能优势。
NoSQL的技术优势主要体现在以下六个方面：
1）数据本身无关联特性，在架构层面极易扩展。
2）对海量数据拥有极高的读写性能。
3）数据模型比较灵活，数据格式可以实现自定义。
4）在不影响性能的情况下，可以实现架构的高可用性。
5）可运用于廉价PC服务器集群上，提高资源利用。
6）数据库模式单一，灵活自由，适合海量数据分布式处理。

（3）内存存储技术
内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级.将数据保存在内存中相比从磁盘上访问能够极大地提髙应用的性能。内存数据库抛弃了磁盘数据管理的传统方式，全部数据都在内存中，重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。
内存数据库的优势主要存在以下两方面：
1）数据加载和读取速度极快，基本满足实时性数据的存储要求，实现对数据的实时响应。
2）具有较高的数据和程序独立性，数据库的独立性有物理独立性和逻辑独立性。

书名：电力大数据：能源互联网时代的电力企业转型与价值创造

ISBN：978-7-111-51693-4

作者：赖征田

出版日期：2016-01

出版社：机械工业出版社