虚拟化和云计算：大数据价值的左膀右臂

        面对海量数据的增长，传统架构虽然能够进行扩充，但它却面临着不能实现水平横向扩展的局限性，传统的IT架构和数据处理方式无法有效地应对大数据环境。数据的存储、计算、管理、分析等节点都需要适应大数据需求的方案，同时也要满足性能上的扩展。因此，基于数据中心的IT基础设施，也必将从传统的数据中心迈向云数据中心转型。
 
        云数据中心是云计算背景下新的业务需求和资源利用模式与数据中心的完美结合。云模式已成为企业利用数据中心平台应对大数据挑战的重要方式。根据IBM的数据报告，当前数据中心有85%的运算能力存在闲置，50%至60%的数据中心IT负载可以采用云计算技术。这些，其实挖掘大数据价值的解决方案对它们有着同样的诉求。
 
 
        云数据中心
 
        云计算为何会助力大数据挖掘价值呢?我们可以从以下三个方面来探讨：
 
        一、云计算帮助大数据平台降低复杂性，简化运维，提升资源活性和利用效率
        云计算通过基于网络的服务交付，将硬件等基础架构融合为无形的IT资源，并借助负载均衡、分布式计算、并行计算、虚拟化、网络存储和统一管理等技术手段，实现IT服务的无缝化、定制化和伸缩性交付。
 
        二、云计算帮助云数据中心降低成本，有利于将更多资金投入到增值业务中
        由于采用了大量的虚拟化技术和统一的跨平台管理，可以帮助运营商/企业用户节省大量的设施成本和软件许可费用。此外，云数据中心的资源利用率能够得到进一步提升，并且在负载均衡方面也有更出色的表现，从而最大化保护用户投资，实现产品服务生命周期内价值最大化。节约下来的资本则可以投放在大数据的前期采集(增加数据源和数据类型)、存储、处理、分析并最终实现决策参考等各个业务环节。
 
        三、云计算可支撑基于大数据的灵活高效IT服务，满足多种个性化需求
        云计算和大数据一样，都有基于分布式计算的应用。不过，大数据更多的是需要有集群带来的高性能计算和存储扩展(横向和纵向)。借助云计算的分布式系统和虚拟化灵活调配资源，可以帮助大数据的各项分析、处理、挖掘提供高效灵活的IT服务支撑，满足用户个性化/定制化大数据挖掘、分析需求。
        很多企业IT应用虚拟化程度仅有20%-30%。但随着云计算的逐步成熟与落地，云数据中心也越来越被企业接受。当然，这种虚拟化在云数据中心中的应用也就更加广泛了。
 
        了解大数据的读者都知道，Hadoop是所有大数据解决方案中最具成长性的平台，它通过集群搭建起的高性能计算和存储平台，利用分布式架构对海量数据(包括结构和非结构数据)进行分析和处理。在这种情况下，也许很多人会误以为虚拟化运行在SAN上，而Hadoop却在本地硬盘上运行，从而主观认为虚拟化不适合大数据平台。甚至有人会认为，虚拟化会给IT系统带来更多资源开销，降低Hadoop性能。
 
        其实，大数据平台下的Hadoop，更多的是基于集群版(包括开源和英特尔发行版)，而不是单机版。通过虚拟存储架构下的共享存储(SAN或者NAS)，可实现更简便高效的部署，并且实现集群的自动负载均衡。
 



        Hadoop集群框架简图
        另一方面，并不是所有的企业都有足够的精力和能力去应对部署Hadoop带来的挑战(部署门槛和系统调优门槛)，而且Name Node和Job tracker存在单点失效问题，Hive、HCatalog等非Hadoop核心模块也没有双机集群高可用性的保障，专有的Hadoop集群CPU利用率低，Hadoop和非Hadoop负载不能直接共享资源，等等。这一系列的问题，都给Hadoop的使用带来了诸多不便。
 
        在这种情况下，引入虚拟化解决方案就成为了破解这些难题的“救命稻草”了。服务器虚拟化、甚至基于计算、网络、存储各个模块的全面虚拟化，有助于降低成本和提升集群系统的可用性和可靠性，避免Hadoop集群带来的昂贵成本负担，使得广大中型企业也可以实现大数据的分析和应用，而且也可以帮助提升大数据的服务价值。
 
        另外一种情况是，基础设施的全面虚拟化，还可以顺应大数据几何级数增长的发展态势，从而从一开始就紧随业务/大数据价值挖掘的需求不断推进，提升大数据价值内涵。
 
        编后语：
        虚拟化和云计算，将为大数据价值的挖掘提供更富有灵活扩展、高效利用的技术支持。虽然大数据需要有更多的新技术来帮助实现，但早已发展成熟的虚拟化以及当下流行应用的云计算，将有助于简化大数据价值的挖掘和服务的提供，从而实现大数据的更快部署实施和惠及更多地区、行业用户的应用服务。