大数据驱动时代云计算规模化高性能计算

2013-10-25 13:33:42 ZDnet 　点击量：评论 (0)

不久前的一次互联网大会上，与会人员已经明确将重点放在扩大网络带宽和通过网络的增强提高合作方面，这将带来更好的视频会议和其他大数据应用。　　这些活动使企业都意识到他们将为大数据创造更大的网络管

不久前的一次互联网大会上，与会人员已经明确将重点放在扩大网络带宽和通过网络的增强提高合作方面，这将带来更好的视频会议和其他大数据应用。
　　这些活动使企业都意识到他们将为大数据创造更大的网络管道，而不需要将每种功能都完全商业化。
　　同时，企业应该采取几个与网络相关的实际步骤，以确保成功传输大数据。
　　这些步骤包括：
　　使网络规划成为所有大数据项目的一部分
　　你会惊奇地发现相当一部分的企业都已然将服务器、数据库、应用程序、甚至数据中心业务纳入到大数据项目讨论的议程，但却独独忘记了网络有关的部分。网络功能和规模应始终是任何大数据规划工作的一个组成部分。
　　考虑安全和数据所有权
　　对于选择使用云计算的进行大数据处理和存储的企业来说，应该坦率的与供应商讨论谁“拥有”数据，谁有权使用(或重用)大数据挖掘公式和算法。
　　IDC观察到，亚太地区市场具有其独特的特征，例如以人口众多的特大城市为中心的分布式的制造中心，数据共享和流体法规创造了显著的新机遇。然而，在亚洲，许多大企业中心只是在数据倡议下建设了大型数据存储库。虽然这是确实是非常重要的第一步，但这并不等于企业就真正实现了对于大数据利益概念的理解。购买所有所需的服务器来处理和分析数据，即使该处理过程可能只需要几个小时、一个星期或一个月，如此昂贵的成本，会导致资源在其他时间没有被充分利用。
　　为了更具经济和战略意义，亚洲企业的CIO们必须将IT的三大趋势的力量结合起来：大数据、虚拟化和云服务。虚拟化和云计算是促使大数据使用的推动力量，使得创造高度自动化的大型池的计算成为可能，以便处理大数据量。三大趋势的组合将创建一个灵活的、可扩展的、智能化的大数据应用程序的基础。
　　因此，经济上讲，企业可以以基础设施即服务的一种形式从云供应商那里“租赁”几乎无限的存储容量，而只需要支付他们使用的容量的费用。自此，存储和处理能力的问题就解决了。
　　然而，从云数据中心迁移大型数据集将显示出“大数据系统”中的薄弱环节，一个不是用来处理大量数据的网络。随着令人眼花缭乱的新服务和数据势不可挡的崛起，网络容量问题突显，这个问题不能通过简单的不断安装或租赁较大的数据存储空间就能解决。
　　相反，使用一个虚拟数据中心的架构是有效地处理大数据的更好的服务方法，在单个数据中心的物理墙作为一个逻辑实体有效地打破了连接多个数据中心。换句话说，这就创造了一个“没有围墙的数据中心”，使用一个高性能的“云骨干网络的无缝连接到一个更大的企业和运营商数据中心之间的共享资源池。”
　　通过虚拟化和集中所有的数据中心和网络资产，企业可以根据不断变化的需要，允许灵活的配置和迁移工作负载。这是唯一的设置，可以非常经济地满足大数据带来的基础设施的挑战。
　　Forrester称，绝大多数亚太大数据中心主要是大型数据存储库，其次是为用户提供更先进的数据挖掘和可视化工具。但他们并不是“没有围墙的数据中心”，无法以最有效的方式允许大数据处理，以满足企业的业务目标。
　　为越来越大量的数据时代的到来做好迎接准备，以便满足新的监管要求，绝不仅仅是一款工具或自动化就能够简单解决的事情。相反，IT部门与其他相关的业务方面的关键人员必须共同决定哪些大数据应该被存储和收集，以及应该如何定义个人数据。
　　尽管IT部门可以借助工具潜在的评估这些数据是否是高质量的。然而，即使IT部门这样做了，最终签收的仍然则是最终业务用户。
　　一旦确定了哪些大数据应该被收集和存储、并进行相关的数据清理和准备工作，就必须以相关“活文件”的政策、标准和程序，管理所有的大数据资产。
　　相关的业务方面的关键人员包括整个企业中从CXO级别的管理人员到业务部经理以及IT工作人员，都必须遵守这些政策协议。当然，行业监管机构可以采访所有的这些相关的工作人员，检查明文规定的政策和程序，以确保企业的相关政策符合行业监管机构的规定。
最后，对于IT部门来说最为重要的是，确定收集和存储大的数据必须高度符合的终端业务信息的要求。为了做到这一点，CIO和其他IT工作人员必须积极的与整个企业的各个业务单位的同行配合