大数据时代企业所面临的三大挑战

2014-04-11 10:53:03 天极网　点击量：评论 (0)

大数据应用在全球各国发酵之际，伴随而来的问题，就是各国普遍缺乏数据科学家，在国内，大数据的应用虽然才刚刚萌芽，但是要面临的几项重大挑战。　　挑战 1数据分析人才不足　　因应大数据处理的需求，

大数据应用在全球各国发酵之际，伴随而来的问题，就是各国普遍缺乏数据科学家，在国内，大数据的应用虽然才刚刚萌芽，但是要面临的几项重大挑战。

　　挑战 1
数据分析人才不足
　　因应大数据处理的需求，不论企业决定采用哪一种解决方案，最终需要有数据科学家来运用这些大数据，才能活化大数据的价值，重新建构数据之间的关系，并赋予新的意义，进而转换成企业的竞争武器。
　　在大数据处理环节中，数据科学家是能否点燃大数据价值的关键。然而，数据科学家的养成并不容易，因为数据科学家必须同时具备3种条件，包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。
　　一般而言，拥有一项专长的人很多，但是，同时拥有3种专长的人，就非常稀少。然而，作为数据科学家就必须有整合运用的能力。否则如果只是熟悉数据分析工具操作，但却不懂企业内的业务运作细节，就无法从既有数据中挖掘出新的数据价值。而若只懂业务却不熟悉数据分析工具，也很难重新架构数据的价值。同样的道理，如果缺乏数据探勘的技巧，最多只能做到OLAP(Online Analytical Processing)的展现。
　　目前国内的数据分析师，较擅长的是处理已经发生的问题，找出问题源头，并且尽速排除问题，但是，相对缺乏发掘未知问题的能力。根据市场调查机构 Gartner的数据，有高达72%的企业认为，大数据的应用价值，在于预测未来。然而，这样的应用需求与国内数据科学家的人才才不相匹配，预计将成为国内发展大数据应用的最大挑战。
　　数据科学家必须同时具备3种条件，包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。数据科学家的工作职缺，从2011年开始急速攀升，成为前10大热门职缺。这项统计是汇集1千多个人力招聘公司的数百万个职缺结果。

　　挑战 2
当地大数据顾问服务不足
　　在大数据的应用风潮下，新兴的技术与人才也备受瞩目，其中又以Hadoop架构的技术人才最为缺乏，目前不论企业或信息厂商都相当缺乏非结构数据处理的技术人才，因此，即使是概念验证阶段，大多需要依赖国外顾问飞来国内，所花费的时间与成本，都让大数据处理的效益大打折扣。
　　国内之所以会面临Hadoop人才不足的问题，主要是因为Hadoop的发展源自美国，所以Hadoop相关的技术资源，也都聚集在北美。目前Hadoop的应用，虽然逐渐延伸到亚洲国家，然而相关的技术人才与顾问服务都还在萌芽。
　　为了解决Hadoop当地顾问服务不足的问题，企业也可以考虑培养自己的Hadoop团队。然而，由于Hadoop的应用在国内才刚刚开始，因此，企业对于是否要培养自己的Hadoop团队，尚言之过早。一方面是因为企业的大数据处理，还没有导入Hadoop的迫切性，另一方面则是对 Hadoop的长期发展还在观望当中。
　　奇美电子信息管理处副总处长李宴昌不讳言地指出，信息产业每隔几年就会出现一个新技术，但未来能否普及却不一定，企业不可能承担这种风险，在这个阶段就决定培养Hadoop技术人才，除非可以确定这种人才的长期需求，否则宁愿先观望再布局。

　　挑战 3
对数据价值的敏感度不足
　　大数据的价值，除了解决现在无法解决的问题，还要能发掘原本不知道的问题。业内人士认为，数据分析的前提是，数据保留的完整性与正确性。然而，在国内的企业文化中，长期以来都没有依赖数据来做决策判断的习惯，对于数据的价值也理解不足，甚至是忽略数据的存在，因此，有些企业根本没有保留数据与应用数据的长期规划。
　　举例来说，在国内部署非常普遍的ERP系统，是所有应用系统中，与企业营运最息息相关的系统，理论上，ERP系统中的数据品质，也就是数据的正确性以及一致性等，应该都是企业内各应用系统中最好的。但实际的情况并非如此，ERP系统的帐务数据，并不能与企业的营运画上等号。
　　一般而言，企业在导入大数据应用时，如果既有应用系统的数据品质越好，技术面导入的成功机率就越高。而若没有好的数据品质，却要做大数据分析，就要有面对辛苦的准备，因为大数据分析绝对还是必要的。
　　大数据分析的价值，在于活化数据再利用。信息科技的发展，本来就是为了处理信息，而不是为了提升硬体效能，如果导入大数据的决策单位，是由信息部门主导，很有可能就会专注在系统效能提升层面。如果由执行长等级的决策者领军，相对较易把大数据的应用与业务命脉整合。
　　根据市场调查机构Ventana所揭露的数据，目前导入大数据的决策者，高达66%是信息部门的中阶主管，由信息高级主管等级来做决策的比例，仅有33%。