企业如何避免大数据分析项目失败

大数据及其分析项目计划或将能够改变游戏规则，为您企业提供相应的洞察分析能力，帮助您企业赢得市场竞争，创造新的收入来源，并得以更好地为客户服务。

    但与此同时，大数据及其分析活动也可能面临巨大的失败，甚而导致浪费掉大量的资金和时间投入——更不用说，还有可能造成那些在令人沮丧的管理失误中身心受损的有才能的专业技术人员的流失。

    那么，企业组织究竟应当如何避免大数据分析项目的失败呢?从基本的业务管理的角度来看，一些具有可操作性的最佳实践方案是最为明显的：例如，首先，要从企业最高级别的高管们那里获得对于大数据分析项目的充分认可，确保为该大数据分析项目争取到所有所需要的技术投资以及足够的资金财务支持，并根据实际需要实施相关专业知识或技能方面的培训。如果您企业没有首先很好的解决这些基础性的问题，那么，后续的其他方面的问题真的也就没有进一步探讨的必要了。

    而假设您企业已经完成了上述基本面领域的工作，那么，区别大数据分析项目成败的关键原因就在于，您企业将如何处理大数据分析的技术问题和挑战。由此，你企业可以遵循如下几大策略，以尽量确保贵公司大数据分析项目的成功。

1、仔细为您企业的项目选择大数据分析工具

    许多技术方面的失败均源于这样一个事实：企业所采购和部署实施的产品被证明非常不适合于他们所正在努力完成的工作项目。任何一家供应商都会将“大数据”或“高级分析”等所谓高大上的术语印到他们的产品说明上，以便围绕这些术语进行高度炒作。

    但是，不同产品之间的差异不仅仅只存在于其质量和有效性方面，而同时还存在于各种不同产品所专攻的重点领域方面。因此，即使您企业选择了在技术上可能相当强大的一款产品，但该产品很有可能并不擅长于您企业当下实际所需要做的工作任务。

    几乎所有的大数据分析工具都具备一些基本性的功能，比如数据转换和存储架构(例如，Hadoop和Apache Spark)。但是，在大数据分析工具产品的市场上其实也会有很多细分的市场，故而您企业必须针对您的技术战略实际所涉及的领域采购产品。这些具体的领域包括流程挖掘、预测分析、实时解决方案、人工智能和商业智能仪表板。

    在决定购买任何大数据分析工具产品或存储平台之前，您务必需要弄清楚企业真正的业务需求和问题，选择旨在能够有效解决这些特定问题的产品。

    例如，由于编译庞大的数据集的复杂性，您企业可以选择使用认知大数据产品，如人工智能来分析非结构化数据的分析工具产品。但是，您企业肯定不会将认知工具用于结构化和标准化的数据，为此您可以部署众多有助于以更合理的价格实时获得高质量的洞察力的分析产品之一，电信公司沃达丰的大数据全球流程主管Israel Exposito表示说。

    Exposito表示，在为您企业的生产环境选择一款分析工具之前，请务必至少使用两种产品来运行概念证明是较为明智的。该产品还应该能够与您企业的相关平台进行交互。

    每款大数据分析工具都需要在后端系统中开发数据模型。这是该分析项目中最为重要的部分。所以，您企业将需要确保系统集成商和业务主题专家能够携手合作。务必确保从一开始就选对了工具。

    重要的是要记住，必须始终保持恰当数据的可用性，并将其翻译转化成业务语言，使得用户得以能够充分理解输出，从而可以使用这些分析洞察来推动对于市场机会的把握或流程的改进。

2、确保分析工具易于使用

    大数据和高级分析是复杂的，但是商业用户所依赖于访问和理解数据的产品却并不一定必须是复杂的。

    请务必为企业的业务分析团队提供简单有效的工具，以便能够更好的用于数据发现以及数据分析和可视化。

    对于全球知名的互联网域名注册商GoDaddy公司而言，找到合适的工具组合是相当困难的。该公司的商业智能工具企业数据布道者Sharon Graves表示说，对于快速可视化来说，其操作必须非常的简单，而且足以进行深入的分析。 GoDaddy能够找到让商业用户们得以轻松的找到适当的数据，然后自行生成可视化的产品。这就将其分析团队解放出来，以便能够执行更为高级的分析任务。

    除此之外，最为重要的是，切记不要为非技术业务用户提供程序员级别的工具。他们操作起来会感到力不从心，可能会诉诸使用他们以前的工具，而这些工具并不能真正的奏效(否则，你企业就不会大费周章的实施大数据分析项目了)。

3、将项目和数据与企业实际的业务需求相匹配

    错误的数据分析工作可能失败的另一大原因是：因为这些分析工作最终沦为了寻找并不存在的问题的解决方案。这就是为什么你企业无比需要把你正在寻求解决的业务挑战/需求摆在正确的分析问题上的原因所在了，信息服务提供商Experian公司的全球数据实验室的首席科学家Shanji Xiong说。

    关键是要在大数据分析项目实施的早期就邀请具有强大分析背景的主题专家与数据科学家合作，来帮助您企业确定真正问题的所在。

    如下，是Experian公司自己的一个大数据分析项目的例子。该公司在开发分析解决方案以打击身份欺诈行为时，他们所面临的挑战是评估客户所提交的一套个人身份信息(PII)(如姓名、地址和社会安全号码)是否合法;或者说，挑战可能存在于评估使用一套身份信息的组合来申请贷款的客户是否是该身份的合法拥有者。又或者两种挑战都可能存在。

    第一个挑战是“综合身份”的问题，故而该公司需要一款分析模型来评估在消费者级别或PII级别评估一套整合的身份信息的风险。第二个挑战是应用程序欺诈问题，需要在应用程序级别进行模型的开发，以评估是否存在欺诈风险的评分。Experian公司必须了解到这些是不同的问题，尽管其最初可能被看作是同样的问题，但却需要建立恰当的模型和分析来解决这些问题。

    当一套个人身份信息被提交给两家金融机构以申请贷款时，通常的要求是将返回相同的综合身份信息风险评分，但这通常并不是应用程序欺诈评分的必要特征。

    必须将正确的算法应用于恰当的数据信息才能提取商业智能，并做出准确的预测。在建模过程中收集和包含相关数据集几乎总是比微调机器学习算法更为重要，所以数据工作应该被视为重中之重。

4、建立一个数据湖，不要吝啬带宽

    正如“大数据”这一术语所暗示的那样，其涉及到大量的数据信息。过去，很少有企业组织有能力可以存储这么多的数据，更不用说对这些数据进行组织和分析了。但是现在，高性能的存储技术和大规模并行处理在云中和通过本地系统都早已经是广泛可用的了。

    但是，存储本身是不够的。您企业将需要一种方法来处理供您进行大数据分析的各种不同类型的数据。这便是Apache Hadoop充分发挥其用武之地的时候了，其允许企业得以能够存储和映射巨大的、不同的数据集。这样的库通常被称为数据湖。在现实生活中，一个实际的湖泊通常是由多条流入的河流来形成的，其还将包含许多的植物、鱼类和其他生物。而数据湖通常由多个数据源构成，并包含许多不同类型的数据。

    但数据湖绝不应该简单的成为企业各种繁杂数据的倾倒地。亚利桑那州立大学研究计算主任Jay Etchings表示说，你企业需要考虑如何汇总数据，以便以有意义的方式扩展其属性。数据可以是完全不同的，但是如何使用MapReduce和Apache Spark等工具来将其转换为分析数据，企业组织应该使用可靠的数据架构。

    企业应建立一个数据湖，在这个数据湖中，采集、索引和规范化数据是精心策划大数据策略的组成部分。Etchings表示说，企业组织如若没有清晰的理解和明确的蓝图，那么大多数数据密集型的计划都注定将会失败。

    同样，有足够的带宽也是至关重要的; 否则数据不会足够快的从各种不同的数据来源传输到数据湖，进而为业务用户所用。为了充分利用贵公司所收集的海量数据资源，Etchings说，企业不仅需要每秒能够处理数百万I/O的快速磁盘，而且还需要相互连接的节点和处理引擎，以便随时访问数据。

    从社交媒体的发展趋势到流量路由，速度对于实时分析尤为重要。 因此，企业无比要建立您的数据湖，以确保最快的互连可用。

5、将安全性设计到大数据的各个方面

    计算基础设施架构组件的高度异质性大大加速了企业组织从他们所收集到的数据信息中提取有意义的见解的能力。但有一大缺点：对于系统的管理和保护要复杂得多，Etchings说。由于涉及大量的数据和大多数大数据分析系统的关键任务，使得很多企业未能在保护系统和数据方面采取足够的预防措施，进而正在大规模的带来问题和麻烦。

    企业所收集、存储、分析和共享的大部分数据都是关于客户数据信息，其中一些是私人的和可识别的。如果这些数据落入了坏人的手中，其结果是可预测的：企业必将面临法律方面的诉讼、金钱的损失以及随之而来的的监管机构的罚款、企业品牌和声誉受损，以及客户的愤怒和不满。

    故而您企业的安全措施应该包括部署基本的企业工具：切实的数据加密，身份和访问管理以及网络安全。同时，您企业的安全措施还应包括对相关工作人员就如何正确访问和使用数据的政策的教育和培训。

6、把数据管理和质量放在首要位置

    确保良好的数据管理和质量应该是所有大数据分析项目的重要指标，否则面临的失败的可能性要大得多。

    您企业需要实施相应的控制措施，以确保数据按时、准确并及时的交付。作为大数据分析举措的一部分，GoDaddy公司实施了警报，以便通知相关的管理人员数据的更新是否失败或运行较晚。此外，GoDaddy公司还对关键指标实施了数据质量检查，并在这些指标与预期不符时发出警报。

    确保数据质量和良好管理的一个重要部分就是聘用熟练的数据管理专业人员，这其中包括数据管理总监或其他方面的高管来监督这些领域。鉴于这些举措的战略重要性，企业组织将会对于数据的管理、监控和策略方面的拥有权方面具有真正的需求。