基于ERP系统的数据挖掘应用研究

2013-12-16 10:54:12 电力信息化　点击量：评论 (0)

引言随着全球经济环境的进一步改变，企业的竞争压力也越来越大，而ERP（企业资源计划）体现了当今世界上最先进的企业管理理论，并提供了企业信息化集成的最佳方案，因此已经成为众多企业追求管理革新与信息化建设

引言

随着全球经济环境的进一步改变，企业的竞争压力也越来越大，而ERP（企业资源计划）体现了当今世界上最先进的企业管理理论，并提供了企业信息化集成的最佳方案，因此已经成为众多企业追求管理革新与信息化建设的必然选择。一方面，随着ERP系统的普及与广泛应用，必然会形成越来越多的数据，如何从大量的甚至海量的数据中提取有用的知识以支持管理决策，已经成为越来越重要的问题；另一方面，数据挖掘技术利用数据库系统、统计学、机器学习、可视化和信息科学等多学科技术，研究从大量数据中如何提取或“挖掘”知识，也逐渐从理论研究发展到了实际应用。因此，将数据挖掘应用于ERP系统，分析利用ERP所形成的数据，从而形成帮助决策的知识，逐渐引起了研究者与企业的重视。

然而，由于数据挖掘源于多个学科，因此产生了大量的、各种不同类型的数据挖掘系统，尽管有普通的、全能的数据挖掘系统与通用的数据挖掘算法，但通用系统并不适合特定领域的挖掘任务，因此需要针对特定应用的数据挖掘进行分析研究。

文中主要介绍ERP与数据挖掘的基本概念与发展，还分析了基于ERP的数据挖掘应用所面对的问题，讨论数据挖掘在ERP中的两个应用框架的构建。最后，比较并分析了两个应用框架的特点与优缺点。

l 概念与定义

1.1 ERP的概念与发展

ERP的概念于20世纪90年代由美国Garter Group Inc咨询公司首先提出，其理论与系统从MRPⅡ发展而来，极大地扩展了业务管理的范围及深度，管理范围涉及到企业的所有供需过程。概括地说，ERP有如下定义：

定义：ERP是建立在信息技术的基础上，利用现代企业的先进管理思想，全面地集成了企业的所有资源信息，并为企业提供决策、计划、控制与经营业绩评估的全方位和系统化的管理平台。

ERP不仅仅是信息系统，更重要的是一种管理理论与管理思想，它代表了当前在全球范围内应用最广泛、最有效的一种企业管理方法，这种管理方法已经通过计算机软件得到了体现。

ERP的核心管理思想就是实现对整个供应链的有效管理，包括物流、资金流与信息流。基于ERP理论的信息系统主要包括生产计划管理、质量管理、设备管理、采购管理、库存管理、销售管理、客户关系管理、成本管理、财务管理几个模块。

随着ERP应用的深入发展，ERP的应用范围逐渐扩大，并不再限于制造业，已应用到金融业、高科技产业、邮电与通信业、能源行业（电力、石油与天然气、煤炭业等）、公共事业、商业与零售业、外贸行业、新闻出版业、咨询服务业，甚至于医疗保健业和宾馆酒店等行业，因此，美国生产库存学会（American Production and Inventory Control Society，APICS）在2002年出版的《AFICS字典》（第10版）中对ERP系统的定义扩展为：一种在制造、分销或服务业公司中有效地计划和控制为接收、制造、发运和解决客户订单问题所需的所有资源的方法。

从ERP的理论与实际应用可以看到，为企业提供决策足ERP的重要目的与功能之一。

1.2 数据挖掘概述

随着信息技术的发展，人们积累了越来越多的数据，从大量的数据中获得有价值的知识也越来越成为迫切的需求。因此，自20世纪90年代初以来，数据挖掘或知识发现也越来越受到人们的重视。广义的数据挖掘等同于知识发现，而狭义的数据挖掘专指知识发现的一个基本步骤。作为知识发现的一个步骤，数据挖掘有以下定义：

定义2：数据挖掘就是从大量的数据中挖掘出有用的信息，即从大量的、不完全的、有噪音的、模糊的、随机的实际应用数据中发现隐含的、规律性的，人们事先未知的，但又是潜在有用的并且最终可理解的信息和知识的非平凡过程。

与传统的数据分析手段（如查询报表）相比，数据挖掘有以下几个特点：首先，数据挖掘处理的是大量或海量的数据；其次，数据挖掘的目的是发现隐含的、事先未知的知识；再次，数据挖掘更倾向于把任务交给程序自动完成，也是人工智能的一种应用；最后，数据挖掘是一个交叉学科，是高级的数据分析手段。

数据挖掘使用各种不同的算法来完成不同的任务。数据挖掘的任务一般可以分为两类BJ：描述和预测。描述性数据挖掘任务刻画数据库中数据的一般特性。预测性挖掘任务在当前数据上进行推断，以进行预测。最基本也是最重要的数据挖掘任务为：

1）关联：关联分析发现关联规则，这些规则展示了属性与属性之间的关系；

2）聚类：产生分组标记，根据最大化类内相似性、最小化类间相似性原则将数据分成不同的簇；

3）分类／预测：找出描述并区分数据类或概念的模型，以便能使用模型预测类标记未知的对象类。数据挖掘还有序列发现、相关分析、孤立点分析等多种任务。

目前，数据挖掘作为知识发现的重要步骤与商业智能（BI）的核心功能，已经应用于金融、电信、体育分析、销售等多个领域，但制造业应用并不广泛。

2 数据挖掘在ERP中的应用框架

2.1 应用问题描述与分析

ERP系统涉及整个供应链的管理，会产生大量的数据，其重要目的之一是提供决策支持，因此，分析利用ERP系统积累的数据，提高决策能力，越来越受到人们的重视。传统的方法是提供报表功能，但报表功能处理海量数据力不从心，也无法更智能地发现隐含的知识，因此，ERP系统越来越需要数据挖掘的应用。但是，由于ERP最主要的应用行业——制造业类型复杂，各个生产管理环节形成的数据种类繁多，设计通用的数据挖掘算法覆盖所有的生产问题和所有的管理环节是十分困难的。事实上，由于ERP积累的数据有着行业独特的相关性，通用的数据挖掘算法是无效的，加之企业对数据挖掘这种新技术实施风险的考虑，因此，尽管大型的ERP系统包含数据挖掘的商业智能模块，但总体上来看，数据挖掘在ERP中的应用并不广泛。

2.2 基于数据仓库的应用框架

根据ERP系统的特点，结合典型的数据挖掘系统结构，一种基于数据仓库的ERP系统数据挖掘应用框架如图1所示，标记为应用框架1。

ERP业务数据库属于数据库技术中的操作型数据库，主要处理联机事务，关注多事务处理、数据的一致性与完整性等，重点不在于大数据量的查询与分析。而数据仓库是分析型数据库，是一种数据的长期存储，数据经过组织在一致的模式下存放，通常是历史数据的汇总，目的是为了支持决策。数据仓库的数据组织、存取方法以及支持的主要功能等都是针对历史数据的查询与分析而设计，因此数据仓库能更好地支持数据挖掘。

图1所示的应用框架描述如下：

a）数据处理模块：将ERP业务数据库的数据经过提取、转换与加载等，转换为符合数据仓库要求的数据。

b）数据挖掘引擎：用于执行数据挖掘任务，包括关联规则、聚类、分类等。

c）知识库：领域知识，用于指导数据挖掘执行，也用于评估数据挖掘的结果模式。

d）模式评估：该模块与数据挖掘引擎交互，也与用户交互，并根据知识库的相关知识，评估数据挖掘结果的兴趣度，过滤发现的模式。

基于数据仓库的数据挖掘应用框架的特点是：数据挖掘过程与ERP业务过程分离，挖掘过程不影响实时操作，但分析对象也不是实时数据。

2.3 基于ERP业务数据库的应用框架

尽管数据仓库技术对数据挖掘有着重要作用，但是数据挖掘不限于仅分析数据仓库中的汇总数据，它可以分析现存于ERP系统中的更细化的业务数据，因此，基于ERP业务数据库的数据挖掘应用框架如图2所示，标记为应用框架2。在这一框架中，数据挖掘不再是建立在数据仓库上的独立系统，而是作为ERP系统的一个高级模块存在，它一方面是对数据挖掘分析对象的扩展，另一方面也是日益重要的在线实时数据分析的要求。

图2 基于ERP业务数据库的数据挖掘应用框架

在图2所示的应用框架中，ERP数据挖掘模块直接处理分析业务数据，同样基于知识库进行模式评估，并与用户交互。必要的数据预处理功能作为数据挖掘模块内部功能存在，直接提取处理ERP操作数据库。事实上，大型的数据库系统也越来越向提供智能分析与数据挖掘功能的方向发展，因此，在不建立数据仓库的情况下，利用数据挖掘技术直接对ERP业务数据进行一定程度的分析也是可行的。

2.4 比较与分析

基于ERP的数据仓库的建立，是应用框架1中的核心内容，也是传统的数据挖掘应用模式在ERP系统中的应用，即先建立数据仓库，再进行数据挖掘。这种模式将ERP系统与数据仓库系统结合，既发挥了ERP系统处理事务的能力，又发挥了数据仓库之上的数据挖掘技术的决策支持作用。但根据ERP系统的特点，ERP业务数据库中的数据已经相对集中与规范，在企业没有建立数据仓库时，ERP系统同样需要有效的数据分析与决策支持，因此，基于ERP业务数据的数据挖掘应用框架也同样具有重要意义。

两个应用框架的优缺点比较分析如下：

（1）应用框架1：基于数据仓库的数据挖掘应用

应用框架1的主要优点：

a）操作型数据库与分析型数据库分离，使操作事务与分析任务互不干扰，能够保证数据挖掘进行大量数据查询时不影响业务操作性能；

b）数据仓库根据分析需要组织数据结构、内容与功能等，使数据挖掘更专注有效；

c）数据仓库可以整合不同数据源数据，使数据挖掘不仅局限于ERP系统，方便扩充。

应用框架1的主要缺点：

a）需要建立数据仓库，需要进行数据清理和数据集成，会增加数据挖掘应用的风险与成本；

b）数据仓库存储历史数据，与最新数据存在差异，因此分析结果有时间延迟。

（2）应用框架2：基于ERP业务数据库的数据挖掘应用

应用框架2的主要优点：

a）利用ERP系统数据库，不建立单独数据仓库，成本低；

b）基于业务数据的分析具有实时性，分析结果时问延迟小；

c）数据挖掘作为ERP模块，与ERP结合紧密，可以及时根据分析结果调整ERP业务，优化ERP流程与业务。

应用框架2的主要缺点：

a）与ERP使用同一数据库，复杂的分析与查询会影响业务操作性能；

b）数据挖掘需要考虑数据预处理，挖掘算法计算代价大；

c）可扩充性相对低，局限于仅对ERP数据的分析。进一步比较两个应用框架的特点，如表l所示。

图2 基于ERP业务数据库的数据挖掘应用框架

在图2所示的应用框架中，ERP数据挖掘模块直接处理分析业务数据，同样基于知识库进行模式评估，并与用户交互。必要的数据预处理功能作为数据挖掘模块内部功能存在，直接提取处理ERP操作数据库。事实上，大型的数据库系统也越来越向提供智能分析与数据挖掘功能的方向发展，因此，在不建立数据仓库的情况下，利用数据挖掘技术直接对ERP业务数据进行一定程度的分析也是可行的。

2.4 比较与分析

基于ERP的数据仓库的建立，是应用框架1中的核心内容，也是传统的数据挖掘应用模式在ERP系统中的应用，即先建立数据仓库，再进行数据挖掘。这种模式将ERP系统与数据仓库系统结合，既发挥了ERP系统处理事务的能力，又发挥了数据仓库之上的数据挖掘技术的决策支持作用。但根据ERP系统的特点，ERP业务数据库中的数据已经相对集中与规范，在企业没有建立数据仓库时，ERP系统同样需要有效的数据分析与决策支持，因此，基于ERP业务数据的数据挖掘应用框架也同样具有重要意义。

两个应用框架的优缺点比较分析如下：

（1）应用框架1：基于数据仓库的数据挖掘应用

应用框架1的主要优点：

a）操作型数据库与分析型数据库分离，使操作事务与分析任务互不干扰，能够保证数据挖掘进行大量数据查询时不影响业务操作性能；

b）数据仓库根据分析需要组织数据结构、内容与功能等，使数据挖掘更专注有效；

c）数据仓库可以整合不同数据源数据，使数据挖掘不仅局限于ERP系统，方便扩充。

应用框架1的主要缺点：

a）需要建立数据仓库，需要进行数据清理和数据集成，会增加数据挖掘应用的风险与成本；

b）数据仓库存储历史数据，与最新数据存在差异，因此分析结果有时间延迟。

（2）应用框架2：基于ERP业务数据库的数据挖掘应用

应用框架2的主要优点：

a）利用ERP系统数据库，不建立单独数据仓库，成本低；

b）基于业务数据的分析具有实时性，分析结果时问延迟小；

c）数据挖掘作为ERP模块，与ERP结合紧密，可以及时根据分析结果调整ERP业务，优化ERP流程与业务。

应用框架2的主要缺点：

a）与ERP使用同一数据库，复杂的分析与查询会影响业务操作性能；

b）数据挖掘需要考虑数据预处理，挖掘算法计算代价大；

c）可扩充性相对低，局限于仅对ERP数据的分析。进一步比较两个应用框架的特点，如表l所示。

图2 基于ERP业务数据库的数据挖掘应用框架

在图2所示的应用框架中，ERP数据挖掘模块直接处理分析业务数据，同样基于知识库进行模式评估，并与用户交互。必要的数据预处理功能作为数据挖掘模块内部功能存在，直接提取处理ERP操作数据库。事实上，大型的数据库系统也越来越向提供智能分析与数据挖掘功能的方向发展，因此，在不建立数据仓库的情况下，利用数据挖掘技术直接对ERP业务数据进行一定程度的分析也是可行的。

2.4 比较与分析

基于ERP的数据仓库的建立，是应用框架1中的核心内容，也是传统的数据挖掘应用模式在ERP系统中的应用，即先建立数据仓库，再进行数据挖掘。这种模式将ERP系统与数据仓库系统结合，既发挥了ERP系统处理事务的能力，又发挥了数据仓库之上的数据挖掘技术的决策支持作用。但根据ERP系统的特点，ERP业务数据库中的数据已经相对集中与规范，在企业没有建立数据仓库时，ERP系统同样需要有效的数据分析与决策支持，因此，基于ERP业务数据的数据挖掘应用框架也同样具有重要意义。

两个应用框架的优缺点比较分析如下：

（1）应用框架1：基于数据仓库的数据挖掘应用

应用框架1的主要优点：

a）操作型数据库与分析型数据库分离，使操作事务与分析任务互不干扰，能够保证数据挖掘进行大量数据查询时不影响业务操作性能；

b）数据仓库根据分析需要组织数据结构、内容与功能等，使数据挖掘更专注有效；

c）数据仓库可以整合不同数据源数据，使数据挖掘不仅局限于ERP系统，方便扩充。

应用框架1的主要缺点：

a）需要建立数据仓库，需要进行数据清理和数据集成，会增加数据挖掘应用的风险与成本；

b）数据仓库存储历史数据，与最新数据存在差异，因此分析结果有时间延迟。

（2）应用框架2：基于ERP业务数据库的数据挖掘应用

应用框架2的主要优点：

a）利用ERP系统数据库，不建立单独数据仓库，成本低；

b）基于业务数据的分析具有实时性，分析结果时问延迟小；

c）数据挖掘作为ERP模块，与ERP结合紧密，可以及时根据分析结果调整ERP业务，优化ERP流程与业务。

应用框架2的主要缺点：

a）与ERP使用同一数据库，复杂的分析与查询会影响业务操作性能；

b）数据挖掘需要考虑数据预处理，挖掘算法计算代价大；

c）可扩充性相对低，局限于仅对ERP数据的分析。进一步比较两个应用框架的特点，如表l所示。

由以上分析可以得出：基于数据仓库的应用框架，适合于信息化应用较成熟的大中型企业，通过建立面向主题的、集成的、时变的与非易失的数据仓库，通过数据清理与数据集成，能够充分进行数据挖掘与分析，为企业提供有效、全面的决策支持。基于ERP业务数据库的数据挖掘应用框架，适合于不具备建立成熟数据仓库，但又需要进行数据挖掘应用的中小型企业，尽管不能全面支持与实现数据挖掘各种算法，但在有限条件下可实现性高，灵活性大，也具有较高的应用价值。随着数据库与中间件技术的发展，基于操作型数据库的数据挖掘与分析也必将进一步发展。

3 结束语

本文在介绍ERP与数据挖掘概念与定义的基础上，描述了两个数据挖掘在ERP中的应用框架：基于数据仓库的应用框架与基于ERP业务数据库的应用框架。从两个应用框架出发，分析了它们的优缺点，并且从数据对象、及时性、有效性等多个方面，比较了两个框架的特点。数据挖掘技术作为数据分析与决策支持实现的高级技术，必将成为ERP应用的一个重要内容，随着ERP系统与数据挖掘技术的进一步发展，在ERP系统中的数据挖掘应用必将为企业提供更快、更有效的决策支持服务，也必将给企业带来巨大的经济效益。