大数据分析与数据挖掘

数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

大数据是最近几年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战(一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算)。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。

1.从结构化数据到非结构化数据。传统的数据挖掘都是依据数据库里面的数据进行分析，在大数据时代，数据来源多种多样，对于这些非结构化数据的加工是大数据数据挖掘的重要特征。因为非结构化数据处理的成功与否决定了大数据数据源的质量好坏，而这并不是算法可以解决的。

2.从抽样数据到全量数据。传统数据挖掘受制于数据处理能力，只能使用少量的抽样数据进行分析。在大数据技术环境下，完全可以实现全量数据的分析，效率甚至可能高于抽样数据的分析。

3.从因果关系到相关性分析。大数据分析通过事件和多种因素进行相关性分析，通过数据挖掘和机器学习的算法找到其关联关系，并运用回归分析从而实现预测。

数据挖掘的任务按照目标可以分为4类：

1) 分类：通过分析训练集的数据，为每一个分类建立分类分析模型，用这个已知的规律对其他数据进行分类

2) 回归：建立因变量和自变量之间关系的模型

3) 聚类：将对象集合分成由类似的对象组成的多个类的过程

4) 关联规则：寻找给定数据集合中各个因子之间的关联关系

人们经常见到的“逻辑回归模型”、“神经网络模型”、“遗传算法”、“决策树”等等都是监督学习过程的挖掘算法。这类算法在机器学习和深度学习里面大量使用，是大数据公司必备的专业技能。极光大数据作为国内领先的移动大数据服务商，在这方面的实际案例颇多，例如极光大数据团队利用神经网络算法预测个人前往某一个特定区域的概率和时间，准确度可以达到80%以上;他们还利用神经网络算法和随机森林算法对个人喜欢的移动应用进行推荐下载和推荐产品;此外，极光大数据团队还自主开发了空间轨迹相似度STS(spatial trajectory similarity)算法进行同轨分析等。

数据挖掘技术随着大数据时代的到来已变幻出更强的功能特征，而在大数据服务商的精耕细作下，也必将为各行业带来进步的动力。