数据分析与挖掘VS数据整理

2013-10-17 10:06:55 EP电力信息化网　点击量：评论 (0)

谈到数据分析与挖掘，很多人都会提到啤酒与尿布的经典案例，尽管这个案例可以说已经非常陈旧了，你怎么看待这一点？刘德寰：一个尿布与啤酒，还有一个现代汽车，是数据分析领域的两个非常经典

谈到数据分析与挖掘，很多人都会提到啤酒与尿布的经典案例，尽管这个案例可以说已经非常陈旧了，你怎么看待这一点？

刘德寰：一个尿布与啤酒，还有一个现代汽车，是数据分析领域的两个非常经典案例。但是这两个案例都发生在20年前，数据挖掘已经谈了五十年，但却再没有第三个、第四个经典案例出现。这是因为现有的数据挖掘技术不能给商业决策者带来真正的洞察。其实，这更应该叫做数据整理。数据整理是什么？就如瞎子摸象，数据整理并没有摸清楚事物背后真正的规律，只是基于局部数据、某种行为监测整理出来的一个模型，这个模型甚至不能回答这个人想干什么，喜欢什么，这个人是怎样的人这些问题。

所以，要做数据分析与挖掘，首先就要把规律弄明白，把分析方法弄明白。

CIOI：大数据时代的数据挖掘应该怎么做，才能得出隐藏在无数假规律后面的真实结论？

刘德寰：上面已经提到，现在所说的大数据主要指的是互联网领域的大数据。互联网用户的基本特征、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等，都反映用户的基本行为规律。体系完整是所有分析性工作的第一步，完整的框架甚至胜过高深的模型。

历程——族群——规律——验证，这是我认为比较好的数据分析与挖掘的框架。先要走历程，看整个事态发展的历程，找寻这个历程当中各个族群的规律，然后把这种规律，用抽样的方式找完之后，放置到大数据当中去不断地重新弥合。亚马逊从开始到现在一直是这样的思路，这也是亚马逊的广告推荐能够做到精准的原因，原因就在于其不是就大数据谈大数据，而是就人来谈大数据。

这也是数据挖掘的基本逻辑。数据挖掘的商业本质、结论，一定要极其简单，但是挖掘的过程一定要复杂复杂再复杂。如果反过来，数据挖掘过程很简单，一抓取，一排列，得出的结论五花八门，这是大数据时代面临的巨大风险。

CIOI：要做好数据挖掘，还需要关注哪些呢？

刘德寰：举个例子说明。有一个女性，突然一改以往的习惯，开始购买无香型乳液，同时购买某种维他命，微量元素中的锌和镁。这三种行为改变结合在一起说明，这个女性怀孕了。在这个过程中，我们有最基本的人的行为跟踪以及最基本的社会公共卫生知识的了解，这时候商家开始对其进行分析和营销，计算她的预产期，然后推荐各种婴儿产品广告。但是，商家一定要明白，如果这个人知道商家知道她怀孕了，她可能会非常的焦虑，因为她很可能不想被人发现她怀孕了。这时候，如果商家将婴儿床的广告放在稻草机的广告边上，然后一起给她，她的焦虑就会大幅降低。

这样才能真正做好数据挖掘。首先，生活变，行为才会变，要将关注点放在变化上。另外，非常重要的一点是，要关注人性，了解人性，要充分表现出对人的关怀。

CIOI：这也就是你一直说纯IT人员无法做好数据挖掘的原因吧？

刘德寰：对，要做好数据挖掘，必须要有市场研究人员、IT人员以及营销人员通力合作。数据建模首先要理解消费者，然后才能建立符合中国人的数据模型，要做到这些IT人员需要市场研究人员及营销人员的帮助。

CIOI：对于CIO们真正认识大数据，你有什么建议？

刘德寰：现实互联网领域被几本关于大数据的书籍所累，观念十分混乱，实际上，人类积累的数据经验是一切分析的基础，包括所谓的海量数据，这几本书的方法论横空出世，同时又没有落地，没有实际操作经验积累，误导性太强。要在认识的过程中，多向自己和他人提出问题，在思想碰撞与交流中促进思索，实现更深层次的认知。