|
大学生创业网讯 知识点·数据挖掘 (Data Mining) 我们正处在一个信息大爆炸的年代，主要表现在大量信息的产生并以数字化的方式被记录下来。之所以会有信息大爆炸，一个主要的原因是信息技术的成本大幅下降并且迅速广泛普及。10年前，一台个人电脑的硬盘大概也就是1GB大小，今天硬盘的大小都用几百GB甚至TB(1TB=1024GB)来衡量了，而价钱基本上没有变化。正是信息技术的普及造就了信息大爆炸的年代。信息多了，是好事儿，也是坏事儿。好事儿呢，是因为信息可以帮助人们更好地决策;坏事儿呢，是因为信息太多了，如何找到有用的信息又变成了一件难题。 大海捞针，出自明代戏曲作家王錂的《春芜记·定计》：“觅利如大海捞针，搅祸似干柴引火。”你想想，大海有多大、多深、多广阔，而一根针又是多么细微和渺小，要想在广阔的大海里找到一根针，是一件不可能完成的任务。在今天的信息大爆炸年代，代表信息的数据就好像大海，广阔无边，而要在这广阔的大海里找到想要的某一条信息，也确实是一件很难的事情。所以说，大海捞针的“捞”其实很形象地刻画了数据挖掘的过程。 简而言之，数据挖掘就是从存放在数据库中的大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程。这个定义说出了数据挖掘的四个基本特征：一是有效；二是新颖；三是有用；四是可理解。这四个基本特征缺少一个就不是严格意义上的数据挖掘。“有效”是指数据挖掘过程所使用的方法是正确的，无论用统计抽样、假设检验，还是人工智能、模式识别和机器学习等方法，都要是正确地使用。“新颖”是指数据挖掘结果是意想不到的、事先不知道的，如果是已经知道的，还费那么大的力气去挖掘什么呢。“有用”是指数据挖掘结果可以用来指导公司决策，否则，费了九牛二虎之力挖掘出来的东西岂不都是垃圾。“可理解”是指数据挖掘结果能够用常识或理论解释，如果解释不了，那么这个结果很可能是碰巧得来的。这次碰巧得到了，不知道下次还能不能碰上，这样的结果使用价值也不大。 数据挖掘的应用之一就是关联规则，通过对大量数据的分析，找到两个或几个总是同时发生的事件。对于关联规则，有一个关于沃尔玛的传说，之所以说是传说，是因为这个故事在商学院MBA课堂上广泛流传，谁也不知道源头在哪里，到底是不是真的。有一个学期，我有几个学生非常较真，做了大量的搜索工作，最后也无法确定这个故事的源头和真相，这故事后来就成了一个谜，反倒更增加了它的吸引力。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的历史购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘，发现了一个很有意思的现象：婴儿尿布和啤酒有很高的相关度，即跟尿布一起购买最多的商品竟然是啤酒! （责任编辑：职场达人） |
