|
2、Hadoop：一个新的企业数据运行系统 Hopkins表示，向MapReduce这样的分布式分析框架，正在逐渐演化成分布式资源管理器，这些资源管理器正逐步将Hadoop变为多用途数据运行系统。“有了这些系统，你就可以进行多种多样的操作和分析。” 这对企业来说意味着什么呢？SQL、MapReduce、in-memory、流水式处理、图表分析还有其它工作都能在Hadoop上进行，越来越多的企业会把Hadoop当做企业数据中心。Hopkins还说：“在Hadoop上能进行各种各样的数据处理工作，这样的话，Hadoop会慢慢变成一个多用途的数据处理系统。” Intuit已经开始在Hadoop建立自己的数据基地了。Loconzolo说：“我们的策略是利用Hadoop分布式文件系统，因为它和MapReduce与Hadoop等联系十分密切，这样的话，人与产品之间的各种互动就可以实现了。 3、大数据湖泊 美国普华永道首席技术专家Chris Curran说，传统数据库理论认为，人们应该先设计数据集，然后再将数据输入进去。而“数据湖泊“，也被称作“企业数据湖泊”或者“企业数据中心”，颠覆了这个理念。“现在，我们先收集数据，然后把它们都存入Hadoop仓库里，我们不必事先设计数据模型了。”这个数据湖泊不仅为人们提供了分析数据的工具，而且很明确地告诉你，这里有什么样的数据。Curran还表示，运用Hadoop的过程中人们就可以增加对数据的认识。这是一个递增的、有机的大规模数据库。当然，这样一来，对使用者的技术要求相应地会比较高。 Loconzolo表示，Intuit拥有自己的数据湖泊，这个数据湖里既有用户点击量的数据，也有企业和第三方的数据，所有这些都是Intuit分析云端的一部分，但关键是要让围绕这个数据湖的工具能够为人们有效利用起来。Loconzolo还说，对于在Hadoop建立数据湖，一个需要考虑的问题是，这个平台并没有完完全全的为企业的需求设置周全。“我们还需要传统企业数据库已经有了几十年的一些功能，比如监控访问控制、加密、安全性以及能够从源头到去向地追踪数据等等。 4、更多预测分析 Hopkins表示，有了大数据，分析师们不仅有了更多的数据可以利用，也拥有了更强大的处理打量不同属性数据的能力。 他说：“传统的机器学习利用的数据分析是建立在一个大数据集中的一个样本基础上的，而现在，我们拥有了处理了大量数字记录的能力，甚至于每条数据有多种不同属性，我们都应对自如。” 大数据与计算功能的结合也让分析师们能够挖掘人们一天中的行为数据，好比他们访问的网站或者是去过的地方。Hopkins把这些数据称作“稀少数据（sparsedata）”，因为要想得到这些你感兴趣的数据，必须过滤掉一大堆无关的数据。“要想用传统机器算法对抗这种数据，从计算角度来讲几乎不可能。因为计算能力是一个十分重要的问题，特别是现在传统算法的速度和记忆储存能力退化很快。而现在你可以很容易知道哪些数据是最容易分析的，不得不说，赛场易主了。” （责任编辑：职场达人） |
