|
过去的商业智能 (Business Intelligence) 表现为对以往的关注（「在肯塔基州已经卖掉了多少双红色鞋子？」），现在我们则需要预测性的观点（「在肯塔基州将要卖掉多少双红色鞋子？」）。重要的是，机器学习并不是目的本身，它是每个应用的一个「属性」。它并不是一个独立的功能，「Hey，让我们用这个工具来预测吧。」 以Salesforce为例。目前它只能呈现数据，用户要自己分析这些数据，产生自己的观点。然而我们中的大部分人都被Google训练过了，习惯了从成千上百的可能性中筛选要使用的信息来定制我们自己的用户体验。为什么机器做不到呢？企业应用——在每一个能想象出来的案例里——也将更加智能，因为机器可以在海量的数据中不断学习并发展出「观点」。它就像是做任何事的时候都可以帮到你的一个聪明且经验丰富的助手。 在这里，关键的是要形成大数据本身就能带动应用程序来做出动作，而不需要人工干预。（我的同事Frank Chen称它为程序建筑中的「内部大数据」）。 但所有这些都会在基础设施层面推动创新，同时也从中获益。 大数据需要大计算：Hadoop和Spark在大数据技术版图的什么位置 把大数据和机器学习看作三步：收集，分析，预测。目前为止，这些步骤彼此分离，因为我们一直以来都从底层建立生态系统——选择各种工具——并进行针对性实践。 早期的Hadoop堆栈就是收集和储存大数据的例子。它允许其在一大群廉价的服务器上进行简易的数据处理。但Hadoop MapReduce则是批量处理的系统，并不太适合交互式应用；像数据流处理的实时操作；以及其他更复杂的估算。 对于预测性分析，需要一些基础设施，能更快响应人类级规模的交互：今天发生的哪些可能会影响明天？需要一直有大量持续的迭代，让系统智能，让机器「学习」——探索数据，将其形象化，建模，提问，得出答案，导入其他数据，然后重复该过程。 越实时，粒度越细，我们就可以更快响应，更有竞争性。 旧世界中「小数据」的商业智能（BI），只在数据库上放一个小型应用驱动就足够了。而现如今，我们要处理千倍于以前的数据，所以为了速度能跟上，我们需要平行的，以内存为存储机制的的的数据发动机(data engine)。为了大数据能解锁机器学习的价值，为我们在应用层面就展开部署。这也就意味着「大数据」需要「大计算」。 这就是 Apache Spark 的作用了。因为它是堆栈中内存、大计算的部分，比Hadoop MapReduce 快上百倍。同时它还能提供交互性并不局限于批量模式。Spark 在哪儿都能运行（包括Hadoop），把大数据处理环境转换成实时数据捕捉和分析环境。 （责任编辑：职场达人） |
