|
人认为 Hadoop 正在失败，但硅谷数据打点公司 Hortonworks 的总司理 Vamsi K. Chemitiganti 并不这么看，为了辩驳此前一篇文章《为什么 Hadoop 正在消亡？（Why Hadoop is Failing）》的概念，他在本身的博客上写了一篇阐述本身观点的文章，他认为达尔文式的开源生态系统正在确保 Hadoop 成为稳固和成熟的技能平台。 「密斯，那么刚出生的孩子醒目什么？」——迈克尔·法拉第，在 18 世纪被问及新发现的电有什么用的时候。 为什么 Hadoop 正在成长壮大 已往两年来，我一直致力于大数据方面的研究，并在这段时间里经验了令人感想震撼的厘革，因为我一直在全球各地为银行业的率领者们提供咨询处事。 这也是为什么当近期 KDnuggets 呈现了一篇搬弄性质的《为什么 Hadoop 正在消亡》时，我必需站出来阻挡了。在那篇文章中，作者的接头具有建树性，但问题在于其接头基于一些毫无按照的假设。在深入研究之前，我们要思量个中的配景。 公司业务中数字架构的呈现意味着公司可以或许与全球客户/消费者/病人一连地在线互动。其目标并不只仅是为了提供友好的可视化内容，而是为了提供跨渠道，多范例的本性化处事。移动应用首先迫使企业将处事形式进级为与消费者在多渠道中展开相同。譬喻银行业，所有银行此刻都涵盖了四到五种处事方法：移动 app、电子银行、呼唤中心、快捷银行等。医疗保健业有但愿成为下一个改变面孔的行业，照顾护士人员已经开始回收 iPad 来协助诊断，存储和处理惩罚患者的药物和疾病数据。大数据技能的成长是为了降服以往要领（RDBMS 和 EDW）的范围性，办理在数字应用仓库中数据架构和阐明的挑战。 这些挑战包罗： 数据体量扩大的挑战。公司数据种类的飞速膨胀。Hadoop 显然也有本身的限制——譬喻支持低延迟 BI（Business Intelligence，贸易智能）查询的本领。可是 Hadoop 之前的要领显然有更多的缺陷，它们无法处理惩罚和打点大量数据，从而为数字架构的业务带来了两大挑战。第一个挑战是在企业数据流架构中及时提供洞见；第二个挑战是举办进一步阐明的本领：快速举办预测阐明和深度进修（常常需要每秒处理惩罚百万条信息），从而可以或许跨规模办理巨大问题。Hadoop 是独一能让这些挑战化为有效贸易时机的方法。 达尔文式的开源生态系统正在确保 Hadoop 成为稳固和成熟的技能平台。 今朝的绝大大都 Hadoop 大数据项目（高出 25 个）都依靠开源社区在 Apache 生态系统中孵化、开拓和维护。开源社区本质上是达尔文式的。它专注于代码质量和行业应用，依赖于蹊径图和提交者的正确性，假如一个项目缺乏这些，那它会很快走进宅兆。换句话说，生态系统中没有落伍者的位置。 让我们看看那篇文章中作者的主要假设吧。 假设 1：Hadoop 回收不再增长，最多持平 我日常事情中的最重要的部门是与多个客户相助探讨他们的业务打算以及寻找应用技能来办理这些巨大困难的要领。我可以证明最大企业对 Hadoop 的回收绝对没有裹足不前。尽量我的概念必定是耳食之闻，并且不是来自于企业内部的黑幕，但在银行业、电信业、制造业和保险业，Hadoop 的回收却实实在在地在飞涨。在早期就与领先的供给商相助的企业已经或多或少找到了将这项技能应用于它们的业务困难的好要领。回收 Hadoop 的模式正在成熟，并且它们也正在意识到个中庞大的贸易代价。一家领先的供给商 Hortonworks 在实现 1 亿美元年收入的阶梯上比其它任何科技创业公司都跑得快——这是该规模潜力的有力证明。Cloudera 方才已经上市。在见证着这样的增长的同时，我们也看到领先的 EDW 供给商的收入和股价却略有下跌。我估量，将来 5-7 年内就会呈现第一家年收入到达 10 亿美元的大数据「创业公司」，与备受尊敬的开源先驱 Red Hat 对比还几多快一点。至少，Hadoop 项目能辅佐企业从昂贵和不机动的企业数据客栈项目上节减成百上千万美元。险些所有组织都已经开始陈设 Hadoop，以作为它们的企业登岸区（ELZ：Enterprise Landing Zone），从而加强它们的 EDW。 假设 2：利用 Hadoop 缔造的项目标贸易代价不明明 该作者在这方面尚有点原理，但让我表明一下为什么这是组织机构所面对的困难，而实际上并不是任何技能仓库（中间件或云或大数据）的过失。这个困难在于：寻找大数据项目标贸易代价往往是一个风雅活，涉及到整个巨大的组织布局。IT 部门虽然可以将 POC（观念验证）作为一门科学或一项「一次性简历构建」项目而开始，但其业务线需要从一开始就参加进来，比其它任务技能种别都早。大数据并不是关于存储大量数据的基本设施的施工，而是关于如安在收集和筹谋的数据上缔造业务阐明。不管这些阐明是简朴而老套的贸易智能（BI），照旧数据科学导向的，它们都依赖于一个组织自己的文化和创新。 |
