|
8月5日是个非凡的日子，为了敦促大数据技能在中国大范畴应用，同时将本土技能回馈到国际开源社区，Cloudera与清华大学相助告竣典礼。说到Cloudera，相信业内人士并不生疏，大数据市场的飞速成长使得Hadoop深受接待，很多公司都推出了各自版本的Hadoop，也有一些公司则环绕Hadoop开拓产物。而在Hadoop生态系统中，局限最大、知名度最高的公司则是Cloudera。 典礼竣事后，Hadoop之父、Cloudera首席架构师、Apache软件基金会理事Doug Cutting应邀接管了中国IDC圈记者的采访，谈及了Hadoop在安详方面的法子，Spark与Hadoop之间的微妙干系以及Hadoop将来的成长等一系列问题。
Hadoop之父、Cloudera首席架构师、Apache软件基金会理事Doug Cutting Hadoop已成为很是安详的平台 当今时代，社交媒体、网络、移动定位等诸多技能的遍及应用使得数据急速增长。Hadoop作为大数据利器，一直被大举宣传。忆往昔，Hadoop为搜索引擎成立的网页索引，并不是处理惩罚信用卡号，所以其安详问题被弃捐。如此一来，很多企业对其立场也从本来的浅尝辄止酿成了望而却步。 关于安详方面，Doug Cutting指出，在Hadoop创建的时候是没有做安详这块的，可是我们厥后不绝的增强对安详模块的研发，此刻Hadoop也成为了很是安详的平台。在安详方面有：身份识别—保登录的人群是被正当认证的；用户授权—节制用户可以或许读取的信息；审计—提供满意禁锢需求的文档支持，查察是否有违规操纵静态数据以及动态数据的加密。 Spark与Hadoop相辅相成、互补共生 Hadoop主要包罗三方面的成果：以HDFS为主的存储成果，以MapReduce为代表的Batch处理惩罚成果以及以YARN为代表的scheduling成果。 说到Hadoop自然而然会让人遐想到Spark，作为及时处理惩罚东西Spark在batch processing和streaming代表着下一代技能，而且在某些方面优于MapReduce。那么，假以时日Spark会不会有代替Hadoop的大概，Doug Cutting给出的谜底虽然是否认的：“我以为Spark不行能代替Hadoop，它可以或许代替部门Hadoop的成果，好比说代替MapReduce，二者之间更多的是互补的干系而不是竞争的干系。在存储和scheduling不行能代替Hadoop，Hadoop在batch或streaming处理惩罚方面比Spark更强大；在搜索方面许多又是Spark搜不到的，所以Spark只是相当于开源集群计较的框架，它并不能完全代替Hadoop。Cloudera不仅是支持Hadoop，也支持Spark，我们是Hadoop+Spark这样的公司。” Cloudera此刻参加的项目有20多个，包罗Hadoop、Spark、HBace等生态系统内的项目，也拥有高出100个对付技能和系统都很是资深的技能开拓者。其实用户出格但愿开源社区以开源形式开拓软件，开源社区要进一步成长需要这些厂商来提供支持。作为开源厂商，到底是不是一个贸易模式放之四海皆准，此刻整个行业都在摸索这个问题。Doug Cutting指出：“Cloudera的焦点平台是开源的，可是我们可以卖一些加载在焦点平台上的软件，这种软件可以让客户更好的打点他的数据，更多地对打点东西举办优化，包罗优化、监控数据的打点东西，以收费的方法可以举办出售，我相信是较量乐成的。” 中国企业为整个Hadoop的开源社区做了大量的孝敬 Doug Cutting不只任职于Cloudera，同时也是Apache软件基金会的理事。在基金会里，有许多企业参加Hadoop的研发，整个Hadoop版本宣布速度很是快。虽然，这个中的也不乏来自中国的代码孝敬者，Doug Cutting暗示：“中国的企业为整个Hadoop的开源社区做了大量的孝敬，譬喻华为、阿里巴巴、腾讯等企业不单是Hadoop的利用者，同时也是Hadoop技能的孝敬者。”今朝，90%的Hadoop软件运行于Hadoop系统平台上，个中许多软件都是基于Hadoop平台之外的开拓。Doug Cutting强调：“在整个生态系统情况内我们会打造一个很是富厚的生态系统，让更多的参加者可以或许举办开拓。” Cloudera除了与清华大学相助之外，在外洋也跟其他大学展开了相助，个中包罗美国、新加坡等地的大学，也包罗欧洲的一些大学和研究机构。Doug Cutting暗示：“我们相助的主要形式就是提供免费的课程，这些全套免费的课程我们开拓了许多年，免费提供应这样的大学配合展开相助。我们在中国选取的第一个相助方是清华大学，此后将会与更多的中国大学展开相助。” |
