对话Hadoop之父DougCutting:Spark与Hadoop互补共生

8月5日是个特殊的日子,为了推动大数据技术在中国大范围应用,同时将本土技术回馈到国际开源社区,Cloudera与清华大学合作达成仪式。说到Cloudera,相信业内人士并不陌生,大数据市场的飞速发展使得Hadoop深受欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。而在Hadoop生态系统中,规模大、知名度最高的公司则是Cloudera。

成都创新互联公司成立于2013年,先为改则等服务建站,改则等地企业,进行企业商务咨询服务。为改则企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

仪式结束后,Hadoop之父、Cloudera首席架构师、Apache软件基金会理事Doug Cutting应邀接受了互联网IDC圈记者的采访,谈及了Hadoop在安全方面的措施,Spark与Hadoop之间的微妙关系以及Hadoop未来的发展等一系列问题。

Hadoop之父、Cloudera首席架构师、Apache软件基金会理事Doug Cutting

Hadoop已成为非常安全的平台

当今时代,社交媒体、网络、移动定位等诸多技术的广泛应用使得数据急速增长。Hadoop作为大数据利器,一直被大肆宣传。忆往昔,Hadoop为搜索引擎建立的网页索引,并不是处理信用卡号,所以其安全问题被搁置。如此一来,许多企业对其态度也从原来的浅尝辄止变成了望而却步。

关于安全方面,Doug Cutting指出,在Hadoop创立的时候是没有做安全这块的,但是我们后来不断的加强对安全模块的研发,现在Hadoop也成为了非常安全的平台。在安全方面有:身份识别—保登录的人群是被合法认证的;用户授权—控制用户能够读取的信息;审计—提供满足监管需求的文档支持,查看是否有违规操作静态数据以及动态数据的加密。

Spark与Hadoop相辅相成、互补共生

Hadoop主要包括三方面的功能:以HDFS为主的存储功能,以MapReduce为代表的Batch处理功能以及以YARN为代表的scheduling功能。

说到Hadoop自然而然会让人联想到Spark,作为实时处理工具Spark在batch processing和streaming代表着下一代技术,并且在某些方面优于MapReduce。那么,假以时日Spark会不会有取代Hadoop的可能,Doug Cutting给出的答案当然是否定的:“我觉得Spark不可能取代Hadoop,它能够取代部分Hadoop的功能,比如说取代MapReduce,二者之间更多的是互补的关系而不是竞争的关系。在存储和scheduling不可能取代Hadoop,Hadoop在batch或streaming处理方面比Spark更强大;在搜索方面很多又是Spark搜不到的,所以Spark只是相当于开源集群计算的框架,它并不能完全取代Hadoop。Cloudera不光是支持Hadoop,也支持Spark,我们是Hadoop+Spark这样的公司。”

Cloudera现在参与的项目有20多个,包括Hadoop、Spark、HBace等生态系统内的项目,也拥有超过100个对于技术和系统都非常资深的技术开发者。其实用户特别希望开源社区以开源形式开发软件,开源社区要进一步发展需要这些厂商来提供支持。作为开源厂商,到底是不是一个商业模式放之四海皆准,现在整个行业都在探索这个问题。Doug Cutting指出:“Cloudera的核心平台是开源的,但是我们可以卖一些加载在核心平台上的软件,这种软件可以让客户更好的管理他的数据,更多地对管理工具进行优化,包括优化、监控数据的管理工具,以收费的方式可以进行出售,我相信是比较成功的。”

中国企业为整个Hadoop的开源社区做了大量的贡献

Doug Cutting不仅任职于Cloudera,同时也是Apache软件基金会的理事。在基金会里,有很多企业参与Hadoop的研发,整个Hadoop版本发布速度非常快。当然,这其中的也不乏来自中国的代码贡献者,Doug Cutting表示:“中国的企业为整个Hadoop的开源社区做了大量的贡献,例如华为、阿里巴巴、腾讯等企业不但是Hadoop的使用者,同时也是Hadoop技术的贡献者。”目前,90%的Hadoop软件运行于Hadoop系统平台上,其中很多软件都是基于Hadoop平台之外的开发。Doug Cutting强调:“在整个生态系统环境内我们会打造一个非常丰富的生态系统,让更多的参与者能够进行开发。”

Cloudera除了与清华大学合作之外,在海外也跟其他大学展开了合作,其中包括美国、新加坡等地的大学,也包括欧洲的一些大学和研究机构。Doug Cutting表示:“我们合作的主要形式就是提供免费的课程,这些全套免费的课程我们开发了很多年,免费提供给这样的大学共同展开合作。我们在中国选取的第一个合作方是清华大学,今后将会与更多的中国大学展开合作。”


本文题目:对话Hadoop之父DougCutting:Spark与Hadoop互补共生
文章来源:http://pwwzsj.com/article/socpjo.html