spark和hivestormmapreduce的比较

Spark Streaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一
就是,Spank Streaming和Stom的计算模型完全不一样,Spark Streaming是基于RDD的,因此需要将一小段时间内的,比如1秒内的数据,收集起来,作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据, 都可以立即进行处理和计算。 因此,Spark Streaming实际上严格意义上来说,只能称作准实时的流计算框架,而Storm是真正意义上的实时计算框架。
此外,Storm支 持的一项高级特性,是Spark Streamng暂时不具备的,即Storm支持在分布式流式计算程序(Topology) 在运行过程中,可以动态地调整并行度。从而动态提高并发处理能力。而SparkSreaming是无法动态调整并行度的。
但是Spark Streaming也有其优点,首先Spark Streaming由于是基Fbatch进行处理的,因此相较于Stom基于单条数据进行处理,具有数倍甚至效十倍的吞吐量。
此外,Spark Streaming由于也身处于Spark生态圈内,因此Spark Streaming可以与Spark Core.SparkSQl.甚至是Spark MLuib Spark GraphX进行无维整合.流式处理完的数据,可以立即进行各种购Bmap. reduce转换操作, 可以立即使用sqi进行查询,甚至可以立即使用machne laming或者图计算算法进行处理。这种一站式的大数据处理功能和优势,是Slorm无法匹敌的。
因此,综合上述来看,通常在对实时性要求特别高、而且实时数据量不稳定,比如在白天有高峰期的情况下,可以选择使用Storm.但是如果是对实时性要求一般,允许1秒的准实时处理,而且不要求动态调被并行度的话, 选择Spark Streamng是更好的选择。

北流网站制作公司哪家好,找成都创新互联公司!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。成都创新互联公司2013年开创至今到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司

Spark SQL实际上并不能完全替代Hive.因为Hive是一种基FHDFS的数据仓库,并且提供了基于QL模型的,针对存储了大数据的数据仓库,进行分布式交互查询的查询引擎。
严格的来说,Spark SQL能够替代的,是Hive的查询引擎,而不是Hive本身, 实际上即使在生产环境Spark SQL也是针对Hive数据仓库中的数据进行查询,Spark本身自己是不提供存储的, 自然也不可能参代Hive作为数据仓库的这个功能。
Spark SQL的一个优点,相较于Hive查询引擎来说,就是速度快,同样的SQL语句,可能使用Hive的量询引擎,由于其底层基于MapReduce. 必须经过shutfhe过程走进盘, 因此速度是非常缓慢的。很多复杂的SQL语句。在hive中执行都需要一个小时以上的时间。而SparkSQL由于其底层基干Spak自身的基于内存的特点,因此速度达到了Hive查询引擎的数倍以上。
但是Spark SQL由于与Spark一样。是大数据领域的新起的新秀,因此还不够完善,有少量的Hive支持的高级特性,Spark SQL还不支持,导致Spark SQL暂时还不能完全替代Hive的查询引擎。而只能在部分Spark SQL功能特性可以满足需求的场景下,进行使用。
而Spark SQL相较于Hive的另外一个优点,就是支持大量不同的数据源,包括hive.json. parquet、 jdbc等等。此外,Spark SQL由于身处Spark技术堆栈内,也是基于RDD来工作,因此可以与Spark的其他组件无缝整合使用,配合起来实现许多复杂的功能。比如. Spark SQL支持可以直接针对hdts文件执行sql语句!

MapReduce能够完成的各种离线批处理功能,以及常见算法(比如二次排序、topn等),基于Spark RDD的核心编程,都可以实现,并且可以更好地、更容易地实现。而且基于Spark RDD编写的高线批处理程序,运行速度是MapReduce的数倍。速度上有非常明显的优势。
Spark相较于MapReduce速度快的最主要原因就在于,MapReduce的计算模型太死板,必须是mapreduce模式,有时候即使完成一些诸如过减之类的操作,也必须经过map reduce过程,这样就必须经过shufle过程。而MapReduce的shffle过程是最消耗性能的,因为shuffe中间的过程必须基于进盘来读写。而Spark的shuthe虽然也要基于磁盘,但是其大量ransformation操作, 比如单纯的map或者hiter等操作,可以直接基于内存进行pipeline操作,速度性能自然大大提升。
但是Spark也有其劣势。由于Spark基于内存进行计算,虽然开发容易,但是真正面对大数据的时候(比如一次操作针对10亿以上级别),在没有进行调优的情况下,可能会出现各种各样的问题,比如OOM内存溢出等等。导致Spark程序可能都无法完全运行起来,就报惜挂掉了,而MapReduce即使是运行缓慢,但是至少可以慢慢运行完。
此外,Spark由于是新崛起的技术新秀,因此在大数据领域的完善程度,肯定不如MapReduce.比如基于HBase、Hive作为离线批处理程序的输入输出,Spark就远设有MapReduce来的完善。实现起来非常麻烦。


本文题目:spark和hivestormmapreduce的比较
分享网址:http://pwwzsj.com/article/gdhdch.html