Spark调优应该怎么做-创新互联

今天就跟大家聊聊有关Spark调优应该怎么做,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

成都创新互联凭借在网站建设、网站推广领域领先的技术能力和多年的行业经验,为客户提供超值的营销型网站建设服务,我们始终认为:好的营销型网站就是好的业务员。我们已成功为企业单位、个人等客户提供了网站设计制作、成都网站建设服务,以良好的商业信誉,完善的服务及深厚的技术力量处于同行领先地位。

死锁的问题通过分析死锁日志文件解决了,由于上面一块错误的认识。一直认为两个非索引可以命中单条记录,其实mysql为了性能命中了多条。

一个简单的update语句,update?whereid1=1andid2=2id1和id2都是非索引,这时有的语句会对因为优化导致上锁其他索引周边的数据条目,这时他会等待内建索引的锁,而同样的语句会对内建索引加锁,等待id1或者id2的锁,出现同一条语句回环等待锁的释放,导致死锁发生。

以后还是需要多看一些数据库方面的书籍,对原理性知识了解的更多一些。

Spark中主要进程的作用?

Driver进程:负责任务的分发和结果的回收。

Executor进程:负责具体任务的执行。

Master进程:Spark资源管理的主进程,负责资源调度。

Worker进程:Spark资源管理的从进程,woker节点主要运行Executor

如何选择一种最合适的持久化策略?

默认情况下,性能高的当然是MEMORY_ONLY,但前提是你的内存必须足够足够大,可以绰绰有余地存放下整个RDD的所有数据。因为不进行序列化与反序列化操作,就避免了这部分的性能开销;对这个RDD的后续算子操作,都是基于纯内存中的数据的操作,不需要从磁盘文件中读取数据,性能也很高;而且不需要复制一份数据副本,并远程传送到其他节点上。但是这里必须要注意的是,在实际的生产环境中,恐怕能够直接用这种策略的场景还是有限的,如果RDD中数据比较多时(比如几十亿),直接用这种持久化级别,会导致JVM的OOM内存溢出异常。

如果使用MEMORY_ONLY级别时发生了内存溢出,那么建议尝试使用MEMORY_ONLY_SER级别。该级别会将RDD数据序列化后再保存在内存中,此时每个partition仅仅是一个字节数组而已,大大减少了对象数量,并降低了内存占用。这种级别比MEMORY_ONLY多出来的性能开销,主要就是序列化与反序列化的开销。但是后续算子可以基于纯内存进行操作,因此性能总体还是比较高的。此外,可能发生的问题同上,如果RDD中的数据量过多的话,还是可能会导致OOM内存溢出的异常。

如果纯内存的级别都无法使用,那么建议使用MEMORY_AND_DISK_SER策略,而不是MEMORY_AND_DISK策略。因为既然到了这一步,就说明RDD的数据量很大,内存无法完全放下。序列化后的数据比较少,可以节省内存和磁盘的空间开销。同时该策略会优先尽量尝试将数据缓存在内存中,内存缓存不下才会写入磁盘。

通常不建议使用DISK_ONLY和后缀为_2的级别:因为完全基于磁盘文件进行数据的读写,会导致性能急剧降低,有时还不如重新计算一次所有RDD。后缀为_2的级别,必须将所有数据都复制一份副本,并发送到其他节点上,数据复制以及网络传输会导致较大的性能开销,除非是要求作业的高可用性,否则不建议使用。

看完上述内容,你们对Spark调优应该怎么做有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


分享题目:Spark调优应该怎么做-创新互联
分享地址:http://pwwzsj.com/article/goddp.html