平武建站

Spark缓存的使用示例分析

本篇内容介绍了“Spark缓存的使用示例分析”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

为重庆等地区用户提供了全套网页设计制作服务，及重庆网站建设行业解决方案。主营业务为成都网站建设、成都做网站、重庆网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

注：因为使用的是内部数据文件, 在这边就不公布出来了. 大家看看测试代码跟测试结果即可。

这次测试是在JupyterNotebook这种交互式的环境下测试的. 如果是直接的submit一个job, 可能结果不太一样。

测试步骤

初始化Spark

from pyspark.sql import SparkSession  spark = SparkSession\  .builder\  .appName("Cache Demo")\  .master("spark://10.206.132.113:7077") \  .config('spark.driver.memory', '5g') \  .config('spark.executor.memory', '5g') \  .config("spark.cores.max", 20) \  .getOrCreate()

分别读两个文件做测试, 并且其中一个使用Cache

ds1 = spark.read.json(os.path.join(data_path, "data.2018-01-04"))  ds2 = spark.read.json(os.path.join(data_path, "data.2018-01-05"))  ds1.cache() # 对于***个dataframe进行cache.

注:这两个数据文件分别是1月4日跟1月5日产生的. 大小非常接近, 都是3.1G.

为了防止Spark自己做了什么Cache影响实验, 在这里读取两个不同的数据文件.

计算时间：

import time  def calc_timing(ds, app_name) :  t1 = time.time()  related = ds.filter("app_name = '%s'" % app_name)  _1stRow = related.first()  t2 = time.time()  print "cost time:", t2 - t1

测试结果：

calc_timing(ds1, "DrUnzip") # cost time: 13.3130679131  calc_timing(ds2, "DrUnzip") # cost time: 18.0472488403  calc_timing(ds1, "DrUnzip") # cost time: 0.868658065796  calc_timing(ds2, "DrUnzip") # cost time: 15.8150720596

可以看到:

  • 对于DS1, 虽然调用了Cache ,但是因为没有真正的使用到, 所以***次进行filter操作还是很慢的

  • 第二次使用DS1的时候, 因为有了缓存, 速度快了很多

  • 相对的, DS2两次执行时间差别不大

  • 如果进到Spark UI 查看具体每个Job的执行时间, 会发现, 只读取数据文件消耗的时间也就在15~20s.

因此可以猜想, Spark的DataFrame读取数据之后, 即使进行两个相同的操作, 消耗的时间也不能减少, 因为Spark  默认不会把DS放到内存之中.

“Spark缓存的使用示例分析”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


文章名称：Spark缓存的使用示例分析
分享网址：http://pwwzsj.com/article/jgpdhd.html

其他资讯